Beskedet lämnades av Trump sent i torsdagskväll under en eftervalskampanj för hans väljare. Officiellt kommer beslutet inte tillkännages förrän på måndag.
Posten som försvarsminister besätts i normala fall av civila personer. Det här är första och enda gången sedan den amerikanska nationalikonen George Marshall, som ledde de allierade till seger under andra världskriget, som en så högt uppsatt yrkesmilitär utses till försvarsminister. Marshall innehade ämbetet en kort tid under 50-talet.
Respekteras av vänstern
Mattis har en lång militär bakgrund bakom sig. Han gick med i marinkåren som tonåring 1969 och har tjänstgjort i såväl Gulfkriget under 90-talet som i USA:s krig i Irak och Afghanistan under 2000-talet. Han är känd för att ha gått i täten och varit med vid frontlinjen tillsammans med sina soldater, mitt i natten och ökenkylan.
Enligt amerikansk lag måste en general vänta minst tio år från det att han lämnat militären till dess han kan komma ifråga för rollen som försvarsminister. Ett undantag gjordes för Marshall 1950 och ett liknande undantag måste nu göras för Mattis, skriver Washington Post.
Det blir USA:s kongress som tar ställning till om den går med på Trumps krav på undantag. Eftersom Republikanerna kontrollerar såväl senaten som representanthuset, och även många demokrater beundrar och respekterar Mattis, väntas det inte bli några problem. Några är emellertid kritiska:
– Civil kontroll av vår militär är en fundamental princip i USA:s demokrati och jag kommer inte rösta för ett undantag från denna regel, säger den demokratiska senatorn Kirsten Gillibrand som företräder New York.
Hon poängterar samtidigt att hon "djupt respekterar" Mattis.
Politisk islam största hotet
Politiskt beskrivs James Mattis som en "hök" som tycker att USA gott kan använda militären för att lösa sina problem, skriver Military Times.
Han uppges dessutom vara misstänksamt inställd mot Ryssland och president Vladimir Putins ambitioner och ser Kina som ett växande hot mot USA:s intressen.
Men det största hotet mot USA är, enligt James Mattis, politisk islam. Han menar att USA ofta ger sig in i konflikter utan att riktigt veta vem det är man stöder.
– Är politisk islam verkligen i USA:s bästa intresse? frågade han sig under ett tal förra året då Islamiska staten och Iransponsrad terrorism diskuterades.
– Jag tycker att svaret är nej, men vi behöver kunna diskutera det. Om vi inte ens vågar ställa frågan, hur vet vi då vad som är vår sida i en konflikt?