A Habsburg-Lotharingiai-ház magyar ágából származik. Ausztria főhercege, magyar királyi herceg, tábornagy, kormányzó, az Magyar Tudományos Akadémia tagja, József nádor unokája, a Vitézi Rend emigrációs újjászervezője és második főkapitánya.

1890-től hadnagy a közös hadseregben, később különböző parancsnoki beosztásokat lát el. Az első világháború elején a Balkánon hadosztályparancsnok, később az orosz frontra kerül, novembertől lovassági tábornokként. 1915 májusában az olasz frontra helyezik, hadtestparancsnokként részt vesz a 2-9. isonzói csatában, amiért később megkapja a Katonai Mária Terézia Rend parancsnoki lovagkeresztjét.

Parancsnoki döntései előtt szereti személyesen megismerni a valós hadműveleti helyzetet, ezért rendszeres látogatója a lövészárkoknak, megfigyelőállásoknak és előretolt őrhelyeknek, ezzel elnyeri katonái megbecsülését. Egyike azon kevés tábornoknak, akik megkapják a Károly csapatkeresztet. Gyakran tartózkodik katonái körében, ismeri gondolkozásukat, és igyekszik javítani felszerelési, ellátási és higiénés gondjaikat. Magyar nemzetiségű egységeit hihetetlen katonai teljesítményekre sarkallja, ha a főherceg az ő körzetükben tartózkodik.

1916 november végén, I. Ferenc József halála után Károly császár József főherceg vezérezredest nevezi ki a keleti front (Heeresfront Ost) parancsnokának. Az orosz és román hadsereggel kerül szembe. 1916 végére visszahódítja a románok által megszállt Erdély keleti részeit is, és megkezdi a fegyverszüneti tárgyalásokat.

1916 decembere és 1918 januárja között a róla elnevezett hadseregcsoport vezetője Erdélyben és Bukovinában. 1918 elején az olasz fronton a piaveli átkelést irányítja, majd a tiroli hadseregcsoport, néhány napig a balkáni erők parancsnoka.

Az 1918 június 15. – június 22. között zajló, katasztrofális eredménnyel járó II. piavei csatában József főherceg 6. hadseregének egyik hadteste éri el a hadművelet legjelentősebb eredményét, a Montello hegy elfoglalását. A piavei hadművelet kudarca után meg tudja akadályozni messze előrenyomult csapatai körülzárását, megfékezi a menekülést, újjászervezett csapataival heves ellenséges tűzben rendezetten vonul vissza a Piave keleti partjára. Ezért a teljesítményéért később, 1927-ben megkapja a Tiszti Arany Vitézségi Érmet.

1918. október 26-án IV. Károly király József főherceg tábornagyot nevezi ki az összes magyar csapatok főparancsnokává, és saját teljhatalmú magyarországi helytartójává („homo regius”-szá, szó szerint „királyi emberré”). József főherceg kéri az uralkodót, mentse őt fel a császárnak tett hűségesküje alól. Az általános összeomlásban az új királyi főparancsnok már csak Magyarország határainak megvédésével próbálkozhat.

Mint homo regius, IV. Károly király jóváhagyásával a liberális ellenzék vezérét, Károlyi Mihályt, a „bolond grófot” nevezi ki miniszterelnöknek, majd hűségnyilatkozatot tesz a magyar Nemzeti Tanácsnak. A frontról hazatérő magyar katonái készek József főherceg parancsnoksága alatt a haza védelmére, de az Antant kegyeit kereső Károlyi feloszlatja a magyar hadsereget.

A kommün idején rövid fogság után visszavonul, 1919. augusztus 6-tól kormányzó, de az Antant követelésére 26-án lemond. Előtte kinevezi a Friedrich-kormányt, ill. 12-én Horthy Miklóst főparancsnoknak.

A két háború között élénk közéleti tevékenységet folytat, 1936-tól 1944-ig az MTA elnöke. 1945-ben elhagyja Magyarországot, az USA-ban, majd az NSZK-ban él. Jelentős hadtörténeti munkája a hétkötetes A vilagháború amilyennek én láttam című írása.

Horthy Miklós 1957 februárjában bekövetkezett halála után a Vitézi Rend nyugaton élő tagjainak felkérésére összehívja a Rend elérhető tagjait. Az emigrációban élő tagok újraválasztják a Vitézi Széket, amely József Ágost főherceget választja meg a Rend második főkapitányának. A főherceg szervező munkájának eredményeként a Vitézi Rendet 1962-ben felveszik a nemzetközi lovagrendek sorába.

Az Osztrák–Magyar Monarchia utolsó tábornagya 89 éves korában hunyt el 1962. július 6-án, a Straubing melletti Rain helységben. A feldafingi temetőben temetik el. 1964-ben elhunyt feleségét, Auguszta főhercegnőt is ide temetik. Földi maradványaikat 1992-ben hazahozzák, és a Budai Várpalota alatt lévő nádori kriptában újratemetik.