Na zámku Eggenberg byl v roce 1673 na sňatku císaře s Klaudií Felicitas Tyrolskou pravděpodobně mladý Johann Joseph Fux představen jako zázračné dítě. Vzhledem k jeho chudobě neexistovala jiná cesta, než přes výjimečný talent a nadání. Začátkem 80. let uhradila Fuxovi císařská pokladna stipendium na Ferdinandeum, kolej spravovanou Tovaryšstvem Ježíšovým ve Štýrském Hradci. O jeho nadání nebylo pochyb, poněvadž přestože vyrůstal v rodině, kde nikdo neuměl prokazatelně číst a psát, dle dostupných zpráv byl v roce 1681 přijat ihned do třetího ročníku gymnázia. Dále pokračoval studiem na univerzitě, ovšem akademii nedokončil. Na základě záznamů Ferdinandea před rokem 1684 tajně uprchl.
V 90. letech se objevily první známky Fuxova pobytu ve Vídni, kde byl v úzkém kontaktu s místními hudebníky. V roce 1969 se oženil s dcerou rakouského vládního tajemníka Johanna Josefa Schnitzenbau, což Fuxovi otevřelo dveře na císařský dvůr.
Hudbymilovný císař Leopold I. se pravidelně účastnil bohoslužeb v chrámech, kde se hrála ta nejlepší hudba. Ve vídeňském Schottenkirche se tak seznámil s Fuxem, který zde vykonával post varhaníka. Leopold si mladého hudebníka oblíbil, a tak byl Fux v roce 1698 přijat k císařskému dvoru, kde se jeho kariéra slibně rozjela. Byl jmenován druhým kapelníkem vídeňské katedrály sv. Štěpána, posléze povýšil na vicekapelníka. Souběžně komponoval pro obě císařovny-vdovy, což bylo pro Fuxe výnosným zdrojem příjmů. Po smrti Marc’Antonia Zianiho začátkem roku 1715 byl Karlem VI. jmenován vrchním císařským kapelníkem, což ovšem nešlo kombinovat s komponováním pro císařovny a postem vicekapelníka u sv. Štěpána. S novým zaměstnáním měl Fux kvůli ztrátě předešlých závazků paradoxně menší příjmy než předtím. Císař nakonec Fuxovi navýšil finanční odměnu, aby vydělával stejně, jako předtím.
Při příležitosti korunovace Karla VI. českým králem se 28. srpna 1723 odehrála v zahradách Pražského hradu Fuxova pětihodinová korunovační opera Costanza e Fortezza (Vytrvalost a síla). Bohužel, Fux se ze zdravotních důvodů nemohl zúčastnit. Dne 5. září 1723 zaznělo i jeho slavnostní Te Deum ve svatovítské katedrále. Tyto události měly značný vliv na české hudební dějiny, zejména však vznik a rozvoj pražské operní scény.
Fux si od roku 1716 stěžoval na špatný zdravotní stav způsobený dnou. Z toho důvodu se odmítal zapojovat do dvorního hudebního života a věnoval svůj čas teoretické a pedagogické činnosti. Po smrti milované manželky Juliány Kláry v roce 1732 (neměli žádné děti) přestal prakticky komponovat. O devět let později zemřel i samotný Johann Joseph Fux.
Skladatelé 18. století, jako Ludwig van Beethoven a Wolfgang Amadeus Mozart, se učili komponovat podle Fuxovy slavné učebnice kontrapunktu Gradus ad Parnassum (Stupeň na Parnas). Tento titul je mimo jiné jedinou dochovanou jednotkou z knihovy Johanna Sebastiana Bacha, který se pravděpodobně zasadil i o její německý překlad z latiny. Fux byl učitelem řady velkých skladatelských osobností, mezi které patří i český skladatel Jan Dismas Zelenka.
