Carl Davis se narodil v newyorském Brooklynu židovským rodičům Saře (rozené Perlmutter) a Isadorovi Davisovým. Studoval skladbu u Američana Paula Nordoffa, rakousko-židovského skladatele Huga Kaudera a u Dána Pera Nørgårda. Navštěvoval Bard College v New Yorku. Cenné dirigentské zkušenosti získal především v New York City Opera a Robert Shaw Chorale.
Byl spoluautorem představení Diversions, které v roce 1959 získalo ocenění na off-Broadwayi a v roce 1961 putovalo na festival v Edinburghu. Tehdy Davise pověřil Ned Sherrin, aby složil hudbu k původní britské verzi hry That Was the Week That Was. Následovaly další objednávky pro rozhlas a televizi. Tím se odstartovala Davisova kariéra ve Velké Británii.
V roce 1991, u příležitosti 150. výročí založení Royal Liverpool Philharmonic Orchestra, spolupracoval s Paulem McCartneym na albu Paul McCartney’s Liverpool Oratorio.
Davis se brzy proslavil hudbou k antologickému seriálu BBC The Wednesday Play a později k seriálu Play for Today. Mezi jeho další televizní tvorbu patří Obnažený státní úředník (1975), Shades of Greene (1975), The Kiss of Death (1977), Langrishe, Go Down (1978), Prince Regent (1979), Private Schulz (1980), Oppenheimer (1980), Winston Churchill: The Wilderness Years (1981), The Hound of the Baskervilles (1982), Vzdálené vrcholky hor (1984), The Day the Universe Changed (1985), The Pickwick Papers (1985), Hotel du Lac (1986), Ashenden (1991), Pýcha a předsudek (1995), Anne Frank Remembered (1995), Seesaw (1998),
Návrat domů (1998), Upstairs Downstairs (2010) a Brexicuted (2018).
Dále zkomponoval hudbu pro dokumentární historické seriály Svět ve válce (1973) a Studená válka (1998). Dirigoval znělku k mistrovství světa ve fotbale v roce 2006, která byla upravena podle skladby Georga Friedricha Händela See the Conquering Hero Comes.
Zkomponoval hudbu k řadě filmů, například The Bofors Gun (1968), The Only Way (1970), Já, zrůda (1971), Up Pompeii! (1971), Pás cudnosti (1971), Rentadick (1972), What Became of Jack and Jill? (1972), Catholics (1973), Člověk Pátek (1975), The Sailor’s Return (1978), The French Lieutenant’s Woman (1981, za který získal cenu BAFTA v kategorii nejlepší filmová hudba), The Champions (1983), Král David (1985), The Girl in a Swing (1988), Scandal (1989), The Rainbow (1989), Odpoutaný Frankenstein (1990), Proces (1993), Návrší vdov (1994), Gatsby (2000), Mothers & Daughters (2004) a The Understudy (2008).
Koncem 70. let byl Davis pověřen dokumentaristy Kevinem Brownlowem a Davidem Gillem, aby zkomponoval hudbu pro pořad Hollywood (1980). Dále spolupracovali na výpravném němém filmu Napoleon (1927), který byl zrestaurován a Davisova hudba byla použita při jeho kinopremiéře a televizním uvedení. Podobně byl zpracován i film D. W. Griffitha Intolerance (1916). Ten měl původně orchestrální hudbu, ale v roce 1989 byla místo ní použita Davisova nová hudba. V březnu 2012 dirigoval orchestr Oakland East Bay Symphony, který provedl jeho hudbu k filmu Napoleon v kompletní Brownlowově rekonstrukci v rámci San Francisco Silent Film Festival v Paramount Theatre Oakland. Na dokumentární cyklus Hollywood navázaly dokumenty Neznámý Chaplin (1983), Buster Keaton: A Hard Act to Follow (1987) a Harold Lloyd: The Third Genius (1989).
V roce 1993 se stal jedničkou mezi autory nové hudby k němým filmům. Davisova hudba byla vydána na nespočtu DVD, včetně filmů Ben-Hur (1925), Fantom opery (1925), O patro výš (1923), DeMille’s The Godless Girl (1928), Světla velkoměsta (1931) a Greed (1924). Davis také vytvořil novou hudbu k filmu Clarence Browna Flesh and the Devil (1927). V několika nahrávkách byl současně dirigentem i skladatelem.
Napsal řadu koncertních a baletních děl. Během své kariéry si ho objednala řada významných baletních souborů, včetně Northern Ballet Theatre, Scottish Ballet, English National Ballet a Birmingham Royal Ballet.
Davis se 28. prosince 1970 oženil s britskou herečkou Jean Boht. Narodily se jim dvě dcery, Hannah Louise (1972) a Jessie Jo (1974).
Zemřel 3. srpna 2023 ve věku 86 let na krvácení do mozku.
