Rudolf Serkin se narodil v Chebu do židovské rodiny 28. března 1903. Hudební základy mu předal jeho otec, ruský basista Mordko Serkin.
Poněvadž od raného věku disponoval hudebním nadáním, ve svých devíti letech odcestoval do Vídně, kde pod vedením Richarda Roberta studoval hru na klavír a později u Josepha Marxe kompozici. V pouhých dvanácti letech vystupoval s Vídeňskou filharmonií. V letech 1918–1920 studoval kompozici u rakouského modernistického skladatele Arnolda Schoenberga, v jehož hudební společnosti se Serkin angažoval.
Pravidelnou koncertní kariéru zahájil v roce 1920. V té době bydlel v Berlíně u svého přítele, německého houslisty Adolfa Busche, s jehož dcerou Irene se Serkin o patnáct let později v Basileji oženil.
Ve 20. a na počátku 30. let vystupoval Serkin po celé Evropě jako sólista, ale i s Buschem a Buschovým kvartetem. Po nástupu Hitlera v roce 1933 emigroval z Berlína do švýcarské Basileje společně s Buschem, který sice nebyl židovského původu, ale rázně se postavil proti nacistickému režimu. V témže roce Serkin poprvé koncertoval v USA, na festivalu Coolidge ve Washingtonu, DC, kde vystupoval s Buschem.
V roce 1936 zahájil sólovou koncertní kariéru s Newyorskou filharmonií pod vedením italského dirigenta Artura Toscaniniho. V roce 1937 hrál Serkin svůj první newyorský recitál v Carnegie Hall. Ve Spojených státech se nakonec v roce 1939 usadil.
Serkin učil několik generací pianistů na Curtis Institute od Music ve Filadelfii, kde byl nakonec v roce 1968 jmenován ředitelem školy. Tuto pozici zastával až do roku 1976.
Se svým přítelem Buschem založil v roce 1951 ve Vermontu letní školu Marlboro Music School and Festival s cílem podnítit zájem a výkon komorní hudby ve Spojených státech.
V roce 1963 obdržel Prezidentskou medaili svobody a za nahrávku sonát skladatele Johannese Brahmse získal v roce 1984 cenu Grammy.
Jeho syn, Peter Serkin, byl taktéž významným klavíristou a dcera Judith byla violoncellistkou. Se svou ženou Irene zplodil celkem sedm dětí, z nichž jedno v dětství zemřelo. Dohromady měli patnáct vnoučat, vnuk David Ludwig se věnuje komponování a vnučka Natalya Rose Vrbsky hraje na fagot.
Rudolf Serkin zemřel na rakovinu 8. května 1991 na své farmě v Guilfordu. Jeho žena zemřela o sedm let později.
