V plánu stát se lékařem se zapsal na Marietta College a absolvoval předlékařská studia, ale tento obor opustil, aby se mohl věnovat herectví. Jméno „Peter Wayne“ používal ve své rané divadelní kariéře, než se vrátil ke svému skutečnému jménu. Swenson získal lepší práci v rádiu, kde pracoval hodně v programech, jako Cavalcade of America, The Chase, The Columbia Workshop, Inner Sanctum Mysteries, Lawyer Q, X Minus One, The March of Time a v titulních rolích v Dobrodružstvích otce Browna a pana Chameleona.
Swenson si vzal svou práci s postavami do filmu a vytvořil nezapomenutelné portréty, jako Stricker v Beze jména na kulce, doktor Heinrich Geuter v Soudu v Norimberku, opilý Doomsayer v Ptácích, kapitán Potter v Podivném páru, Tom Flaunce v Visutém stromě, Lars Nordquist na severu Aljašky, Dred Pierce v Hořící hvězdě, pan Rudd v Cincinnati Kid a americký prezident Theodore Roosevelt Brighty z Grand Canyonu.
Swenson zemřel na infarkt v nemocnici Charlotte Hungerford v Torringtonu v Connecticutu 8. října 1978 krátce po natáčení epizody Little House on the Prairie. Byl pohřben na hřbitově Center Cemetery v New Milfordu v Connecticutu.