Conway se narodil v Petrohradě v Rusku a jeho mladším bratrem byl herecký kolega George Sanders. Po vypuknutí ruské revoluce se rodina přestěhovala do Anglie, kde Conway získal vzdělání na Bedales School a Brighton College. Odcestoval do Severní Rhodesie, kde pracoval v hornictví a rančerství, pak se vrátil do Anglie, kde se objevil v několika hrách s Manchester Repertory Company a vystupoval v BBC Radio.
Když se připojil ke svému bratrovi Georgeovi v Hollywoodu, měl role ve filmech Waterloo Bridge, Sky Murder, The Trial of Mary Dugan, Free and Easy, Tarzanův tajný poklad, Pan a paní Northovi, Cat People, I Walked with a Zombie, Two O’Clock Courage, Mrs. Miniver, Strange Bedfellows, Death of a Scoundrel, Prince Valiant a jako Bulldog Drummond v The Challenge a 13 Lead Soldiers. Jeho nejuznávanější role přišla z RKO jako detektiv Tom Lawrence, známý jako The Falcon, roli získal poté, co se jeho bratr rozhodl tuto roli opustit. Objevil se v deseti filmech seriálu od roku 1942 do roku 1946.
Conway také vystupoval v televizních seriálech jako Alfred Hitchcock Presents, The Betty Hutton Show, Perry Mason, Have Gun–Will Travel, Cheyenne a Rawhide.
Conwayův slábnoucí zrak a alkoholismus si na něm vybraly svou daň v jeho posledních letech, v roce 1964 odešel do důchodu a velkou část tohoto času pobýval v noclehárnách a potýkal se s financemi. Zemřel 22. dubna 1967 na cirhózu jater ve věku 62 let. Jeho pohřeb se konal v Londýně.