Začínala v Paramount Pictures v roce 1948 a získala vedlejší role, než získala svou první hlavní roli Betty Schaeferové ve filmové klasice noir z roku 1950, Sunset Boulevard, která jí vynesla nominaci na Oscara za nejlepší ženský herecký výkon ve vedlejší roli. V té době se také provdala za textaře Alana Jaye Lernera (Gigi, My Fair Lady, Camelot), i když se pár v roce 1957 rozvedl. Pokračovala ve hraní ve filmech jako Union Station, Forces of Arms, Mr. Music, Submarine Command, Big Jim McLain, So Big a Airport 1975.
V šedesátých letech se Olsonová objevila na Broadwayi stejně jako v televizních pořadech, jako Alfred Hitchcock Presents, The Big Valley, Gunsmoke, The Streets of San Francisco, Barnaby Jones, Paper Dolls a Big Love. Znovu se vdala v roce 1962, tentokrát do vedení Capitol Records Alana W. Livingstona, se kterým byla až do jeho smrti v roce 2009.
Olsonová v pozdějším rozhovoru poznamenala, jak se její čas ve Walt Disney Studios lišil od času v ostatních hollywoodských studiích, když šla na konkurz na svou roli ve filmu Pollyanna. Řekla, že tam byl pocit rodiny a přátelská atmosféra a že ona a Walt Disney si rozuměli zcela na základě svých vlastních středozápadních výchov.
Od poloviny 80. let je oficiálně v důchodu, ale čas od času se objevuje ve filmu a televizi.