Baker se narodil a vyrostl ve Springfieldu v Missouri a titul v hudbě získal na Southwest Baptist College. Později odešel ve 30. letech na západní pobřeží, aby aranžoval hudební partitury pro rádia. Stal se hudebním ředitelem v rozhlasovém pořadu Boba Hopea.
Jeden z jeho prvních hitů jako aranžér big bandu na desce byl „And Her Tears Flowed Like Wine“ pro orchestr Stana Kentona. Později se stal profesorem na L.A. City College na začátku 50. let. Mezi jeho rané studenty patřil Jerry Goldsmith.
Zhruba v té době ho jeho přítel George Bruns požádal, aby složil hudbu pro televizní show Disney, Davy Crockett and the River Pirates. Zůstal ve studiu Disney a nakonec se stal jeho hudebním ředitelem a také hlavním skladatelem pro Disneyland a další zábavní parky Disney.
Baker byl nominován na Oscara za svou hudbu k filmu Napoleon a Samantha. Jeho práce se objevují v mnoha Disneyho kreslených filmech a fejetonech, včetně Donalda v Matikářské zemi, který byl nominován na Oscara za rok 1959 (Nejlepší dokument – Krátké náměty). V roce 1978 složil hudbu pro první logo Walt Disney Home Video, známé jako logo „Neon Mickey“. Hudbou byla hlasitá smyčcová fanfára.
Baker aranžoval a dirigoval většinu hudebních fejetonů Medvídka Pú. V roce 1999, ve věku 81 let, dirigoval hudbu pro atrakce zábavního parku Mnoho dobrodružství Medvídka Pú po celém světě.
Děsivá hudba, která se hrála v celém Haunted Mansion v Disneylandu, byla dalším Bakerovým dílem, stejně jako nakažlivé téma k filmu Walta Disneyho Kdybys měl křídla. Baker aranžoval směsici francouzské klasické hudby, která doprovází film Impressions de France v centru EPCOT, které umně integruje mimo jiné díla Camille Saint-Saënsové, Clauda Debussyho a Erika Satieho. Hudbu k atrakci tokijského zábavního parku DisneySea Cesta do středu Země, která byla otevřena v roce 2001, složil také Baker.
Baker odešel z Disney, protože byl posledním najatým skladatelem v hudebním štábu, který měl ještě smlouvu v jakémkoli studiu. Ačkoli se příležitostně vracel k práci na zábavních, filmových a televizních projektech, většinu svých pozdějších let strávil výukou filmového bodování na USC Thornton School of Music v Los Angeles. Tuto práci zastával až do své smrti v roce 2002. Jeho pohřeb byl ve Forest Lawn – Hollywood Hills Cemetery. V roce 2004 Bakerova manželka Charlotte darovala jeho dokumenty Falesově knihovně na NYU.
V roce 1998 byl jmenován legendou Disney.