Hilliard se narodil v New Yorku a po dokončení školy začal pracovat jako textař pro Tin Pan Alley. Svůj první obrovský hit s písní „The Coffee Song“ měl ve svých 28 letech. Napsal také úspěšné partitury pro Angel in the Wings a Hazel Flagg. Hilliard nakonec přispěl do filmů jako Stop, Your Killing Me, She Back On Broadway, Living It Up a With Six You Get Eggroll
Hilliard se také podílel na scénáři k filmu Kmotři a epizodě Show Doma DeLuise.
Hilliard zemřel na infarkt ve svém domě v Hollywoodu 1. února 1971. Přežila ho jeho žena Jacqueline Dalya. V roce 1983 byl posmrtně uveden do Songwriters Hall of Fame.