Fain se narodil v South Fallsburgu v New Yorku; Fain byl samouk, klavírista, který hrál podle sluchu a začal pracovat jako štábní klavírista a skladatel pro hudební vydavatelství Jack Mills. Později začal spolupracovat s mnoha hudebníky na psaní písní během následujících čtyř desetiletí, jako „Let a Smile Be Your Umbrella“, „You Brought a New Kind of Love to Me“, „I’ll Be Seeing You“ a „That Old Feeling“.
Fain také spolunapsal úvodní píseň k televiznímu westernu Wagon Train.
Fain zemřel na infarkt v Los Angeles v Kalifornii a je pohřben na hřbitově Cedar Park v Emersonu v New Jersey.