Prima se narodil do hudební italsko-americké rodiny v New Orleans v Louisianě. Jeho zájem o jazz byl jiskřivý, když navštěvoval tyto kluby a pozoroval, jak spolu hrají černošští a italští jazzoví umělci. Během studia na střední škole založil vlastní kapelu, která se brzy stala populárním vystoupením v Las Vegas od padesátých let. Od čtyřicátých do šedesátých let jeho hudba dále zahrnovala rané R&B a rock ‘n’ roll, boogie-woogie a italskou lidovou hudbu, například tarantellu. Prima ve svých písních výrazně využíval italskou hudbu a jazyk, mísil prvky své italské a sicilské identity s jazzem a swingem.
Ve výkonu pokračoval až do roku 1973, kdy prodělal infarkt, který mu bránil ve výkonu. V roce 1975, poté, co mu byl diagnostikován nádor mozkového kmene, prodělal krvácení do mozku a po operaci, při které byl nádor odstraněn, upadl do kómatu. Nikdy se plně nezotavil a zemřel v roce 1978 v rodném New Orleans. Byl pohřben na hřbitově Metairie.