Narodil se v Los Angeles, vystudoval tam gymnázium a střední školu a také San Jose State Teachers College. Na vysoké škole Jeff studoval na spisovatele. Když zjistil, že nemá talent pro psaní, přihlásil se do profesionálního boxu a byl druhý v soutěži Pacific Coast Golden Gloves. Později se blufováním dostal do akciové společnosti a pak se připojil k Federal Theater Project.
Během své rané kariéry byl vysoký, tmavovlasý herec přirozeným představitelem postav, jako byl Pat Ryan v seriálu Terry and the Pirates z roku 1940 a dostal hlavní roli ve filmu Li’l Abner z roku 1940. Nicméně je asi nejvíce známý pro svou roli Buda Searcyho v Disneyho klasice Old Yeller a jejím pokračování Savage Sam z roku 1963. Beverly Washburnová hrála Lisbeth Searcyovou, Budovu dceru. York se také objevil ve Velkém lokomotivním honu, Westward Ho, the Wagons!, a Johnny Tremain, které byly všechny součástí produkce Walta Disneyho.
York upoutal značnou pozornost v polovině 50. let svým televizním ztvárněním Mika Finka, okázalého operátora kýlové lodi ve dvou epizodách Disneyho nesmírně populární minisérie Davy Crockett v epizodách „Závod kýlové lodi Davyho Crocketta“ a „Davy Crockett a říční piráti“. York byl v této roli obsazen proti Fessovi Parkerovi. První epizoda obsahovala památnou soutěž v chlubení a závod kýlové lodi s Finkovou lodí jménem Gullywumper; ve druhé se Crockett a Fink spojí v boji proti bandě říčních pirátů, kteří své plenění svádějí na místní domorodé Američany.
Zahrál si také jako horský muž/lovec kožešin Joe Crane ve dvou různých Disneyho sériích, Sága Andyho Burnetta, adaptovaná z románu Stewarta Edwarda Whitea Dlouhá puška a Zorro.