Narodil se v Myrtle Beach v Jižní Karolíně do rodiny dvou řeckých imigrantů. Když mu bylo 18 let, přestěhoval se s matkou do Los Angeles, aby se mohl věnovat herectví. Jeho matka uklízela domy a on uklízel koupelny, aby vydělal na živobytí a zaplatil hodiny herectví. Do branže se dostal jako Ralph, nenávistný zaměstnanec bistra v roce 1967 ve filmu V žáru noci, který získal cenu za nejlepší film na udílení Oscarů v roce 1968. Během 70. let hrál padouchy ve filmech, jako jsou Vanishing Point, Culpepper Cattle Co., High Plains Drifter, Učitel, Spálené nabídky a Ravagers. Objevil se také v mnoha televizních seriálech, včetně Hawaii Five-0, The A-Team, Star Trek: The Next Generation a Ženatý… s dětmi. Jeho poslední film, western Clinta Eastwooda Neodpuštění z roku 1992, ve kterém hrál majitele bordelu Skinnyho Duboise, získal cenu za nejlepší film, stejně jako jeho první film. James pak odešel z herectví a začal se více zaměřovat na psaní a umění.
Pro Disneyho si zahrál Srpka v Návratu z hory čarodějnic.