Connery se narodil v Edinburghu ve Skotsku dne 25. srpna 1930. Před vstupem do Královského námořnictva pracoval jako mlékař. Connery byl ze zdravotních důvodů propuštěn z námořnictva ve věku 19 let kvůli vředu na dvanácterníku. Poté, co pracoval v různých zaměstnáních, se nakonec rozhodl stát hercem na plný úvazek.
Poté, co se objevil v divadelních inscenacích a malých rolích ve filmech, našel Connery uznání pro původ role britského tajného agenta Jamese Bonda v letech 1962 až 1971 a poté tuto roli neoficiálně zopakoval v roce 1983. Úspěch našel také ve filmech jako Marnie, Kopec, Vražda v Orient Expressu, Muž, který by byl králem, Příliš vzdálený most, Meteor, Highlander, Jméno růže, Indiana Jones a poslední křížová výprava, Hon na Rudý říjen, Ruský dům, Robin Hood: Zlodějský princ, Highlander II: Probuzení, Dračí srdce, První rytíř, Liga mimořádných gentlemanů, Hledá se Forrester a Nedotknutelní, kde získal Zlatý glóbus i Oscara za nejlepší vedlejší roli.
V roce 2006 odešel do důchodu z filmového herectví, i když se věnoval hlasové práci pro různé projekty, než v roce 2012 odešel do důchodu úplně. Connery žil v posledních letech soukromý život, trpěl demencí, než zemřel ve svém domě na Bahamách na zápal plic a selhání srdce. Byl zpopelněn.