Malden, nejstarší ze tří synů, se narodil v Chicagu ve státě Illinois 22. března 1912, což byly 20. narozeniny jeho matky a vyrůstal v Gary v Indianě. Jeho bosenskosrbský otec byl mlékař, který měl vášeň pro hudbu a organizoval Srbskou pěveckou federaci, spojující imigrantské sborové skupiny po celých Spojených státech. Jako teenager Malden vstoupil do sboru Karađorđe v srbské pravoslavné církvi Saint Sava, kde jeho otec produkoval divadelní hry a vyučoval herectví. Po absolvování Emersonovy střední školy v roce 1931 s vysokými známkami krátce plánoval opustit Gary do Arkansasu, kde doufal, že získá sportovní stipendium, ale vysokoškolští funkcionáři ho nepřijali kvůli tomu, že odmítal hrát jiný sport než basketbal. Na naléhání renomovaného režiséra Elia Kazana si změnil jméno na „Karl Malden“, aby si ulehčil hledání herecké práce.
Po účinkování na Broadwayi, v rádiu a ve filmech koncem třicátých let vstoupil Malden do armády, kde sloužil jako poddůstojník v 8. letectvu Armádního letectva Spojených států. Během služby dostal malou roli ve hře a filmu Armádního letectva Spojených států Okřídlené vítězství. Malden byl propuštěn v roce 1946 jako seržant a byl oceněn vyznamenáním Prezidentské jednotky letectva, medailí Americké kampaně a medailí Vítězství za druhé světové války.
Poté pokračoval v herecké kariéře, kde pracoval především jako charakterní herec ve filmech jako Tramvaj do stanice Touha, Na nábřeží, Přiznávám se, Jednooký kluk, Střelec, Panenka, Strach udeří, Časový limit, Visící strom, Ptačí muž z Alcatrazu, Cikán, Jak byl Západ poražen, Cincinnati Kid, Patton, Za Poseidonovým dobrodružstvím a Meteor.
Málokdy se objevuje v televizi mimo televizní filmy, jako jsou odvážní kapitáni, Skag, Zázrak na ledě, Osudová vize, Alenka v říši divů a Říkej mi Anno, Malden získal hlavní roli poručíka Mikea Stonea v kriminálním seriálu Ulice San Franciska, který běžel od roku 1972 do roku 1977. V 70. a 80. letech se také objevil v reklamách na cestovní šeky American Express. Kromě toho inzeroval kartu American Express se slavnou úvodní větou: „Znáte mě?“ Malden byl také prezidentem Akademie filmového umění a věd v letech 1989 až 1992. V roce 1997 Malden vydal svou autobiografii When Do I Start?, kterou napsal se svou dcerou Carlou.
Malden zemřel ve svém domě v Los Angeles 1. července 2009 ve věku 97 let a byl pohřben na hřbitově Westwood Village Memorial Park Cemetery v Los Angeles.