1970 als mittlerer Sohn in die Eigenheimfamilie eines Malers und Tapezierers und einer einfachen Hausfrau hineingeboren, wuchs Karlheinz Schmitt im beschaulichen Muggensturm, in der von der Sonne verwöhnten, badischen Rheinebene auf. Dort begann er im Alter von 15 Jahren eine Schreinerlehre, nach deren Abschluss er noch bis 1990 als Geselle weiterarbeitete und überdies als Bestatter (eine traditionelle Schreinertätigkeit) und Feuerwehrmann bei der örtlichen Wehr tätig war. 
Nach frühen Schicksalsschlägen war Karlheinz Schmitt 1992 zum männlichen Oberhaupt der Familie geworden. Trotzdem wagte er, einer Sehnsucht nachzugehen. Er begann eine vierjährige Schauspielausbildung, angegliedert an das SchlossTheater Rastatt, wo er anschließend Ensemblemitglied und Mitgesellschafter wurde. In den folgenden Jahren gehörte er für zwei Jahre dem freien Theater Ensemble`95 um Lothar Trautmann an und war Gast am Theater die Insel, beides in Karlsruhe.

Er verließ die heimischen Gefilde und machte sich auf in die Fremde, um in den kommenden Jahren verstärktin festen Engagements zu arbeiten: Erst am Westdeutschen Tourneetheater Remscheid von 2000 bis 2004, in welcher Zeit ihm zweimal der Wilhelm-Michael-Mund Theaterpreis verliehen wurde. Neun Jahre am Landestheater Tübingen (LTT) und ab 2015 am Theater Marburg. Die Zeit zwischen den Anstellungen nutzte er für spannende Projekte bei den Kreuzgangspielen Feuchtwangen, der Comödie Bochum, dem Theater der Altstadt in Stuttgart, dem Theaterprojekt Stuttgart 22 und der Gessnerallee Zürich.

Seit 2018 arbeitet Karlheinz Schmitt freischaffend als Künstler, u.a. in Stuttgart am Alten Schauspielhaus und am Studiotheater sowie am Theater Lindenhof in Melchingen. Obwohl Karlheinz seit 1997 auch für Film und Fernsehen arbeitet, waren für ihn, aufgrund der festen Beschäftigungsverhältnisse am Theater und der hohen Frequenz an Produktionen, bisher keine größeren Film- und Fernsehprojekte möglich. Dies darf sich aber fortan ändern.