Karl studiował na Uniwersytecie Karoliny Północnej w Chapel Hill, gdzie na początku lat siedemdziesiątych XX wieku grał w drużynie uniwersyteckiej North Carolina Tar Heels[1]. W 1972 dotarł z tą drużyną do Final Four, zajmując trzecie miejsce[2]. W 1973 został wybrany w czwartej rundzie draftu przez New York Knicks, jednak wkrótce podpisał kontrakt z występującym w lidze ABA zespołem San Antonio Spurs, który po zakończeniu sezonu 1975/1976 przeniósł się do NBA[3]. Karierę zawodniczą zakończył w 1978[3]. W tym samym roku został asystentem trenera Spurs i pełnił tę funkcję do 1980[4].
Od 1980 do 1983 był trenerem Montana Golden Nuggets z CBA, gdzie dwukrotnie otrzymywał nagrodę Coach of the Year w 1981 i 1983 roku. Pierwszym zespołem z NBA, który poprowadził był Cleveland Cavaliers, z którym w 1985 uzyskał awans do playoffs przegrywając w pierwszej rundzie z Boston Celtics. W latach 1986–1988 był trenerem Golden State Warriors. Przez następne cztery lata prowadził Albany Patroons z CBA, gdzie w 1991 po raz trzeci został wybrany trenerem roku w tej lidze i Real Madryt[2].
W latach 1998–2003 prowadził Milwaukee Bucks, a w 2002 reprezentację USA na mistrzostwach świata. Od 2005 do 2013 był trenerem Denver Nuggets[2]. W lutym 2010 zdiagnozowano u niego nowotwór głowy i szyi i na ławce trenerskiej do końca sezonu zastąpił go Adrian Dantley[6]. Po ustąpieniu choroby Karl powrócił do sztabu szkoleniowego Nuggets przed rozpoczęciem sezonu 2010/2011[7]. 10 grudnia 2010 po wygranej Nuggets nad Toronto Raptors został 7. trenerem w historii NBA, który osiągnął pułap 1000 zwycięstw[8]. W sezonie 2013 Nuggets mając trzecią najmłodszą drużynę w NBA (średnia wieku 24,9) osiągnęli bilans 57–25, a Karl został wybrany trenerem roku w NBA[9].
