Koeman zaczynał karierę, podobnie jak młodszy brat Ronald w rodzinnym Groningen w zespole tamtejszego FC. Po rozegraniu 6 ligowych meczów w sezonie 1978–1979 trafił do o jednej z czołowych drużyn Eredivisie, PSV Eindhoven. W PSV Eindhoven grał przez 3 sezony po czym w 1982 roku powrócił do FC Groningen. W 1985 roku był już zawodnikiem belgijskiego KV Mechelen, z którym zdobył Puchar Zdobywców Pucharów w 1988 r. i tytuł mistrza Belgii w 1989 roku. Dobra gra w tym zespole spowodowała, że wrócił w 1990 roku do PSV Eindhoven. Tam zdobył 2 razy mistrzostwo Holandii w latach 1991 i 1992. Ostatni przystanek w jego karierze to po raz trzeci FC Groningen, w którym grał w latach 1994–1998.
Po zakończeniu piłkarskiej kariery Koeman, został trenerem juniorów w PSV Eindhoven, a w 2001 roku został asystentem trenera Erika Geretsa. Potem w 2004 roku został już samodzielnie trenerem drużyny RKC Waalwijk. Od lata 2005 roku do 3 maja 2007 był trenerem Feyenoordu, a w latach 2008–2010 był selekcjonerem kadry narodowej Węgier. W lipcu 2011 roku został trenerem FC Utrecht.
