W 1982 Völler przybył do Werderu Brema i w tym samym roku zadebiutował w reprezentacji narodowej. W 1987 został sprzedany do AS Roma, z którym zdobył Puchar Włoch w 1991.
W 1992 Völler przeszedł do francuskiego potentata Olympique Marsylia. Tam zdobył najważniejsze klubowe trofeum Puchar Mistrzów w 1993. Po powrocie do Niemiec grał w Bayerze 04 Leverkusen (1994-96), gdzie zakończył karierę piłkarską i zajął się pracą trenerską.
Po rozczarowaniu, jakie przyniosły Niemcom Mistrzostwa Europy w Belgii i Holandii 2000, gdzie reprezentację trenował Erich Ribbeck, federacja DFB zatrudniła Völlera jako nowego selekcjonera, chociaż nie miał pełnej licencji trenerskiej. Początkowo planowano mu pracę tylko przez jeden rok, jednak kontrakt przedłużono po skandalu narkotykowym, jaki wybuchł wokół jego potencjalnego następcy Christopha Dauma. Reprezentacja zdobyła niespodziewanie srebrny medal na azjatyckim mundialu 2002. Jednak kolejna wielka impreza okazała się porażką. Po odpadnięciu w fazie grupowej Euro w Portugalii 2004 Völler zrezygnował z prowadzenia kadry. Po dymisji Cesarego Prandellego z funkcji trenera Romy, przejął ten klub w roku 2004, jednak szybko zrezygnował, po paśmie porażek i nieporozumień z zawodnikami, m.in. z Antonio Cassano.