Jako zawodnik grał w Cardiff City F.C., następnie zaś, od 1970 roku w Liverpoolu. Zdobył tam 96 goli, przyczniając się do wywalczenia przez "The Reds" tytułu mistrzów kraju w latach 1973, 1976 i 1977. Po zmaganiach z licznymi kontuzjami, zakończył swą karierę w Swansea City.
W roku 1984, po mniejszych sukcesach jako trener niewielkich klubów z Wysp Brytyjskich, Toshack otrzymał posadę szkoleniowca portugalskiegoSportingu. Pracował tam jednak jedynie przez sezon. Największe sukcesy trenerskie przyszły po wyjeździe do Hiszpanii, gdzie Walijczyk prowadził dwukrotnie Real Madryt, trzykrotnie Real Sociedad, a także po razie Deportivo La Coruña i Real Murcia. Był także szkoleniowcem tureckiegoBeşiktaş JK i francuskiegoAS Saint-Étienne. W 1994 roku po raz pierwszy objął posadę selekcjonera swej narodowej reprezentacji, jednak zakończył pracę na tym stanowisku po zaledwie 41 dniach, rezygnując po porażce 1:3 z Norwegią. Trenerem kadry został jednak ponownie, wracając w roku 2004 lecz w 2010 został zwolniony. W 2011 został selekcjonerem reprezentacji Macedonii a 12 sierpnia 2012 przestał pełnić tę funkcję.