W grudniu 1954 roku został pierwszym trenerem Realu Madryt, którego trenował do 1957 roku. W tym okresie z drużyną dwukrotnie zdobył mistrzostwo Hiszpanii (1955, 1957), wygrał dwie pierwsze edycje Pucharu Europy (1956, 1957) oraz zdobył dwukrotnie Puchar Łaciński (1955, 1957). Wygrywając Puchar Europy w edycji 1956 został najmłodszym trenerem, który wygrał to trofeum (w chwili zdobycia trofeum miał 36 lat i 184 dni).
W 1959 roku został trenerem innego madryckiego klubu - Atlético Madryt, z którym dwukrotnie sięgnął po Puchar Hiszpanii (1960, 1961) oraz zdobył z klubem pierwsze w historii europejskie trofeum - Puchar Zdobywców Pucharów (1962). Po tym sukcesie odszedł ze stanowiska trenera klubu.
Po sukcesach trenerskich w Realu Madryt i Atlético Madryt, został w 1962 roku mianowanym selekcjonerem reprezentacji Hiszpanii, gdzie do dyspozycji takich piłkarzy jak m.in. Luis Suárez, Francisco Gento, Josep María Fusté, José Ángel Iribar, Amancio. Wraz z tymi piłkarzami podczas rozgrywanych w Hiszpanii Euro 1964 zdobył pierwsze w historii reprezentacji mistrzostwo Europy, pokonując w finale (2:1) obrońców trofeum - ZSRR. Z reprezentacją awansował również na odbywające się w 1966 roku w AngliiMundial 1966, gdzie Hiszpanie odpadli w fazie grupowej po dwóch porażkach po 2:1 z Argentyną i z RFN oraz zwycięstwie 2:1 z Szwajcarią. Po tym turnieju José Villalonga zrezygnował z zajmowanego stanowiska.
