Wkrótce został zauważony przez czołowych polityków Partii Konserwatywnej, i w latach 30. piastował wiele stanowisk ministerialnych, m.in. ministra transportu, ministra pracy, przewodniczącego Zarządu Handlu i przewodniczącego Rady Edukacji. Jako minister transportu wprowadził ograniczenie prędkości do 30 mil na godzinę oraz egzaminy na prawo jazdy. W maju 1938 r. doszło do dość niezwykłego wydarzenia, kiedy w jednym rządzie z Oliverem znalazł się jego starszy brat, lord Stanley. Ten niezwykły stan utrzymywał się przez pięć miesięcy, do śmierci lorda Stanleya.
W styczniu 1940 r. Stanley został ministrem wojny (ten sam urząd dzierżył jego ojciec podczas I wojny), ale gabinet Chamberlaina upadł po paru miesiącach, a nowy premier, Winston Churchill, nie dał Stanleyowi nowego stanowiska. Uczynił to dopiero w 1942 r., mianując go ministrem kolonii.
Stanley utracił stanowisko po klęsce konserwatystów w wyborach 1945 r. W następnych latach czynnie brał udział w odbudowie znaczenia i pozycji partii. Rychło jednak poważnie podupadł na zdrowiu i zmarł w 1950 r., na rok przez powrotem konserwatystów do władzy. W nowym rządzie miał objąć stanowisko Kanclerza Skarbu.
