W 1930 został wyświęcony na księdza. W 1954 został biskupem pomocniczym Paryża, a następnie w styczniu 1965 mianowany arcybiskupem Lyonu, zaś 22 lutego 1965 na konsystorzu został wyniesiony do godności kardynała przez papieża Pawła VI, z tytułem prezbitera Santissima Trinità al Monte Pincio. W kwietniu 1967 papież Paweł VI mianował go prefektem Kongregacji Duchowieństwa. W maju 1969 został ustanowiony przez Pawła VI sekretarzem stanu. W 1970 został mianowany kamerlingiem Świętego Kościoła Rzymskiego. W lipcu 1971 stanął na czele nowo założonej Papieskiej Rady Cor Unum. Villot pozostał sekretarzem stanu do końca pontyfikatu Pawła VI, przez pontyfikat Jana Pawła I oraz przez część pontyfikatu Jana Pawła II, do 1979. Kardynał Villot uczestniczył jako elektor w obydwóch konklawe 1978.
