Działał w harcerstwie[1]. W 1961 został skazany na karę 8 miesięcy pozbawienia wolności za „niedopełnienie obowiązków służbowych” w czasie obozu harcerskiego koło Krosna Odrzańskiego[2].
W 1975 wstąpił do Zjednoczonego Stronnictwa Ludowego. W 1989 został wybrany na posła z listy tej partii. W latach 1988–1990 był członkiem Rady Ochrony Pamięci Walk i Męczeństwa[3]. W listopadzie 1989 został przewodniczącym rady naczelnej powstałego z przekształcenia ZSL PSL „Odrodzenie”, które 5 maja 1990 współtworzyło jednolite Polskie Stronnictwo Ludowe. Od 1991 Józef Zych był posłem reprezentującym to ugrupowanie. W Sejmie I, a także II kadencji do 3 marca 1995 zajmował stanowisko wicemarszałka, następnie do końca tej kadencji pełnił funkcję marszałka. Od 2 lipca 2004 do końca IV kadencji ponownie był wicemarszałkiem Sejmu. W IV kadencji Sejmu zasiadał ponadto w Komisji Odpowiedzialności Konstytucyjnej, której był przewodniczącym. Od 19 października 2005 do 26 października 2005 wykonywał obowiązki Marszałka Seniora Sejmu RP V kadencji. W wyborach parlamentarnych w 2007 po raz siódmy uzyskał mandat poselski, otrzymując w okręgu lubuskim 18 631 głosów. W wyborach w 2011 po raz ósmy z rzędu został posłem z listy PSL. 27 października 2011 prezydent Bronisław Komorowski powierzył mu wykonywanie obowiązków Marszałka Seniora Sejmu VII kadencji[4].
W 2015 nie uzyskał poselskiej reelekcji. 18 listopada 2015 wybrany na członka Trybunału Stanu z rekomendacji PSL[5]. 11 grudnia 2015 złożył przed marszałkiem Sejmu ślubowanie i tym samym oficjalnie rozpoczął kadencję sędziego Trybunału Stanu[6].
W 2014 otrzymał tytuł honorowego obywatela województwa lubuskiego[20].
W 2012 podczas XI kongresu Polskiego Stronnictwa Ludowego został honorowym prezesem tej partii[21]. Otrzymał także tytuł „Człowieka Roku Ubezpieczeń 2013”, przyznawanego przez redakcję „Gazety Ubezpieczeniowej”[22].
W 2006 słuchacze Programu III Polskiego Radia przyznali Józefowi Zychowi nagrodę „Srebrne Usta 2005” za lapsus: Nie po raz pierwszy staje mi... przychodzi mi stawać przed izbą[23]. Poseł uzyskał wówczas 40% wszystkich oddanych głosów.
¹ – posiedzenie otworzył nie najstarszy wiekiem poseł, a płk Stanisław Skwarczyński (OZN)
² – Bolesław Limanowski z PPS nie mógł prowadzić pierwszych obrad, do czasu wyboru prezydium obrady prowadził Maksymilian Thullie (ChD)
³ – w zastępstwie najstarszego wiekiem Stefana Giebla z ChD
ⁿ – Barbara Borys-Damięcka (PO) nie mogła prowadzić obrad, do czasu wyboru marszałka Senatu obrady poprowadził Michał Seweryński (PiS)
[7]
[17]
