Urodzony w żydowskiej rodzinie rabinackiej, po wojnie ukończył Hebrew University of Jerusalem (1953), w 1956 zdobył stopień doktorski w Princeton University.
Nagrodę Turinga otrzymał wspólnie z Dana Scottem za pracę napisaną w 1959: Finite Automata and Their Decision Problem, która wprowadzała ideę maszyn niedetermistycznych, inspirujacą w następnych latach liczne badania na tym polu. W 1975 Rabin wynalazł algorytm, który szybko i z minimalnym prawdopodobieństwem błędu potrafi określić, czy dana liczba jest liczbą pierwszą. Algorytm ten znalazł zastosowanie w implementacji szyfrowania z kluczem publicznym. W 1987 wspólnie z Richardem Karpem stworzył skuteczny algorytm wyszukiwania ciągów znaków. Jego obecne prace dotyczą przede wszystkim zagadnień bezpieczeństwa komputerowego.
