Pierwszy sukces Jan Ullrich osiągnął w 1993 roku, kiedy zdobył złoty medal w wyścigu ze startu wspólnego amatorów podczas mistrzostw świata w Oslo. Największe sukcesy odniósł jako zawodnik grupy zawodowej Team Telekom (obecnie T-Mobile Team). W T-Mobile ramy jego roweru produkowała firma Giant, a wcześniej Pinarello. W 1996 roku w Tour de France zajął 2. miejsce, przegrywając jedynie z DuńczykiemBjarne Riisem (który jednak został skreślony w 2007 roku z listy zwycięzców). Trzykrotnie (1996, 1997, 1998) wygrywał klasyfikację młodzieżową w TdF. W 1997 jako pierwszy Niemiec w historii wygrał ten najbardziej prestiżowy wyścig kolarski świata. Od tego czasu wielokrotnie plasował się w czołówce Tour de France, był drugi w 1998 roku (przegrał z Marco Pantanim), w latach 2000, 2001 i 2003 (przegrywał z Lance Armstrongiem), oraz czwarty w 2004 roku; do 2004 wygrał łącznie 7 etapów. W 1999 roku wygrał dwa etapy i klasyfikację generalną innego wielkiego wyścigu – Vuelta a España. W 2004 roku wygrał także Tour de Suisse.
Cieniem na jego karierze kładzie się wpadka dopingowa, był zdyskwalifikowany na sześć miesięcy w 2002 roku. Cztery lata później również został wykluczony z udziału w Tourze, z powodu głośnej afery dopingowej w Hiszpanii, znanej jako Operacja Puerto[1][2].
W 2012 roku Sportowy Sąd Arbitrażowy uznał go za winnego złamania przepisów antydopingowych. Ukarano go dwuletnim zawieszeniem oraz anulowaniem wszystkich uzyskanych wyników od 1 maja 2005 roku[3]. W czerwcu 2013 roku przyznał, że stosował doping[4].
