Altidore swoją karierę rozpoczynał w Major League Soccer w barwach New York Red Bulls, gdzie został wybrany do SuperDraftu w 2006 roku. W sierpniu 2006 Altidore zadebiutował w meczu z DC United. Altidore pobił kilka rekordów podczas swojego pobytu w Nowym Jorku, stając się najmłodszym debiutantem w play-offach MLS, a także najmłodszym strzelcem. Pierwszy raz strzelił bramkę w rozgrywkach play-off w wieku 16 lat i 337 dni.
Następnie Amerykanin przeszedł do Villarrealu za kwotę 10 milionów dolarów, najwięcej w całej historii MLS[2]. Stał się pierwszym piłkarzem ze Stanów Zjednoczonych, który strzelił bramkę w lidze hiszpańskiej. W listopadzie 2008 roku pokonał bramkarza Athletic Bilbao[3]. W styczniu 2009 roku został wypożyczony do Xerez CD. Doznał jednak kontuzji palca i nie zadebiutował w tym zespole[2].
6 sierpnia 2009 roku Altidore ponownie został wypożyczony. Trafił na cały sezon do angielskiego Hull City[4]. Wcześniej zainteresowani nim był Fulham oraz Everton[5]. W nowym klubie zadebiutował 22 sierpnia w meczu z Botlonem Wanderers, kiedy to zmienił w 60. minucie Craiga Fagana. W sezonie 2009/2010 Altidore rozegrał 28 ligowych spotkań i strzelił jedną bramkę, po czym powrócił do Villarealu[6].
W 2011 roku Altidore został wypożyczony do Bursasporu. Pierwszego gola dla nowego zespołu strzelił 8 kwietnia w przegranym na własnym stadionie meczu 2:3 z Antalyaspor. Jozy wpisał się na listę strzelców w 45 minucie, wyprowadzając Bursaspor na prowadzenie. W latach 2011–2013 grał w AZ Alkmaar, a w latach 2013–2015 w Sunderlandzie. W 2015 trafił do Toronto FC.
Rodzice Altidore, Joseph oraz Gisele pochodzą z Haiti. Jako dziecko wraz z rodziną przeprowadził się do Boca Rator. Ma jednego brata, Janaka oraz dwie siostry, Sadię oraz Lindsay. Sadia gra w piłkę nożną w East Carolina University[3]. Jego partnerką życiową jest znana tenisistka Sloane Stephens.