Demichelis rozpoczął karierę w Complejo Deportivo, by następnie zostać zawodnikiem River Plate, z którym dwukrotnie sięgnął po mistrzostwo Argentyny (2002, 2003). Swoimi występami zwrócił uwagę szefów zespołu z Monachium, gdzie został sprowadzony przed sezonem 2003/2004. Pierwszy sezon nie był dla niego udany z powodu dręczących go kontuzji. Po przyjściu do klubu trenera Felixa Magatha wywalczył sobie w końcu miejsce w podstawowym składzie. Zdobył trzykrotnie mistrzostwo Niemiec (Bundesligi) (2005, 2006, 2010) i Pucharu Niemiec (2005, 2006, 2010). W styczniu 2011 roku przeszedł do klubu Malaga CF.
W lipcu 2013 został zawodnikiem Atlético Madryt[1]. Jednak dzień przed zakończeniem okienka transferowego ponownie zmienił klub, tym razem związał się dwuletnim kontraktem z Manchesterem City. Atlético Madryt otrzymał za obrońcę 5 mln euro. Pierwszą bramkę w barwach "The Citizens" zdobył 22 marca 2014 w wygranym 5:0 meczu z Fulham[2].
10 sierpnia 2016 roku Demichelis podpisał kontrakt z Espanyolem[3]. 10 stycznia 2017 roku rozwiązano kontrakt za porozumieniem stron[4]. W Espanyolu rozegrał zaledwie 2 spotkania. Następnie przeniósł się do klubu Málaga CF, gdzie po roku gry zakończył karierę.
