Arif Erdem zaczynał karierę w 1990 roku w klubie Zeytinburnuspor, gdzie rozegrał 2 mecze, po czym przeszedł do Galatasaray SK. W jego barwach do 2000 roku zagrał 189 meczów i strzelił 61 bramek, a następnie wyjechał do Hiszpanii, gdzie podpisał kontrakt z Realem Sociedad. W Primera División Turkowi nie wiodło się najlepiej – wystąpił zaledwie 2 meczach i zdobył tylko 1 gola, więc wrócił do Galatasaray, gdzie ponownie był jedną z większych gwiazd zespołu. Do 2005 roku, czyli do momentu zakończenia kariery, zagrał w 103 spotkaniach i 40-krotnie trafił do siatki rywali.
