Rozpoczął karierę piłkarską w Piuniku Erywań i od razu stał się jednym z liderów zespołu. Pierwszego gola, w armeńskiej Premier-lidze strzelił we wrześniu 2006 roku. 17-letni Mychitarian, po raz pierwszy wyszedł wtedy w podstawowym składzie i już w 18 minucie pokonał bramkarza zespołu Szirak Giumri. W rozgrywkach Premier-ligi sezonu 2009, po pierwszej rundzie, z 11 bramkami prowadził w klasyfikacji strzelców. Zainteresowały się nim kluby takie jak m.in. Lokomotiw Moskwa, Dynamo Kijów, Boca Juniors, czy Olympique Lyon.
Był na testach w Lyonie, ale ostatecznie, w czerwcu 2009 przeszedł do ukraińskiego Metałurha Donieck[1]. Zadebiutował w wygranym 3:0 meczu Ligi Europejskiej z Partyzanem Mińsk i w debiucie od razu strzelił gola. Szybko stał się podstawowym zawodnikiem swojego nowego klubu, koledzy z drużyny wybrali 21-latka na kapitana zespołu. Dzięki dobrym występom w Metałurhu, został także wybrany najlepszym piłkarzem Armenii 2009.
Znów zwrócił na siebie uwagę większych klubów i w sierpniu 2010 został sprzedany do Szachtara Donieck[2][3] za 7,5 mln USD. Podpisał 5-letni kontrakt i podobnie jak w poprzednich klubach wybrał koszulkę z numerem 22[4].
W maju 2012, w głosowaniu kibiców na oficjalnej stronie klubu, został wybrany najlepszym zawodnikiem Szachtara.
19 września 2012 strzelił 2 gole w meczu Ligi Mistrzów przeciwko FC Nordsjælland i został pierwszym Ormianinem, który strzelił gola w Lidze Mistrzów.
W sezonie 2012/2013 ustanowił nowy rekord goli zdobytych w jednej rundzie, w ukraińskiej Premier-lidze – strzelił ich 25.
Po sezonie 2012/2013 został zawodnikiem Borussii Dortmund, z którą podpisał kontrakt do 2017. Cena transferu to 27,5 mln euro[5][6]. Jest to najdroższy zawodnik w historii klubu[7].
6 lipca 2016 roku podpisał czteroletni kontrakt z opcją przedłużenia o kolejny rok z Manchesterem United. Oficjalnie w klubie zadebiutował 7 sierpnia, w wygranym 2:1 meczu o Tarczę Wspólnoty przeciwko Leicester City, zmieniając w 93. minucie spotkania Juana Matę. Swoje pierwsze trafienie dla „Czerwonych Diabłów” zdobył 8 grudnia, w wygranym 2:0 meczu Ligi Europy z Zorią Ługańsk.
24 maja 2017 roku, w finale Ligi Europy z Ajaxem Amsterdam, Mychitarian strzelił bramkę na 2:0, pieczętując triumf w europejskim pucharze.
22 stycznia 2018 roku został piłkarzem Arsenalu[8].