Junior Győri ETO, w 1991 roku został włączony do pierwszej drużyny[1]. 18 maja 1994 roku zadebiutował w reprezentacji w zremisowanym 2:2 towarzyskim meczu z Chorwacją[2]. W 1995 roku został wypożyczony do drugoligowego Soproni LC, a następnie przeszedł do Újpestu. W sezonie 1997/1998 zdobył z klubem mistrzostwo kraju. W sezonie 1999/2000 wrócił do Győri ETO, po czym ponownie podpisał kontrakt z Újpestem, zdobywając w 2002 roku Puchar Węgier. Po przybyciu do klubu Túlio z uwagi na przesunięcie do funkcji rezerwowego, Herczeg postanowił opuścić klub i ponownie związał się z Győri ETO. Z powodu niestabilnej sytuacji na początku 2004 roku opuścił klub, podpisując umowę z DAC Dunajská Streda. Po zakończeniu sezonu wrócił na Węgry, gdzie grał w Honvédzie, Lombardzie Pápa i DAC 1912 FC[3]. Od 2008 roku występował w klubach amatorskich[1][3].
W 2019 roku na krótko był trenerem Győri ETO. Prowadzona przez niego drużyna na dziewięć meczów wygrała sześć[4].