Oliver Baumann rozpoczynał karierę juniora w FC Bad Krozingen. W 2000 roku, w wieku 10 lat przeniósł się do juniorów pobliskiego Freiburga. W 2008 roku wygrał z młodzieżowką SC Freiburg mistrzostwo i Puchar Niemiec. W 2009 roku zaczął grać w drugiej drużynie klubu z Fryburga Bryzgowijskiego. W 2010 roku, w wieku 20 lat został powołany do kadry pierwszej drużyny Freiburga. W sezonie 2010/2011, pod wodzą Robina Dutta, Freiburg zajął 7. miejsce w lidze. Baumann jest obecnie podstawowym bramkarzem swojej drużyny. W 2014 roku za 7 milionów € przeniósł się do TSG 1899 Hoffenheim.