Va acabar la seva carrera com a jugador amb el club austríac Red Bull Salzburg, on després va assumir el paper no jugador de l'entrenador de l'equip de reserva i finalment es va convertir en assistent de l'entrenador sota el gerent de l'equip Ricardo Moniz. Al gener de 2013, Kovač va assumir l'equip nacional croata sub-21 i a l'octubre de 2013 va assumir l'equip senior de Croàcia després de la destitució d'Igor Štimac. Kovač va dirigir Croàcia a la Copa del Món de la FIFA de 2014, després es va convertir en entrenador en cap de l'Eintracht Frankfurt el 2016, guanyant la final de la DFB-Pokal de 2018
amb el club. Al Bayern, Kovač va guanyar el doble domèstic el 2019 després d'un final fort de la temporada, però va perdre el seu treball més tard en la mateixa tardor. A l'estiu de 2020, Kovač va ser nomenat entrenador del Mònaco.