De naam is de verengelste versie van Belgaon/Belagaavi. Deze namen zijn mogelijk afgeleid van het Sanskriet Velugrama, wat "bamboedorp" betekent.
Belgaum werd in de twaalfde eeuw gebouwd door de Ratta, die in 1204 een fort in het stadje bouwden. Belgaum zou tussen 1210 en 1250 dienen als hoofdstad van de Ratta, voor ze onder de heerschappij van de Yadava uit Devagiri kwamen. In de eeuwen erna viel Belgaum onder de heerschappij van diverse andere dynastieën, voor het fort in het begin van de zestiende eeuw versterkt werd door Adilshahi. Veel van de nog bestaande structuren stammen uit die periode. Het stadje wisselde nog enige malen van overheerser tot het in 1818 door de Britten werd geannexeerd.