Des del segle XV, l'àrea de la ciutat, incloent-hi altres parts de Labuan, estava sota l'Imperi de Brunei. La seva història es remunta a l'època en què l'illa va ser cedida pel sultà Omar Ali Saifuddin II als britànics. Rodney Mundy, un oficial naval britànic, més tard va visitar l'illa sota el nom de la reina Victòria. L'illa va ser ocupada pel Japó des del 3 de gener de 1942 fins al juny de 1945 i governada com a part de la unitat militar de Borneo del Nord pel 37è Exèrcit japonès. Durant la Batalla de Labuan
Va ser alliberada per la 9a Divisió de la Força Imperial Australiana el 10 de juny de 1945 i va ser posada sota una Administració Militar Britànica fins al 15 de juliol de 1946, quan va ser incorporada a la Colònia de la Corona de Borneo del Nord. Durant aquest temps, el govern de la Colònia de la Corona va restablir gran part de la infraestructura que havia estat destruïda durant la guerra. L'illa més tard va esdevenir part de l'estat de Sabah i Malàisia el 1963 abans que el govern de l'estat de Sabah cedís l'illa al govern federal el 1984. Va ser declarat un centre financer internacional offshore i una zona de lliure comerç el 1990 per ajudar al desenvolupament de Victòria.