Il faut attendre 1840 pour qu'une puissance européenne s'intéresse au site de Walvis Bay : le Royaume-Uni annexe la baie afin de contrer les ambitions allemandes dans la région. En 1910, Walvis Bay, qui était rattachée administrativement à la Colonie du Cap, rejoint la récente Union d'Afrique du Sud. En 1911, les frontières entre l'enclave de Walvis Bay et la colonie allemande du Sud-Ouest africain sont enfin fixées : le territoire est confiné à une zone de de superficie. Après l'invasion en 1915 du Sud-Ouest Africain par l'Afrique du Sud, l'enclave de Walvis Bay est administrativement intégrée à cette dernière en 1921. En 1971, anticipant un possible désengagement du Sud-Ouest Africain, l'Afrique du Sud transfère la compétence administrative de Walvis Bay aux autorités de la province du Cap. En 1977, le gouvernement d'Afrique du Sud reprend le contrôle direct de l'enclave.