In 1928 werd een voorstel in de gemeenteraad behandeld om twee woningen boven de Boterhal te bestemmen voor een museum. In de plaatselijke pers klonken stemmen dat de verzameling slechts uit 'een ouden schutter en een verroesten emmer' zou bestaan en de plannen werden op de lange baan geschoven. In 1927 had bisschop Hopmans van Breda het Bisschoppelijk Museum gesticht. Bij gebrek aan een eigen ruimte werd in 1932 besloten de verzameling onder te brengen bij het Stedelijk Museum. Bovendien gaf de bisschop toestemming aan het Stedelijk Museum om bij kerken en kloosters binnen het bisdom overbodig geworden voorwerpen te verwerven. En zo vonden de plannen uiteindelijk toch doorgang. De bovenverdieping van de Boterhal werd verbouwd tot een moderne expositieruimte. De opening was op 15 juni 1933.