У 1768 годзе ўзнікла ідэя стварэння спецыяльнага будынка-галерэі для карцін, праект якога быў даручаны архітэктару Аўгустыну Лоцы, бо ў 1760-1770-я гады ў калекцыі Радзівілаў было іх каля тысячы, і яна стала самай значнай і велізарнай на тэрыторыі ўсёй Рэчы Паспалітай.