In eerste instantie werden vergaderingen en maaltijden meestal bij één van de gezworen broeders thuis gehouden.
Op 29 juli 1484 overleed Gijsbert van der Poorten, kanunnik. Hij liet de Broederschap een huis aan de Hinthamerstraat na, zodat de Broederschap nu naast een eigen kapel (de huidige Sacramentskapel in de Sint Jan) ook een eigen huis bezat voor niet-liturgische activiteiten. Dit huis werd vervangen in 1535-1538 door een nieuw gebouw, ontworpen door Jan Darkennis. Dit werd op haar beurt vervangen in de vorige eeuw door het huidige. Gijsbert is de tweede figuur rechts.
Het huis van de Illustre Lieve Vrouwe Broederschap wordt niet voor niets het Zwanenbroedershuis genoemd. Vanaf 1384 komt het vrij regelmatig voor dat er een zwaan geschonken wordt voor de maaltijd van de gezworen broeders; dit loopt uit in een jaarlijkse traditie. De gezworen broeders vormen de kern van de broederschap, het zijn allen clerici, dat wil zeggen zij moeten de kruinschering gehad hebben. Dit houdt niet in dat zij priester waren. Velen hadden een lagere wijding gehad en waren getrouwd. Op een gegeven moment werd de behoefte gevoeld om rijke en invloedrijke personen meer bij de Broederschap te betrekken, zonder de verplichting van de kruinschering. Deze nu werden Zwanenbroeders. Zij waren het meestal die de zwanen voor de jaarlijkse maaltijd leverden. Het aantal zwanenbroeders is altijd beperkt geweest. Twee zwanenbroeders zijn ook afgebeeld. De figuur helemaal rechts is graaf Floris van Egmond. De familie Van Egmond was een belangrijke schenker van zwanen. De uiterst linkse figuur is Willem van Oranje. Aan het feit dat de vader des vaderlands zwanenbroeder was, is het te danken, dat de Broederschap na 1629 ondanks heftige tegenstand van gereformeerde kant, kon blijven voortbestaan. Bepaald werd wel dat de helft van de leden protestants moest zijn. Het totale ledental was beperkt: 36 personen. De liturgische activiteiten werden stopgezet; de liefdadigheid vond doorgang.