Het Patershof huist in een voormalig klooster van de minderbroeders, en die hebben een lang en rijk verleden in Mechelen. Rijk geldt hier dan enkel in de figuurlijke zin, aangezien deze franciscanen – die de leer volgen van Sint-Franciscus – de gelofte van armoede afleggen en deze ook volgen.
Habijt minderbroeders of franciscanen, na 1659 ook recollecten of recolletten genoemd.
Het is de eerste mannelijke kloosterorde die in Mechelen neerstrijkt. Niet de laatste, getuige het ontelbare aantal kloosters en kerken die zijn overgebleven. Dit komt vooral door de aanwezigheid van het aartsbisschoppelijke paleis in onze stad.
In 1231 verleent Wouter IV Berthout, heer van Mechelen, het recht aan de minderbroeders om zich in de stad te vestigen. Het kapittel van St.-Rombout stelt hen twee jaar later een groot terrein ter beschikking om hun kerk en klooster op te richten. De minderbroeders bouwen hun klooster tussen de Melaan en het Sint-Romboutskerkhof, waar het zich op zijn hoogtepunt uitstrekt van de Begijnenstraat tot aan de huidige gebouwen van de TSM.
Ze zijn zeer actief in sociale dienstverlening zoals de ziekenzorg, armoedehulp en dergelijke. De Mechelaars voelen dan ook eeuwenlang een warme genegenheid voor deze orde, een gevoel dat nu nog bestaat bij oudere Maneblussers.
Het gaat de minderbroeders enkele eeuwen relatief goed voor de wind, ondanks episodes van tijdelijk innerlijk moreel verval, politieke twisten en de godsdienstoorlogen. Het complex wordt niet gespaard tijdens de grote stadsbrand van 1342 en de Beeldenstorm in 1566, en wordt uiteindelijk in 1580 door Engelse soldaten definitief met de grond gelijk gemaakt. De onderstaande gravure uit 1663 toont het inmiddels heropgebouwde klooster, met ten zuiden van de kerk een vierkante binnenkoer met pandgang. De zuidelijke vleugel tegenover de kerk wordt omschreven als refectorium (eetzaal), de oostelijke vleugel is het dormitorium (slaapzaal) en het westelijke volume de kapittelzaal.
De stad verplicht de minderbroeders ook het pad naast de kerk open te stellen voor het publiek, een straatje dat we nu kennen als de Minderbroedersgang.
1560 - Minderbroederklooster tussen kathedraal en Melaan 1663 – Het minderbroedersklooster met van voor in het midden de H. Geest kapel
Overigens is Mechelen doorheen de eeuwen vaak het 'hoofdkantoor' (of provincialaat) geweest van de minderbroeders voor de 'provincie' waarin het lag. In het begin over de Nederduitse provincie, vervolgens de Belgische en sinds de jaren 1930 de Vlaamse provincie. Zo heeft de Mechelse orde meestal een zekere (inter)nationale uitstraling gekend.
Foto van voor 1940 - Sedert de verjaging van de orde in 1796 door de Fransen werd de kerk gebruikt als kazerne en hooimagazijn
Maar met de komst van het verlicht absolutisme verschijnen er donkere wolken aan de horizon. Midden 18e eeuw maakt Jozef II het de kloosterorden alsmaar moeilijker. En "na veel plagerijen werden de Minderbroeders den 12 December (1796) door een onrechtvaardig geweld, in naam der Fransche vrijheid, uit hun klooster verjaagd. Zij zochten eene schuilplaats bij vrome burgers." Veel van de kunstwerken worden naar Parijs overgebracht en keren nooit meer naar België terug. Het klooster fungeert tot het einde van de 19de eeuw als legerkazerne. De kerk wordt gebruikt voor de opslag van goederen en is tot op de dag van vandaag dan ook bekend als het hooimagazijn.
Zo'n 150 jaar later zal het Belgische leger uiteindelijk de gebouwen verlaten. Drie van de vier vleugels rondom de koer zijn reeds verdwenen als in de jaren '50 en '60 de rest van het complex wordt gesloopt en er in 1958 het cultureel centrum verreist, vanaf 1991 officieel Cultureel Centrum Antoon Spinoy, nu Cultuurcentrum Mechelen. Anno 2005 blijven enkel de kerk en de Heilige-Geestkapel – één van Mechelens oudste gebouwen – van het oude klooster over. Overigens wordt in 1981 in deze kerk nog 's een eucharistieviering gehouden.
Ondertussen zwermen de overgebleven geestelijken uit over de regio, of worden ze door de Fransen gedeporteerd naar afgelegen plekken op de aardbol.