Першыя звесткі пра крычаўскі касцёл Беззаганнага Зачацця Панны Марыі датуюцца сярэдзінай XVII стагоддзя. На пачатку XVIII стагоддзя ўжо дакладна вядома, што ён быў драўляным і знаходзіўся ў цэнтры горада на вуглу сучасных вуліц Ленінскай і Камсамольскай, там дзе зараз знаходзіцца раённы ваенны камісарыят. У 1745 годзе храм быў значна перабудаваны (альбо нават пабудаваны нанова) з падачы каралевы Марыі Юзэфы, якая выдаткавала для гэтага 4000 талераў. На кароткі час (1824-32 гг.) пры ім аселі манахі-дамініканцы. Кляштар скасаваны царскім указам 19.07.1832 г.