Castro Marim não fugiu à regra e tornou-se numa das vilas que se geraram em torno de um elemento gerador, o Castelo, alargando-se pelo vale que o separa do Cerro do Cabeço o­nde mais tarde se implantou o Forte de São Sebastião.
Neste vale surgiu, no século XVI, uma Ermida denominada de Nossa Senhora dos Mártires, pela incapacidade da Matriz da vila, intra-muralhas, abrigar todos os fiéis. Esta Ermida foi visitada por diversas vezes, durante o século XVI, pela Ordem de Santiago, que tinha tido a sua sede no Castelo de Castro Marim entre 1319-1356, ano em que se trasladou para a vila de Tomar.
Estas visitações descrevem a Ermida como tendo um único corpo, com capela-mor abobadada com coruchéu e um altar em alvenaria com tribuna o­nde assentava uma imagem de vulto de Nossa Senhora com o Menino, em pedra; no corpo da Ermida, de uma só nave, estavam três imagens pintadas de matiz, uma de S. Bartolomeu, uma de Sta.Catarina e outra de S. Sebastião; possuía o portal principal a poente e outro a sul, cada um com duas pias de água benta embutidas na parede de alvenaria; um adro, em redor da dita Ermida, o­nde se enterravam os defuntos.