L'endroit a d'abord été occupé par la nation amérindienne des Micmacs. Les premiers Européens à y vivre ont été les Frères mineurs récollets vers 1620. Ensuite, l'endroit a été colonisé par des Acadiens à partir de 1758. En 1760, l'endroit fut témoin de la bataille de la Ristigouche qui marqua définitivement la conquête britannique de la Nouvelle-France. Suite à la conquête, l'endroit a été connu sous les noms de Repulse Point et de Pleasant Point. Dans les années 1780, des Loyalistes fuyant les États-Unis sont venus s'y établir. Ce n'est que par après que le nom de Cross Point commença à être utilisé ; ce fut le nom du bureau de poste de 1846 à 1952. La municipalité a été créée officiellement en 1845 sous le nom de Mann. Ce n'est qu'en 1970 que son nom fut francisé pour Pointe-à-la-Croix.