Le village de Saint-Élie-de-Caxton est sis dans une petite vallée encaissée entre les montagnes environnantes, notamment la montagne du Calvaire (au nord-est du village), une seconde à l'est (sommet à 216 m) et une troisième au sud-ouest (sommet à 284 m.). La localité est plutôt boisée, sauf la zone à proximité du village.