Täytä seuraava lause: Neljännen vuosisadan muureista on jäljellä vain muutamia osia; esimerkiksi Pyhän Pietarin ja Pyhän Paavalin seurakuntakirkkon etelärajan eteläpuolella on näkyvissä alkuperäinen roomalainen muuri. Linnoituksen alueella sijaitseva alue on nyt luokiteltu luetteloituun muinaiseen monumenttiin. Pyhän Pietarin ja Pyhän Paavalin kirkko, joka sijaitsee linnoituksen sisällä, on
Anglosaksinen torni. Markkinatilan keskellä sijaitsee suojelualue, jossa on 56 rakennusta, joista suurin osa on luokiteltu luetteloon. Luetteloitujen rakennusten lukumäärä tekee Caistorista West Lindseyn alueen tärkeimmän suojelualueen. Monet rakennuksista ovat georgialaisia tai viktoriaanisia. Kaupungin merkittäviä rakennuksia ovat Caistor Grammar School, joka perustettiin vuonna 1633, ja Sessions House, joka rakennettiin vuonna 1662.