In 1297 werd Damme ingenomen door troepen van Filips de Schone, koning van Frankrijk, om spoedig daarop weer heroverd te worden door Robrecht III, graaf van Vlaanderen. Daarna werden de stadsmuren versterkt en werden er stadspoorten gebouwd: De Grote Brugse Poort, de Kleine Brugse Poort of Sint-Kristoffelpoort, de Sint-Catharinapoort, de Oostkerkse Poort, de Monnikeredepoort, de Sluis- of Kranepoort en de Koolkerkse Poort.
Einde 13e eeuw bereikte Damme zijn grootse bloei en omvang. Daarna begon de achteruitgang, mede door verzanding van het Zwin en de opkomst van de stad Sluis, die de positie van voorhaven van Brugge over dreigde te nemen.
In juli 1385 werd Damme ingenomen door 1300 Gentenaars onder Frans Ackerman, die zo de Franse koning Karel VI afsneden van de vloot in Sluis waarmee hij Engeland plande binnen te vallen. Karel kwam met Filips de Stoute de stad belegeren, maar Ackerman bood stevig weerwerk met behulp van Engelse boogschutters en een batterij kanonnen. Ackerman en zijn staf slopen op 16 augustus heimelijk weg uit de belegerde stad, wellicht omdat hij informatie had dat in Gent aan de poten van zijn regime werd gezaagd. De achtergebleven troepen vochten voor hun leven en probeerden op 26 augustus ook door de linies te komen, maar ze werden ontdekt, achternagezeten en gedood. 's Anderendaags werd de stad door de Fransen bestormd en in de as gelegd.
Omstreeks 1400 werd de stadsomwalling gemoderniseerd op last van Filips de Stoute. In 1446 werd het Nazarethklooster gesticht, een augustijnenklooster dat ondergeschikt was aan de Abdij van Zoetendale te Donk.
Het huwelijk tussen Karel de Stoute en Margaretha van York werd in 1468 hier voltrokken. Van 1464-1467 werd een nieuw stadhuis gebouwd. Ook het voorname huis De Grote Sterre dateert van die tijd. De bevolking nam nog toe, hoewel de economische activiteit stagneerde.
Honderd jaar later was Damme geworden tot een vervallen stadje. De bevolking was afgenomen van ongeveer 1150 zielen tot 80 gezinnen, waarvan er 25 armlastig waren. De twee toenmalige kerken (Onze-Lieve-Vrouwekerk en Sint-Catharinakerk) werden in 1572 door de geuzen geplunderd, waarbij de Sint-Catharinakerk zelfs geheel verwoest werd.
Tijdens het Twaalfjarig Bestand (1609-1621) werd Damme tot een vestingstad uitgebouwd als Spaansgezinde tegenhanger van de vesting Sluis die in Staatse handen was. De vesting had een typisch stervormig grondplan gevormd door 7 bastions. Het was een belangrijke verdedigingsplaats met garnizoen tot de 19e eeuw. Hierdoor verdween het noordelijk deel van het stadje en was er in slechts twee stadspoorten voorzien: de Onze-Lieve-Vrouwepoort en de Sint-Antoniuspoort. In 1602 werd de Sint-Catharinaparochie opgeheven en het puin van de kerk werd gebruikt voor de versterkingen.
De Spaanse Successieoorlog (1702-1713) noopte tot verdere uitbouw van de versterkingen: Het Verbrand Fort en het Fort van Damme werden aangelegd. In 1709 werd de vesting veroverd door Marlborough. Na 1713 werd het belang van de vesting minder en in 1715 werden de vestingwerken, in gevolge het Barrièretraktaat, deels geslecht. Tot 1760 bleef de vesting nog enigszins in gebruik. Het verlies van de functie van vestingstad deed het verval verder toenemen. Veel middeleeuwse gebouwen werden gesloopt, bruggen stortten in en van 1782-1786 werd een deel van de vestingwerken openbaar verkocht.
In 1810 werd de Damse Vaart gegraven, onderdeel van een plan van Napoleon om de Noord-Franse havens door middel van een kanaal met Antwerpen te verbinden. Het tracé liep door het noordelijk deel van de stad, delen van deze stad verdwenen en het noordelijk deel werd afgesneden van het zuidelijk deel. Met het vrijkomende zand werden de Reie, de Lieve en wat er over was van het Zwin gedempt.