Scarlet Letter yani Kırmızı Leke , kitabın nasıl yazıldığı hakkında uzun bir başlangıç ile açılır. İsimsiz anlatıcı, Salem, Massachusetts’teki gümrüğün araştırmacısıydı. Gümrük odasının tavan arasında, aralarında “A” şeklinde kırmızı, altın işlemeli bir bez parçası bulunan bir el yazması keşfetti. El yazması, eski bir araştırmacının çalışması, ayrıntılı olaylar Bu, anlatıcının zamanından iki yüz yıl önce meydana geldi. Anlatıcı gümrük görevini kaybettiğinde, el yazmasında kaydedilen olayların kurgusal bir hesabını yazmaya karar verdi. Kırmızı Leke , nihai üründür.
Hikaye on yedinci yüzyıl Boston’ında başlıyor, sonra Puritan bölgesi. Genç bir kadın, Hester Prynne, kucağında küçük kızı Pearl ile birlikte şehir hapishanesinden ve göğsündeki kırmızı “A” harfinden geliyor. Kalabalıktaki bir adam yaşlı bir izleyiciye Hester’ın zina ettiği için cezalandırıldığını söyler. Hester’ın ondan daha büyük bir alimi olan kocası onu Amerika’ya yolladı, ama asla Boston’a gelmedi. Fikir birliği denizde kaybolmuş olduğu. Kocasını beklerken, Hester’ın bir çocuğu doğurduğu gibi görünüşte bir ilişkisi oldu. Bununla birlikte, sevgilisinin kimliğini açığa çıkarmayacaktır ve kırmızı mektup, kamusal utanç ile birlikte günahı ve mahremiyeti için cezasıdır. Bu gün Hester, kasabanın iskelesine götürülür ve kasabanın babaları tarafından taciz edilir, ancak yine çocuğunun babasını tanımlamayı reddeder.
Yaşlı seyirci Hester’ın kayıp kocası olup, şu anda ilaç kullanıyor ve kendisine Roger Chillingworth diyor. İntikam almak niyetiyle Boston’a yerleşti. Gerçek kimliğini gizliliğe yemin ettiği Hester dışında kimseye ifşa etmiyor. Birkaç yıl geçer. Hester, bir terzi olarak çalışarak kendini destekler ve Pearl, istekli ve yalın bir çocuğa dönüşür. Topluluk tarafından shunned, onlar Boston eteklerinde küçük bir kulübede yaşıyor. Topluluk yetkilileri, Pearl’ü Hester’den uzaklaştırmaya çalışıyor, ancak genç ve iyi bir bakan olan Arthur Dimmesdale’in yardımıyla, anne ve kız birlikte kalmayı başarıyorlar. Dimmesdale, ancak, boşa gidiyor gibi görünmektedir ve görünüşte psikolojik rahatsızlıktan kaynaklanan gizemli kalp rahatsızlığı muzdarip. Chillingworth kendisini hasta bakana bağlar ve sonunda hastalarına günün 24 saati bakım sağlayabilmesi için onunla birlikte taşınır. Chillingworth ayrıca bakanın işkenceleriyle Hester’ın sırrı arasında bir bağlantı olabileceğinden de şüpheleniyor ve ne öğrenebileceğini görmek için Dimmesdale’i test etmeye başlıyor. Bir öğleden sonra, bakan uyurken Chillingworth, adamın şüphelerinin doğru olduğuna ikna eden, adamın göğsünde (ayrıntıları okuyucudan tutulur) bir işaret bulur.
Dimmesdale’in psikolojik ıstırabı derinleşiyor ve kendisi için yeni işkenceler icat ediyor. Bu arada, Hester’ın hayırsever işleri ve sessiz tevazu, onu topluluğun küçümsemesinden kurtardı. Bir gece, Pearl yaklaşık yedi yaşındayken, o ve annesi kasaba iskelesinden tepesinde Dimmesdale ile karşılaştıklarında, günahlarından dolayı cezalandırmaya çalışırken, ziyaretten ölüm döşeğine dönüyorlar. Hester ve Pearl ona katılır ve üç el bağlar. Dimmesdale, Pearl’ün ertesi gün onu açıkça kabul etmesini istemeyi reddetti ve bir göktaşı gece gökyüzünde donuk kırmızı bir “A” işaretini verdi. Hester bakanın durumunun kötüye gittiğini görebilir ve müdahale etmeye karar verir. Chillingworth’a gidiyor ve Dimmesdale’in kendi işkencesine eklemeyi bırakmasını istiyor. Chillingworth reddediyor.
Hester ormandaki Dimmesdale ile bir buluşma ayarladı, çünkü Chillingworth’un kimliğini Dimmesdale’e göstermeyi planladığını tahmin ettiğini biliyor. Eski aşıklar, Pearl ile bir aile olarak yaşayabilecekleri Avrupa’ya kaçmaya karar verdiler. Boston’dan dört gün içinde yelken açacaklar. Her ikisi de bir salınım hissi uyandırır ve Hester kırmızı mektubunu kaldırır ve saçını indirir. Yakında oynayan Pearl, mektubu olmadan annesini tanımıyor. Gemiden bir gün önce yelken açmak, kasaba halkı bir tatil için toplanmakta ve Dimmesdale şimdiye kadarki en iyi vaazını vaaz etmektedir. Bu arada Hester Chillingworth’un planlarını bildiğini ve aynı gemide geçiş rezervasyonu yaptığını öğrendi. Vaazından sonra kiliseden ayrılan Dimmesdale, Hester ve Pearl’ü kasaba iskelesinden önce ayakta görüyor. İskeleyi sevgilisi ve kızıyla birlikte itici bir şekilde monte ediyor ve göğsünün etinin içine gizlenmiş kırmızı bir harf göstererek halka açık bir şekilde itiraf ediyor. Pearl onu öperken ölüyor.
İntikamında hüsrana uğrayan Chillingworth bir yıl sonra öldü. Hester ve Pearl Boston’dan ayrıldılar ve kimse onlara ne olduğunu bilmiyor. Yıllar sonra, Hester eski kulübesinde yaşamak ve hayır işlerine devam etmek için hala kırmızı mektup giyen, yalnız başına dönüyor. Avrupa aristokratıyla evlenen ve kendi ailesini kuran Pearl’den mektuplar alıyor. Hester öldüğünde, Dimmesdale’in yanına gömülür. İkisi, kızıl bir “A” taşıyan tek bir mezar taşını paylaşıyor.