Butler threatened to prevent Fanny from seeing her daughters if she published accounts of what she had seen on Butler island, but she eventually published her memoir, Journal of a Residence on a Georgia Plantation, in 1863.
Nonostante Butler minacciò Fanny che se avesse pubblicato resoconti di ciò che aveva visto sull’isola le avrebbe impedito di vedere le figlie, nel 1863, lei pubblicò le sue memorie: Journal of a Residence on a Georgia Plantation.