Speer tamién dedicó gran parte del so tiempu y enerxía a lleer. Anque los prisioneros llevaron dellos llibros como propiedá personal, la prisión de Spandau nun tenía biblioteca propia y los llibros teníen de ser unviaos dende la biblioteca municipal de Spandau. A partir de 1952 los prisioneros tamién pudieron pidir llibros de la biblioteca central de Berlín en Wilmersdorf. Speer foi un llector voraz y completó más de 500 llibros nos sos trés primeros solitarios años en Spandau. Les sos llectures incluyeron noveles clásiques, llibros de viaxes, llibros sobre'l Antiguu Exiptu y biografíes de personaxes como Lucas Cranach el Viejo, Friedrich Preller y Gengis Kan. L'arquiteutu diba al xardín de la prisión a esfrutar y trabayar pa superar el bloquéu del escritor, y dexóse-y construyir un ambiciosu xardín col tresformamientu de lo qu'él describió nun principiu como un desiertu» no qu'un comandante estauxunidense de Spandau llamó «El xardín del Edén de Speer».