Herman Goldstine menulis, " Salah satu kesanggupannya yang luar biasa adalah daya ingatnya yang mutlak. Sejauh yang saya tahu, von Neumann mampu pada sekali membaca buku atau artikel untuk mengutip kembali kata demi kata; Lagi pula, ia dapat melakukannya bertahun - tahun kemudian tanpa ragu - ragu. Ia juga dapat menerjemahkannya tanpa diminution dengan cepat dari bahasa aslinya ke dalam bahasa Inggris. Suatu kali saya menguji kemampuannya dengan meminta dia untuk menceritakan bagaimana A Tale of Two Cities dimulai. Kemudian, tanpa jeda, ia segera mulai membaca bab pertama dan terus sampai diminta untuk berhenti setelah sekitar sepuluh atau lima belas menit. " Ulam mengamati bahwa cara berpikir von Neumann mungkin bukan visual, melainkan lebih dari sekadar pikiran.
Bisakah von Neumann mengingat teks tertulis beberapa waktu kemudian?
ia segera mulai membaca bab pertama dan terus sampai diminta untuk berhenti setelah sekitar sepuluh atau lima belas menit. " 