Pada tahun 1996 Brewster Kahle, dengan Bruce Gilliamt, mengembangkan perangkat lunak untuk merayap dan mengunduh semua halaman Web Wide yang dapat diakses di hadapan umum, hierarki Gopher, sistem buletin Netnews (Usenet), dan perangkat lunak yang dapat diunduh. Informasi yang dikumpulkan oleh "crawlers" ini tidak termasuk semua informasi yang tersedia di Internet, karena sebagian besar data dibatasi oleh penerbit atau disimpan dalam database yang tidak dapat diakses. Ini "crawlers" juga menghormati robot standar pengecualian untuk situs web yang pemiliknya memilih untuk tidak muncul dalam hasil pencarian atau cache. Untuk mengatasi inkonsistensi dalam situs web cache sebagian, Archive-It.org dikembangkan pada tahun 2005 oleh Internet Archive sebagai sarana untuk mengijinkan institusi dan pencipta konten untuk secara sukarela memanen dan melestarikan koleksi konten digital, dan membuat arsip digital.
Kapan program yang diperlukan untuk menyertakan semua informasi yang tersedia pada interet yang dibuat?
1996