When was the program necessary to crawl and archive the web created?
In 1996 Brewster Kahle, with Bruce Gilliat, developed software to crawl and download all publicly accessible World Wide Web pages, the Gopher hierarchy, the Netnews (Usenet) bulletin board system, and downloadable software.
Когда была необходима программа для обхода и архивирования созданного веб-сайта?
В 1996 году Брюстер Кале вместе с Брюсом Гиллиатом разработали программное обеспечение для обхода и загрузки всех общедоступных страниц Всемирной паутины, иерархии Gopher, системы доски объявлений Netnews (Usenet) и загружаемого программного обеспечения.