If a site prevents Internet Archive from recording it, what file is still saved?
Robots.txt is used as part of the Robots Exclusion Standard, a voluntary protocol the Internet Archive respects that disallows bots from indexing certain pages delineated by its creator as off-limits.
Если сайт запрещает его запись в Интернет-архиве, какой файл все еще сохраняется?
Robots.txt используется как часть Стандарта исключения роботов, добровольного протокола, который соблюдает Интернет-архив, запрещающего ботам индексировать определенные страницы, определенные его создателем как запрещенные.