Robots.txt digunakan sebagai bagian dari Standar Eksklusi Robot, protokol sukarela Internet Archive menghormati yang melarang bot dari indeks halaman tertentu yang digariskan oleh penciptanya sebagai terlarang. Akibatnya, Internet Archive telah memberikan sejumlah situs web yang sekarang tidak dapat diakses melalui Mesin Wayback. Saat ini, Internet Archive menerapkan aturan robot.txt secara retroaktif; jika sebuah situs memblokir Internet Archive, seperti Healthcare Advocate, setiap halaman yang sebelumnya diarsipkan dari domain dirender tidak tersedia juga. Dalam kasus situs diblokir, hanya file robots.txt yang diarsipkan.
Berkas apa yang digunakan untuk menerapkan hak yang dipromosikan oleh Internet Archive?
robot.txt