<s>[INST]Robots Exclusion Standard ne tür bir protokoldür?[/INST]Robots.txt, İnternet Arşivinin bir gönüllü protokolü olan Robots Exclusion Standard’ın bir parçası olarak kullanılır. Internet Arşivi, botların yaratıcısı tarafından sınırlandırılmış belirli sayfaları endekslemesini engeller. Sonuç olarak, İnternet Arşivi, Wayback Makinesi ile erişilemeyen birçok web sitesini kullanılamaz hale getirmiştir. Şu anda, İnternet Arşivi geriye dönük olarak robots.txt kurallarını uygulamaktadır; eğer bir site Healthcare Advocates gibi İnternet Arşivini engellerse, etki alanından daha önce arşivlenmiş sayfalar da kullanılamaz duruma getirilir. Engellenen sitelerde, yalnızca robots.txt dosyası arşivlenir.</s>