„Eine robots.txt Datei ist eine Bedienungsanleitung, die einem Bot sagt, was er auf Ihrer Seite ''crawlen'' kann und was nicht.“<ref>{{Internetquelle|url=https://books.google.se/books?id=ZDp8DwAAQBAJ&pg=PT151|titel=Google Ads Ratgeber (Band 2): AdWords Handbuch vom Einsteiger bis zum Experten, Felix Wenzel|zugriff=2020-05-30}}</ref>
{{K|Internet}} mithilfe eines [[Computerprogramm]]s [[Internetseiten]] automatisiert abrufen und verarbeiten