„Jedes Mal, wenn er eine Seite ''crawlt'', die doppelt vorhanden ist (und aus den Suchergebnissen einfach herausgefiltert wird), lassen Sie es zu, dass er etwas von seinem Crawl-Budget verschwendet.“<ref>{{Internetquelle|url=https://books.google.se/books?id=kK7Bg3BRd9AC&pg=PA271|titel=Die Kunst des SEO, Eric Enge, Stephan Spencer, Jessie Stricchiola, Rand Fishkin|zugriff=2020-05-30}}</ref>
{{K|Internet}} mithilfe eines [[Computerprogramm]]s [[Internetseiten]] automatisiert abrufen und verarbeiten