Welche Arten von Seiten kann ich crawlen?
What types of pages can I crawl?
Sie können alle HTML-Seiten sowie Seiten, die auf JavaScript basieren, crawlen. Darüber hinaus können Sie die Sitemap einer Website crawlen, robots.txt-Regeln ignorieren und internen NoFollow-Links folgen.
You can crawl all HTML pages as well as websites that rely on JavaScript. Additionally, you can choose to crawl the website’s sitemap, ignore robots.txt rules, and follow internal NoFollow links.