2010年11月24日robots.txtは、検索エンジンに対する要求を伝えるファイルです。サイト管理者はrobots.txtをとおして、次の情報を伝えることができます。クローラーに巡回してほしくないウェブページやディレクトリサイトマップの位置クローラーはrobots.txtの記述に従ってサイト内のウェブページを巡回します。クローラーによる巡回の際は、まずサイトのルートディレクトリ(サイトの一番上の階層)にあるrobots.txtを探します。robots.txtが設置されていなかった場合には、そのサイトに対する巡回制限はないものとみなしてサイト内のウェブページを巡回し、robots.txtが設置されていた場合には、その内容に従って巡回します。