MILK編集部2016/11/29更新WebサイトのSEO対策において重要とされる「クローラー」。したイメージはあるけれど、実は深く理解していない方も多いのではないでしょうか。Webサイトの運営に何らかの立場で関わっているならば、必ず中身を知っておきたい言葉です。Optimization)対策との関係についてご紹介します。クローラーの基本を理解しようクローラーとは?語源(crawl)に「這う」という意味があるように、クローラーは「さまざまなWebページを巡回して、自動でサイトや記事の内容(画像や動画など)を収集するプログラム」のことです。プログラムのほかに、「ロボット」と解釈してもいいでしょう。Googleの検索エンジンは独自のクローラーを使用し、検索結果に反映しています。Googleが持つクローラーとしては、「Googlebot」(Web検索)、「Googlebot-Image」(画像検索)、「Googlebot-News」(ニュース用)などがあります。Slurp(Yahooのクローラー※日本以外)などがあります。クローラーの仕組みクローラーは世界中のWebサイトに収集ロボットを放ち、データや更新情報を収集しています。テキストや画像、動画といったあらゆるコンテンツを収集した後は、各自設定された検索データベースに保存します。この流れを毎日のように繰り返しています。収集していく経路としては、収集を行っているWebページに貼られているリンク先に飛ぶという形をとります。「リンクを伝って情報収集を行う」ということがクローラーの基本的な仕組みになります。更新したコンテンツをクローラーが収集したかどうか確認する方法もあります。簡単な方法としては、「site:検索」があります。MILKのWebサイト(http://uxmilk.jp/)」を「site:検索」しています。「site:検索」で検索結果に該当コンテンツが表示されれば、すでに「クローリング(クローラーが該当コンテンツを収集)」されたことになります。「クローラビリティ」と「SEO」を高める「クローラビリティ」とは、「クローラーの巡回のしやすさ」です。クローラーも万能ではなく、全てのWebページを巡回しなかったり、公開直後のページを発見するのに時間がかかったりします。クローラビリティを高めるためには、「仕組み」でも言及したように「外部サイトからのリンク」などが大切です。JAPANなど)で関連キーワードで検索されたときに、自社コンテンツが上位に表示されるための対策のことです。クローラビリティを高めることで、もれなくスピーディーに収集され、検索エンジンのデータベースに保存されます。することで、SEOにも良い影響が生まれます。気をつけるべきポイント例えば、運営Webサイト上のとあるページにクローラーが来たとします。そのページにあった他の内部記事へのリンクが切れているとそこでクローリングが終了してしまう恐れがあります。このように、外部サイトからリンクされることだけではなく、運営するWebサイトの内部管理も重要です。