

クローラーを作りたいのですが、何から始めていいかわからず困っています。  
下の質問でどれか一つでもいいので教えていただくと嬉しいです。

  * どうやってwebクローラーは作るのか
  * どのようにwebクローラーは動くのか

webクローラーの仕組みを教えてください。  
そしてwebクローラーはどのようにしてweb情報収集するのかを教えてください。


CC BY-SA 4.0
2020-07-01T08:48:00.487
68182
2022-07-30T05:27:19.227
2022-07-30T05:27:19.227
3060
question
web-scraping
webクローラーの仕組みや作り方を知りたい


[クローラ](https://ja.wikipedia.org/wiki/%E3%82%AF%E3%83%AD%E3%83%BC%E3%83%A9)
(の仕組み) って要するに

  * http / https を使ってある web page の HTML ソースを取得し
  * 人に見える部分（本文）とコンピュータ内部でのみ処理する部分とを切り分け
  * 本文は自然言語解析処理にまわしたうえでデータベースに登録し（関連情報とともに）
  * 広告とか、興味ない部分は切り捨てる
  * リンク先で同じことをする（とデータ量があっという間に爆発するのでそれなりの実行資源が必要）

これらの処理のうち

  * 自然言語解析部分は検索エンジンがそれぞれ独自のノウハウを持っていて、それぞれの独自性を発揮するコアなところで
  * それ以外はさほど難しくない（機械であることを隠すにはそれなりに技術が必要）

んだろうと思われます。実のところクローラは単なるデータ取得部に過ぎないわけで、実際上はその後工程、取得したデータをどう活用するかのほうがはるかに難しいしお金になるところです（ターゲット広告とか）

今どきは `curl` コマンドで最初の「ソース取得」はできちゃいますし、最初の１歩としてはこれで十分かもしれないっす。


CC BY-SA 4.0
2020-07-03T03:53:10.397
68236
2020-07-03T03:53:10.397
8589
68182
answer