

Pythonでクローラーを制作したのですが、クローリングしてwebページのタイトルを取得する時にエラーが出る時があります。ですがクロール中のどこのページでエラーが出るのかわからないので原因がわかりません。ちゃんとクロールできるページもあります。お手上げ状態なのでアドバイスを頂けると幸いです。よろしくお願いします。

**調査結果**  
一応タイトルタグがない状態で出るエラーなのかと思い調査しましたが違いました。  
タイトルの文字が長すぎるのかとも思いましたが、それも違いました。  
titleタグが空の時は空のまま出てきます。

**エラー**

[code]

    Traceback (most recent call last):
      File "/vagrant/pysearch-master/manage.py", line 15, in <module>
        crawl_web('https://applech2.com/', 8)
      File "/vagrant/pysearch-master/web_crawler/crawler.py", line 147, in crawl_web
        title = _get_page_tite(html)
      File "/vagrant/pysearch-master/web_crawler/crawler.py", line 61, in _get_page_tite
        title = BeautifulSoup(html, "html.parser").find('title').text
      File "/home/vagrant/.virtualenvs/dev/local/lib/python3.4/site-packages/bs4/__init__.py", line 192, in __init__
        elif len(markup) <= 256 and (
    TypeError: object of type 'NoneType' has no len()
    
[/code]

クローラーのコードは以下の GitHub に上げてあります。  
<https://github.com/wimpykid719/pythonengine/blob/master/web_crawler/crawler.py>


CC BY-SA 4.0
2017-12-08T06:18:53.080
40129
2020-08-28T07:29:55.677
2020-08-28T07:29:55.677
3060
22565
question
python python3 web-scraping python-requests
pythonのbf4でスクレイピング中にエラーが出る


この問題は 403 のアクセス拒否が原因でした。

* * *

_この投稿は[@wataru
さんのコメント](https://ja.stackoverflow.com/questions/40129/python%e3%81%aebf4%e3%81%a7%e3%82%b9%e3%82%af%e3%83%ac%e3%82%a4%e3%83%94%e3%83%b3%e3%82%b0%e4%b8%ad%e3%81%ab%e3%82%a8%e3%83%a9%e3%83%bc%e3%81%8c%e3%81%a7%e3%82%8b#comment40758_40129)
の内容を元に コミュニティwiki として投稿しました。_


CC BY-SA 4.0
2020-08-28T07:27:49.407
69936
2020-08-28T07:27:49.407
3060
40129
answer