スクレイピングで5chの書き込みを取得したいができない


私は5chのアニメ実況が好きで、異なる2つの実況板の書き込みを取得し、時系列順に並べなおし、一つにまとめることを考えた。

ところが、hawk.5ch.netでの書き込みのスクレイピングができなかった。  
なぜ取得できないか、どうすれば取得できるのか教えていただきたい。

例えば `himawari.5ch.net` のurlでコードを実行するとHTMLが表示されるが、

[code]

    import requests
    from bs4 import BeautifulSoup
    res = requests.get('https://himawari.5ch.net/test/read.cgi/livetx/1523962661/')
    soup = BeautifulSoup(res.text, 'html.parser')
    print(soup)
    
[/code]

`hawk.5ch.net` のurlで実行するとエラーが起きた。

[code]

    import requests
    from bs4 import BeautifulSoup
    res = requests.get('https://hawk.5ch.net/test/read.cgi/livejupiter/1523982845/')
    soup = BeautifulSoup(res.text, 'html.parser')
    print(soup)
    
[/code]




`lxml` で行けました。あと文字化けについては、`response.encoding` の指定で直せます。

[code]

    #res = requests.get('https://himawari.5ch.net/test/read.cgi/livetx/1523962661/')
    res = requests.get('https://hawk.5ch.net/test/read.cgi/livejupiter/1523982845/')
    res.encoding = res.apparent_encoding
    soup = BeautifulSoup(res.text, 'lxml')
    print(soup)
    
[/code]

