Pythonのbs4とrequestsを用いたスクレイピングでsrcsetに対応したい


BeautifulSoup4とRequestsでスクレイピングを行いたいのですが、  
srcで検索をしてURLを取得してしまうと、想定よりも小さいサイズの画像ファイルがダウンロードされます。  
これはHTMLのimgタグにあるsrcsetの影響です。  
おそらく、自身がウィンドウサイズを指定できていないのが原因と考えています。  
以上の点を踏まえて、ヘッダーにウィンドウサイズの情報を追記する必要があると考えたのですが、その方法があればご教授ください。

説明が乏しく例示した方がわかりやすいと感じたら、コメントをいただければ追記いたします。




srcsetを検索する手法を試しました。  
`foo = soup.findAll('img', attrs = {'srcset' : True})`  
以上で、`foo`にはそれらのリストが格納されます。  
※`soup`はBeautifulSoupを用いてlxml形式へと変換させてものです。

ここからウェブサイトの記述規則などを判断し、`split`を用いて画像のURLを特定することができます。  
この際、先頭にある空白``などに留意することでコードチェックをスムーズにできます。

URLさえ割り出せれば問題なくスクレイピングが可能でした。  
なお、画像のサイズの順序はウェブサイト側に合わせるしかなく、柔軟に対応するためには、wxの値を評価することで最も大きいものを選ぶよう実装しました。




srcsetを検索する手法を試しました。  
`foo = soup.findAll('img', attrs = {'srcset' : True})`  
以上で、`foo`にはそれらのリストが格納されます。  
※`soup`はBeautifulSoupを用いてlxml形式へと変換させてものです。

ここからウェブサイトの記述規則などを判断し、`split`を用いて画像のURLを特定することができます。  
この際、先頭にある空白``などに留意することでコードチェックをスムーズにできます。

URLさえ割り出せれば問題なくスクレイピングが可能でした。  
なお、画像のサイズの順序はウェブサイト側に合わせるしかなく、柔軟に対応するためには、wxの値を評価することで最も大きいものを選ぶよう実装しました。

