

あるページのテキスト情報をスクレイピングで取得しようとしています。  
ページの途中に「もっと見る」ボタンがあり、以降の情報もすべて取得したいのですが、  
「もっと見る」以前の情報しか取得されず困っています。

【コメント追加】  
クエリパラメータで表示件数を調整できる場合もあることを、[別の質問](https://ja.stackoverflow.com/questions/60624/selenium%e3%81%a7web%e3%83%9a%e3%83%bc%e3%82%b8%e4%b8%8a%e3%81%ae-%e3%82%82%e3%81%a3%e3%81%a8%e8%a6%8b%e3%82%8b-%e3%83%9c%e3%82%bf%e3%83%b3%e4%bb%a5%e9%99%8d%e3%81%ae%e3%83%86%e3%82%ad%e3%82%b9%e3%83%88%e6%83%85%e5%a0%b1%e3%82%92%e3%82%b9%e3%82%af%e3%83%ac%e3%82%a4%e3%83%94%e3%83%b3%e3%82%b0%e3%81%99%e3%82%8b)
で知ったのですが、こちらのページでも同様にクエリパラメータを使えるのでしょうか？Webの知識が無く、検討違いの質問でしたらすみません。

[code]

    url = 'https://prtimes.jp/main/action.php?run=html&page=searchkey&search_word=%E3%81%8A%E3%81%AB%E3%81%8E%E3%82%8A&search_pattern=1'
    
    res = requests.get(url)
    soup = bs4.BeautifulSoup(res.text, features='lxml')
    rvws = soup.find_all(class_="link-title-item link-title-item-ordinary") 
    
    reviews_text = []
    for i in range(len(rvws)):
        reviews_text.append(rvws[i].text)
    reviews_text
    
[/code]


CC BY-SA 4.0
2019-11-14T07:52:50.700
60510
2021-02-10T03:05:55.580
2019-11-26T08:02:44.377
36325
36325
question
python
Webページ上の「もっと見る」ボタン以降のテキスト情報をスクレイピングする


> こちらのページでも同様にクエリパラメータを使えるのでしょうか？

「もっと見る」をクリックした直後に Firefox のウェブコンソールで覗いてみると、以下の様になっていました。

[![ウェブコンソール](https://i.stack.imgur.com/w7ORW.png)](https://i.stack.imgur.com/w7ORW.png)

クエリパラメータとしては `page` と `limit` を指定する事になるのでしょう。`random`
というパラメータが文字通りランダムな数値でよいのかどうかは不明ですが、適当に設定して HTTP GET を行うと
JSON形式のデータが返ってきます。ただ、response データが `addReleaseList( JSON format data )`
という構造になっているので、以下の様にして取り出します(コマンドラインでの実行例)。

[code]

    ## page=1, limit=20: 先頭20件のデータ
    $ curl -s 'https://prtimes.jp/api/search_release.php?callback=addReleaseList&type=search&page=1&v=%E3%81%8A%E3%81%AB%E3%81%8E%E3%82%8A&limit=20&random=1574862397013' |
      grep -Po '\AaddReleaseList\(\K.+(?=\)\Z)' | jq -r . | head -n 10
    
    {
      "status": {
        "code": 200
      },
      "type": "search",
      "articles": [
        {
          "id": 174,
          "title": "SALON GINZA SABOU 日本一のお米で作る、「究極のおにぎり」を発売",
          "url": "/main/html/rd/p/000000174.000006099.html",
    
[/code]


CC BY-SA 4.0
2019-11-27T14:38:31.923
60894
2019-11-27T14:38:31.923
60510
answer