

最近Pythonの勉強を始め、webスクレイピングを練習中です。そこでAmazonの注文履歴を集計しようと考え、Jupiter
labでプログラムを書くことにしました。

  1. AmazonのトップページのURLを開く
  2. ログインする
  3. 注文履歴を開くボタンをクリックする
  4. 注文履歴内のデータを取得する

この手順で進めていく予定でしたが、4つ目のデータ取得でrequestとBeautifulSoupを使って

[code]

    history_url = browser.current_url
    res = requests.get(history_url)
    soup = BeautifulSoup(res.text,'html.parser')
    
[/code]

と書き、確認のためsoup.titleでタイトルを確認したところ

Amazonサインイン と言う結果になってしまいました。本来であれば「注文履歴」となって欲しかったのです。

試したこと  
request_htmlのrenderをつかってページのHTMLを生成してみるも同じ結果となりました。

プログラミング自体2ヶ月目の初心者で、説明が不十分、コードがむちゃくちゃといったことがあるかと思いますが、回答の方よろしくお願いします。

[code]

    import requests
    from bs4 import BeautifulSoup
    from selenium import webdriver
    from selenium.webdriver.chrome.options import Options
    from time import sleep 
    
    #配列や変数の定義
    data = []
    MAIL = '*****'
    PASS = '*****'
    #ヘッドレスモード実装
        #options = Options()
        #options.add_argument('--headless')
    #ブラウザを開いてリンクに飛ぶ
    browser = webdriver.Chrome()
    url = 'https://www.amazon.co.jp/ap/signin '....(Amazonトップページurl)
    browser.get(url)
    
    #ログインボックスに情報を入力
    element = browser.find_element_by_id("ap_email")
    element.clear()
    element.send_keys(MAIL)
    
    login_user = browser.find_element_by_id('continue')
    login_user.click()
    sleep(2)
    element = browser.find_element_by_id('ap_password')
    element.clear()
    element.send_keys(PASS)
    login_pass = browser.find_element_by_id('signInSubmit')
    login_pass.click()
    sleep(1)
    try:
        mobile_skip = browser.find_element_by_id('ap-account-fixup-phone-skip-link')
        mobile_skip.click()
    except:
        pass
    sleep(1)
    
    #注文履歴ボタンをクリック
    elem_order = browser.find_element_by_id('nav-orders')
    elem_order.click()
    
    #注文履歴ページのhtml情報を取得
    history_url = browser.current_url
    res = requests.get(history_url)
    soup = BeautifulSoup(res.text,'html.parser') ```
    
[/code]


CC BY-SA 4.0
2021-02-12T20:12:46.590
73962
2021-02-13T05:19:25.497
2021-02-13T05:19:25.497
3060
43944
question
python web-scraping beautifulsoup python-requests amazon
Amazonの注文履歴履歴サイトのページ要素が取得できません