Upload 3 files

scrape/trendyol_scraper.py

@@ -10,22 +10,27 @@ import os
 import random
 
 def scrape_reviews(url):
-    # Create data directory if it doesn't exist
+    print("Scraping başlatılıyor...")
+    
     data_directory = "data"
     if not os.path.exists(data_directory):
         os.makedirs(data_directory)
 
     def comprehensive_scroll(driver):
+        print("Sayfa kaydırma başlıyor...")
         last_height = driver.execute_script("return document.body.scrollHeight")
+        scroll_count = 0
         while True:
             driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
             time.sleep(3)
             new_height = driver.execute_script("return document.body.scrollHeight")
+            scroll_count += 1
+            print(f"Scroll {scroll_count}: {new_height}")
             if new_height == last_height:
                 break
             last_height = new_height
+        print("Sayfa kaydırma tamamlandı")
 
-    # Chrome ayarları
     chrome_options = Options()
     chrome_options.add_argument('--headless')
     chrome_options.add_argument('--no-sandbox')
@@ -36,76 +41,98 @@ def scrape_reviews(url):
     chrome_options.add_argument("--window-size=1920,1080")
     
     try:
-        # Linux için ChromeDriver ayarları
+        print("Chrome başlatılıyor...")
         service = Service()
         driver = webdriver.Chrome(service=service, options=chrome_options)
         
+        print(f"URL'ye gidiliyor: {url}")
         driver.get(url)
-        time.sleep(3)
+        time.sleep(5)  # Sayfa yüklenme süresini artırdık
+        
+        # Sayfa kaynağını kontrol et
+        page_source = driver.page_source
+        print(f"Sayfa uzunluğu: {len(page_source)}")
         
         try:
-            WebDriverWait(driver, 10).until(
-                EC.element_to_be_clickable((By.ID, 'onetrust-accept-btn-handler'))
-            ).click()
-        except:
-            print("Çerez popup'ı bulunamadı, devam ediliyor...")
+            print("Çerez popup'ı aranıyor...")
+            cookie_button = WebDriverWait(driver, 10).until(
+                EC.presence_of_element_located((By.ID, "onetrust-accept-btn-handler"))
+            )
+            cookie_button.click()
+            print("Çerez popup'ı kapatıldı")
+        except Exception as e:
+            print(f"Çerez popup'ı işlemi: {str(e)}")
 
         comprehensive_scroll(driver)
 
-        # İlk çalışan xpath'leri kullanalım
-        comment_elements = driver.find_elements(By.XPATH, '/html/body/div[1]/div[4]/div/div/div/div/div[3]/div/div/div[3]/div[2]/div')
+        print("Yorum elementleri aranıyor...")
+        # Önce yorum container'ını bul
+        review_container = driver.find_element(By.CLASS_NAME, "pr-rnr-com-w")
+        print("Yorum container'ı bulundu")
+        
+        # Yorum elementlerini bul
+        comment_elements = review_container.find_elements(By.CLASS_NAME, "comment-cards-item")
         total_comments = len(comment_elements)
         
         if total_comments == 0:
-            print("Yorum elementi bulunamadı!")
+            print("Alternatif yorum elementi aranıyor...")
+            comment_elements = driver.find_elements(By.CSS_SELECTOR, "div.comment-cards-item")
+            total_comments = len(comment_elements)
+        
+        print(f"Bulunan yorum sayısı: {total_comments}")
+        
+        if total_comments == 0:
+            print("Hiç yorum bulunamadı!")
             return pd.DataFrame()
             
-        print(f"Toplam {total_comments} yorum bulundu")
-        
         data = []
-        for i in range(1, total_comments + 1):
+        for i, element in enumerate(comment_elements, 1):
             try:
-                username_xpath = f'/html/body/div[1]/div[4]/div/div/div/div/div[3]/div/div/div[3]/div[2]/div[{i}]/div[1]/div[2]/div[1]'
-                username = driver.find_element(By.XPATH, username_xpath).text
+                username = element.find_element(By.CLASS_NAME, "user-name").text
             except:
                 username = "N/A"
+                print(f"Kullanıcı adı alınamadı: {i}")
 
             try:
-                comment_xpath = f'/html/body/div[1]/div[4]/div/div/div/div/div[3]/div/div/div[3]/div[2]/div[{i}]/div[2]/p'
-                comment = driver.find_element(By.XPATH, comment_xpath).text
+                comment = element.find_element(By.CLASS_NAME, "comment-text").text
             except:
                 comment = "N/A"
+                print(f"Yorum metni alınamadı: {i}")
 
             try:
-                date_xpath = f'/html/body/div[1]/div[4]/div/div/div/div/div[3]/div/div/div[3]/div[2]/div[{i}]/div[1]/div[2]/div[2]'
-                date = driver.find_element(By.XPATH, date_xpath).text
+                date = element.find_element(By.CLASS_NAME, "comment-date").text
             except:
                 date = "N/A"
+                print(f"Tarih alınamadı: {i}")
 
             try:
-                star_xpath_base = f'/html/body/div[1]/div[4]/div/div/div/div/div[3]/div/div/div[3]/div[2]/div[{i}]/div[1]/div[1]/div'
-                full_stars = driver.find_elements(By.XPATH, f"{star_xpath_base}/div[@class='star-w']/div[@class='full'][@style='width: 100%; max-width: 100%;']")
-                star_count = len(full_stars)
+                stars = len(element.find_elements(By.CSS_SELECTOR, "div.full[style='width: 100%; max-width: 100%;']"))
             except:
-                star_count = 0
+                stars = 0
+                print(f"Yıldız sayısı alınamadı: {i}")
 
             data.append({
                 "Kullanıcı_id": i,
                 "Kullanıcı Adı": username,
                 "Yorum": comment,
                 "Tarih": date,
-                "Yıldız Sayısı": star_count
+                "Yıldız Sayısı": stars
             })
 
             if i % 5 == 0:
-                print(f"{i} yorum işlendi...")
+                print(f"{i} yorum işlendi")
 
+        print("Veri toplama tamamlandı")
         return pd.DataFrame(data)
 
     except Exception as e:
-        print(f"Hata detayı: {str(e)}")
+        print(f"Kritik hata: {str(e)}")
+        if 'driver' in locals():
+            print("Son sayfa kaynağı:")
+            print(driver.page_source[:500])  # İlk 500 karakteri göster
         return pd.DataFrame()
 
     finally:
         if 'driver' in locals():
-            driver.quit()
+            driver.quit()
+            print("Chrome kapatıldı")