Upload test.py

test.py

@@ -0,0 +1,84 @@
+import requests
+from bs4 import BeautifulSoup
+
+# URL du sitemap principal
+sitemap_url = "https://falasteenifoodie.com/sitemap_index.xml"
+
+def get_raw_sitemap(url):
+    """Fonction pour obtenir le contenu brut du sitemap principal avec User-Agent"""
+    headers = {
+        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
+    }
+    try:
+        response = requests.get(url, headers=headers)
+        response.raise_for_status()  # Vérifier que la requête a réussi (code 200)
+        return response.content
+    except requests.exceptions.RequestException as e:
+        print(f"Erreur lors de la récupération du sitemap {url}: {e}")
+        return None
+
+# Extraire le contenu brut du sitemap principal
+sitemap_content = get_raw_sitemap(sitemap_url)
+
+if sitemap_content:
+    soup = BeautifulSoup(sitemap_content, "lxml-xml")
+    # Afficher les premières lignes du sitemap pour inspecter sa structure
+    print(soup.prettify()[:500])  # Afficher les 500 premiers caractères pour voir la structure
+
+    # Extraire toutes les URLs (loc) dans le sitemap
+    main_sitemap_urls = [loc.text for loc in soup.find_all("loc")]
+    print("URL du sitemap principal :", main_sitemap_urls)
+else:
+    print("Impossible de récupérer le sitemap principal.")
+import requests
+from bs4 import BeautifulSoup
+
+def get_urls_from_sitemap(url):
+    """Fonction pour extraire toutes les URLs d'un sitemap donné avec User-Agent"""
+    headers = {
+        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
+    }
+    try:
+        response = requests.get(url, headers=headers)
+        response.raise_for_status()  # Vérifier que la requête a réussi (code 200)
+        soup = BeautifulSoup(response.content, "lxml-xml")
+        urls = [loc.text for loc in soup.find_all("loc")]
+        return urls
+    except requests.exceptions.RequestException as e:
+        print(f"Erreur lors de la récupération du sitemap {url}: {e}")
+        return []
+
+# Liste des sitemaps extraits du sitemap principal
+sitemaps = [
+    "https://falasteenifoodie.com/post-sitemap.xml",
+    "https://falasteenifoodie.com/post_tag-sitemap.xml",
+    
+    "https://falasteenifoodie.com/author-sitemap.xml",
+    "https://falasteenifoodie.com/category-sitemap.xml"
+    
+]
+
+# Dictionnaires pour stocker les URLs classées
+posts_urls = []
+categories_urls = []
+
+# Extraire les URLs de chaque sitemap et les trier
+for sitemap in sitemaps:
+    print(f"Extraction des URLs du sitemap: {sitemap}")
+    sitemap_urls = get_urls_from_sitemap(sitemap)
+    print(f"Nombre d'URLs extraites de {sitemap}: {len(sitemap_urls)}")
+    
+    # Classer les URLs en posts ou categories
+    for url in sitemap_urls:
+        if "category" in url:
+            categories_urls.append(url)  # Ajouter à la liste des catégories
+        else:
+            posts_urls.append(url)  # Ajouter à la liste des posts
+
+# Afficher les résultats
+print(f"Total des URLs de posts: {len(posts_urls)}")
+print(f"Total des URLs de catégories: {len(categories_urls)}")
+
+# Afficher un échantillon des URLs
+print("Exemple d'URLs de posts :", posts_urls[:5])
+print("Exemple d'URLs de catégories :", categories_urls[:5])