Update fix langlinks.py

fix langlinks.py

@@ -1,5 +1,5 @@
-import re
 import tqdm
+import re
 import json
 import requests
 from huggingface_hub import login
@@ -14,7 +14,13 @@ response = requests.get(json_url)
 data = response.json()
 
 # تحويل القاموس إلى قائمة من القواميس [{ "en": "value", "ar": "value" }, ...]
-data_list = []
+
+data_lists = {
+    "langlinks" : {},
+    "filtered_data" : {},
+    "cats_2000" : {},
+}
+
 for key, value in tqdm.tqdm(data.items()):
     # "Category:1. FC Köln non-playing staff"
     # remove " from start and end
@@ -27,16 +33,40 @@ for key, value in tqdm.tqdm(data.items()):
     if value.startswith(':"') and value.endswith('",'):
         value = value[2:-2]
     # ----
-    data_list.append({"en": key, "ar": value})
+    # data_lists["langlinks"].append({"en": key, "ar": value})
+    data_lists["langlinks"][key] = value
+    # ----
+    # Add if key and value has 4 digits and they are the same
+    key_digits = re.search(r"\d{4}", key)
+    value_digits = re.search(r"\d{4}", value)
+    # ----
+    if key_digits and value_digits and key_digits.group() == value_digits.group():
+        # data_lists["filtered_data"].append({"en": key, "ar": value})
+        data_lists["filtered_data"][key] = value
+        # ---
+        key2 = key.replace(key_digits.group(), "2000")
+        value2 = value.replace(value_digits.group(), "2000")
+        # ---
+        # data_lists["cats_2000"].append({"en": key2, "ar": value2})
+        data_lists["cats_2000"][key] = value
+
+
+for x, data_list in data_lists.items():
+    data_list = [{"en": key, "ar": value} for key, value in data_list.items()]
+
+    # حفظ القاموس المصحح في ملف JSON
+    with open(f"{x}.json", "w", encoding="utf-8") as f:
+        json.dump(data_list, f, ensure_ascii=False, indent=4)
 
-# حفظ القاموس المصحح في ملف JSON
-with open("langlinks_fixed.json", "w", encoding="utf-8") as f:
-    json.dump(data_list, f, ensure_ascii=False, indent=4)
+    upload_file(
+        path_or_fileobj=f"{x}.json",  # اسم الملف الذي تم حفظه
+        path_in_repo=f"{x}.json",  # المسار داخل المستودع
+        repo_id="Ibrahemqasim/enwiki_to_arwiki_categories",  # معرف المستودع
+        # repo_type="dataset",  # نوع المستودع (نستخدم dataset للملفات)
+    )
 
+    print(f"__________________")
+    print(f"file: {x} uploaded successfully!")
 
-upload_file(
-    path_or_fileobj="langlinks_fixed.json",  # اسم الملف الذي تم حفظه
-    path_in_repo="langlinks_fixed.json",  # المسار داخل المستودع
-    repo_id="Ibrahemqasim/enwiki_to_arwiki_categories",  # معرف المستودع
-    # repo_type="dataset",  # نوع المستودع (نستخدم dataset للملفات)
-)
+    print(f"{len(data)=}.")
+    print(f"{len(data_list)} rows uploaded.")