update

huggingface/dataset_utils.py

@@ -1,6 +1,7 @@
 import os
 from datasets import load_dataset
-
+import huggingface_hub
+    
 def get_global_data_path():
     """
     Загружает путь к папке `legal_info_search_data` внутри датасета Hugging Face.
@@ -23,17 +24,5 @@ def get_global_data_path():
     if not hf_token or not hf_dataset:
         return default_path
 
-    # Загружаем датасет
-    try:
-        dataset = load_dataset(hf_dataset, use_auth_token=hf_token)
-        # Получаем путь к локальному кешу датасета
-        dataset_cache_path = dataset.cache_files[0]['filename']
-        global_data_path = os.path.join(os.path.dirname(dataset_cache_path), "legal_info_search_data")
-
-        # Проверяем существование папки
-        if not os.path.exists(global_data_path):
-            raise FileNotFoundError(f"Папка {global_data_path} не найдена в датасете {hf_dataset}.")
-
-        return global_data_path
-    except Exception as e:
-        raise RuntimeError(f"Ошибка при загрузке датасета: {str(e)}")
+    folder = huggingface_hub.snapshot_download(repo_id=hf_dataset, repo_type="dataset", token=hf_token)
+    return folder