update

business_transaction_map/components/faiss_vector_database.py

@@ -189,10 +189,6 @@ class FaissVectorDatabase:
         """
         if len(emb_query.shape) != 2:
             assert print('Не правильный размер вектора!')
-            
-        print("Index dimension:", self.index.d)  # Размерность индекса
-        print("Query dimension:", emb_query.shape[1])  # Размерность вектора запроса
-
 
         distances, indexes = self.index.search(emb_query, k_neighbors)
         answers = {}

fastapi_app.py

@@ -23,8 +23,6 @@ LLM_API_URL = os.getenv("LLM_API_URL", "")
 LLM_API_KEY = os.getenv("LLM_API_KEY", "")
 LLM_USE_DEEPINFRA = os.getenv("LLM_USE_DEEPINFRA", "") == "1"
 
-print(LLM_USE_DEEPINFRA)
-
 class Query(BaseModel):
     query: str = ''
     top: int = 10
@@ -46,7 +44,7 @@ class Query(BaseModel):
                         'Бухгалтерский документ': False}
     llm_params: LlmParams = None
 
-# search = SemanticSearch()
+search = SemanticSearch()
 transaction_maps_search = TransactionMapsSearch()
 
 app = FastAPI(
@@ -78,7 +76,7 @@ def log_query_result(query, top, request_id, result):
 @app.post('/search')
 async def search_route(query: Query) -> dict:
 
-    default_llm_params = LlmParams(url=LLM_API_URL,api_key=LLM_API_KEY, model="mistralai/Mixtral-8x7B-Instruct-v0.1", predict_params=LlmPredictParams(temperature=0.15, top_p=0.95, min_p=0.05, seed=42, repetition_penalty=1.2, presence_penalty=1.1, max_tokens=6000))
+    default_llm_params = LlmParams(url=LLM_API_URL,api_key=LLM_API_KEY, model="meta-llama/Llama-3.3-70B-Instruct", predict_params=LlmPredictParams(temperature=0.15, top_p=0.95, min_p=0.05, seed=42, repetition_penalty=1.2, presence_penalty=1.1, max_tokens=6000))
 
     try:
         question = getattr(query, "query", None)
@@ -97,7 +95,7 @@ async def search_route(query: Query) -> dict:
         
         print(request_llm_params)
         
-        llm_params = default_llm_params#getattr(query, "llm_params", default_llm_params)
+        llm_params = getattr(query, "llm_params", default_llm_params)
             
         if LLM_USE_DEEPINFRA:
             print(llm_params.model)

huggingface/dataset_utils.py

@@ -0,0 +1,39 @@
+import os
+from datasets import load_dataset
+
+def get_global_data_path():
+    """
+    Загружает путь к папке `legal_info_search_data` внутри датасета Hugging Face.
+
+    Ожидает, что переменные окружения HF_TOKEN и HF_DATASET заданы.
+    Если переменные не указаны, возвращает значение по умолчанию.
+
+    Returns:
+        str: Путь к папке `legal_info_search_data`.
+    Raises:
+        ValueError: Если переменные окружения не указаны.
+        FileNotFoundError: Если папка `legal_info_search_data` не найдена.
+    """
+    # Получение переменных окружения
+    hf_token = os.environ.get("HF_TOKEN")
+    hf_dataset = os.environ.get("HF_DATASET")
+    default_path = os.environ.get("GLOBAL_DATA_PATH")
+
+    # Проверяем, заданы ли переменные окружения
+    if not hf_token or not hf_dataset:
+        return default_path
+
+    # Загружаем датасет
+    try:
+        dataset = load_dataset(hf_dataset, use_auth_token=hf_token)
+        # Получаем путь к локальному кешу датасета
+        dataset_cache_path = dataset.cache_files[0]['filename']
+        global_data_path = os.path.join(os.path.dirname(dataset_cache_path), "legal_info_search_data")
+
+        # Проверяем существование папки
+        if not os.path.exists(global_data_path):
+            raise FileNotFoundError(f"Папка {global_data_path} не найдена в датасете {hf_dataset}.")
+
+        return global_data_path
+    except Exception as e:
+        raise RuntimeError(f"Ошибка при загрузке датасета: {str(e)}")

semantic_search.py

@@ -19,9 +19,18 @@ import torch.nn.functional as F
 import pickle
 from llm.prompts import LLM_PROMPT_QE, LLM_PROMPT_OLYMPIC, LLM_PROMPT_KEYS
 from llm.vllm_api import LlmApi, LlmParams
+from huggingface import dataset_utils
 
 global_data_path = os.environ.get("GLOBAL_DATA_PATH", "./legal_info_search_data/")
 
+hf_token = os.environ.get("HF_TOKEN", None)
+hf_dataset = os.environ.get("HF_DATASET", None)
+
+if hf_token is not None and hf_dataset is not None:
+    global_data_path = dataset_utils.get_global_data_path()
+    print(f"Global data path: {global_data_path}")
+    
+
 global_model_path = os.environ.get("GLOBAL_MODEL_PATH", "./models/20240202_204910_ep8")
 
 data_path_consult = global_data_path + "external_data"