Spaces:

muryshev
/

nn-search-transmap

Sleeping

App Files Files Community

muryshev commited on Jan 9

Commit

03fe723

1 Parent(s): b24d496

config

Browse files

Files changed (1) hide show

README.md +10 -126

README.md CHANGED Viewed

@@ -1,126 +1,10 @@
-# API семантического поиска с возможностью многоступенчатого поиска
-## Используемые модели
-В качестве модели векторизации используется предобученная модель E5, которую можно скачать из облачного хранилища по [ссылке](https://ai.ntrlab.ru/mlcloud/s/cnJHPjmXsAzba8H/download).
-Модель нужно скачать и разместить в папке `legal_info_search_models` НЕ в корне проекта.
-На одном из последних этапов поиска опционально выполняется переранжирование. Последняя версия весов данной модели может быть скачана по [ссылке](https://ai.ntrlab.ru/mlcloud/apps/files/files/1135975?dir=/data/models/reranking) (веса `ranker_new_weights.json`). Модель переранжирования разместить в папке `rank_models` в корне проекта.
-Также в сервисе ведется поиск по картам проводок. Выполняется он при помощи модели [intfloat/multilingual-e5-base](https://huggingface.co/intfloat/multilingual-e5-base). Её также необходимо загрузить к себе и положить в папку `multilingual-e5-base` НЕ в корне проекта.
-## Используемые для работы поиска данные
-Для корректной работы поиска необходимы данные в формате `huggingface datasets`, которые можно также скачать по [ссылке](https://drive.google.com/file/d/1ru40xKWr6aZys5sp5cMb_ngwCe7-Y_LU/view?usp=sharing). Их нужно скачать и разместить в папке `legal_info_search_data` в корне проекта.
-Каждый пример в любом наборе данных представляет из себя словарь со следующими атрибутами:
-* `doc_name` - название документа (например, ст. 159 НКРФ)
-* `doc_text` - текст документа
-* `doc_embedding` - эмбеддинг текста документа
-* `chunks_embeddings` - представляет список вида `[{'summary_text': *текст тизера*, 'embedding': *эмбеддинг тизера*}]`. Таким образом, под ключом `chunks_embeddings` находится список словарей с тизерами для конкретного текста документа. Тизеры и их эмбеддинги используются при подборе наиболее подходящего отрывка текста к вопросу пользователя.
-Пайплайн получения датасета такого формата описан в [соответствующем репозитории](https://gitlab.ntrlab.ru/hf-chat/nn_data_processing/teasers_extraction).
-Для поиска по картам проводок нужно загрузить набор данных из [папки](https://ai.ntrlab.ru/mlcloud/apps/files/files/1136443?dir=/data/processed_datasets/transaction_maps_search_data) в облаке. Размещаем скачанные данные в папке `transaction_map_data` в корне проекта.
-## Локальный запуск
-Устанавливаем все зависимости
-```
-pip install -r requirements.txt
-```
-Создаем в корне проекта `.env` файл, в котором прописываем следующие переменные:
-```
-GLOBAL_DATA_PATH=*GLOBAL_DATA_PATH*
-GLOBAL_MODEL_PATH=*GLOBAL_MODEL_PATH*
-RERANKER_MODEL_PATH=*RERANKER_MODEL_PATH*
-DATA_PATH_CONSULT=*DATA_PATH_CONSULT*
-ACCOUNTING_DATA_PATH=*ACCOUNTING_DATA_PATH*
-INTERNAL_DOCS_DATA_PATH=*INTERNAL_DOCS_DATA_PATH*
-GLOBAL_TRANSACTION_MAPS_DB_FILES_PATH=*GLOBAL_TRANSACTION_MAPS_DB_FILES_PATH*
-GLOBAL_TRANSACTION_MAPS_MODEL_PATH=*GLOBAL_TRANSACTION_MAPS_MODEL_PATH*
-LLM_API_ENDPOINT=*LLM_API_ENDPOINT*
-LOGS_BASE_PATH=*LOGS_BASE_PATH*
-ENABLE_LOGS=*ENABLE_LOGS*
-ES_URL=*ES_URL*
-ES_INDEX_NAME=*ES_INDEX_NAME*
-```
-Передав все необходимые значения переменных окружения, запускаем в терминале команду
-```
-python3 -m uvicorn fastapi_app:app --host=0.0.0.0 --port=7860 --env-file .env
-```
-## Сборка docker-образа и пуш в registry
-Собрать образ можно через комманду
-```
-docker build -t ntr-semantic-search-api-multistep:latest .
-```
-Если ранее не пушили в registry.ntrlab.ru, то сначала необходимо авторизоваться по команде
-```
-docker login registry.ntrlab.ru --username <имя пользователя> --password <пароль>
-```
-После авторизации присваиваем образу тэг и пушим в регистри
-```
-docker tag ntr-semantic-search-api-multistep:latest registry.ntrlab.ru/nn/ntr-semantic-search-api-multistep:latest
-```
-```
-docker push registry.ntrlab.ru/nn/ntr-semantic-search-api-multistep:latest
-```
-Тэг образу можно присвоить любой, но лучше обдумать версионирование. В данный момент последняя версия поиска в production среде имеет тэг `latest`.
-## Деплой в среде Норникель
-Для развертывания собранной версии сервиса выполняем следующие шаги:
-1. Ссылку на отгруженный образ в виде `registry.ntrlab.ru/nn/ntr-semantic-search-api-multistep:latest` передаем человеку со стороны заказчика, который может перенести этот образ в регистри Норникеля. Ждем сигнала, что все было загружено.
-2. Заходим через Horizon к себе в неймспейс и создаем три волюма:
-    * `j-volume` на 10 Гб типа `ReadWriteOnce`;
-    * `ntr-semantic-search-data` на 10 Гб типа `ReadWriteOnce`;
-    * `ntr-transaction-maps-search-data` на 10 Гб также типа `ReadWriteOnce`.
-3. Создаем тетрадку, в которой в качестве системного волюма выбираем `j-volume`, также прикрепляем к тетрадке ранее созданные `ntr-semantic-search-data` (меняем название на диске на `ntr-semantic-search-data`) и `ntr-transaction-maps-search-data` (меняем название на диске на `ntr-transaction-maps-search-data`)
-    В тетрадке выбираем 0.5 CPU и 16 GB RAM
-4. После создания и подъема тетрадки в волюмах `ntr-semantic-search-data` и `ntr-transaction-maps-search-data` создать папки `models`, внутрь которой перенести соответствующие модели для каждого типа поиска. Перенос моделей можно осуществить при помощи file transfer`а, заранее заархивировав модели у себя на рабочем компьютере. Затем эти архивы переносим в поднятую тетрадку и разархивируем в нужные папки.
-     После выполнения этого шага у нас должны получиться два волюма с такими структурами файлов внутри:
-     * `ntr-semantic-search-data/models/model_1_folder`
-     * `ntr-transaction-maps-search-data/models/model_2_folder`
-5. Удаляем созданную тетрадку и пересоздаем новую, в которой в качестве системного волюма указываем только `j-volume` (и ничего больше). В тетрадке выбираем 0.5 CPU и 16 GB RAM.
-6. После того как тетрадка поднялась, можно приступать к деплою.
-    * Создадим сикрет для скачивания образа из регистри Норникеля.
-        ```
-        kubectl create secret docker-registry nornik-regcred --docker-server=nexus.npr.nornick.ru --docker-username=<service_username> --docker-password=<service_password>
-        ```
-    * Переносим через файл трансфер к себе в тетрадку следующий [файл](https://ai.ntrlab.ru/mlcloud/apps/files/files/1137406?dir=/data/nn_search_deployment). Если все было сделано в точности по инструкции, то не нужно менять ничего в разделах `volumeMounts` и `volumes`.
-    * Задаем набор переменных окружения в разделе `env`. Также не потребуется изменять переменные `GLOBAL_MODEL_PATH` и `GLOBAL_TRANSACTION_MAPS_MODEL_PATH`, если все было выполнено в соответствии с инструкцией.
-    * Прописываем команду `kubectl -f apply semantic-search-api.yaml`
-    * Смотрим за прогрессом поднятия пода через команду `kubectl get pods --watch`. Как только у поднятого пода появится статус `Running`, заходим в его логи по команде `kubectl logs -f <pod_name>`.
-    * Если всё развернулось без ошибок, то открываем новый терминал, узнаем имя нашего деплоймента: `kubectl get deployments`. После этого прописываем команду `kubectl expose deployment/<deployment_name> --type="ClusterIP" --port=7868 --target-port=7860`.
-    * Смотрим выделенные адрес и порт сервиса по команде `kubectl get svc`.
-    * Проверяем работоспособность сервиса: `curl http://<ip:порт деплоя>/health`

+---
+title: Nn Search Transmap
+emoji: 🚀
+colorFrom: red
+colorTo: pink
+sdk: docker
+pinned: false
+---
+Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference