тестирование

app.py

@@ -1,26 +1,85 @@
+import logging
 from fastapi import FastAPI
 from llama_cpp import Llama
 
 app = FastAPI()
 
-# Загрузка модели Hugging Face
+CHAT_TEMPLATE = '<|system|> {system_prompt}<|end|><|user|> {prompt}<|end|><|assistant|>'.strip()
 
-
-llm = Llama.from_pretrained(
-	repo_id="bartowski/Phi-3.5-mini-instruct-GGUF",
-	filename="Phi-3.5-mini-instruct-IQ2_M.gguf",
+logging.basicConfig(
+    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
+    level=logging.INFO
 )
+logger = logging.getLogger(__name__)
+
+logger.info("Запускаемся... 🥳🥳🥳")
+
+# Инициализация модели
+try:
+    # загрузка модели для локального хранилища
+    # llm = Llama(
+    #     model_path="./models/phi-3-mini-4k-instruct-q4.gguf",
+    #     verbose=False,
+    #     n_gpu_layers=-1,
+    #     n_ctx=4096
+    # )
+
+    logger.info("Загрузка модели...")
+    llm = Llama.from_pretrained(
+        repo_id='bartowski/Phi-3.5-mini-instruct-GGUF',
+        filename='Phi-3.5-mini-instruct-Q6_K_L.gguf',
+        n_gpu_layers=-1,
+        n_ctx=4096,
+    )
+
+except Exception as e:
+    logger.error(f"Ошибка загрузки модели: {str(e)}")
+    raise
+
+
+# составление промта для модели
+def create_prompt(text: str) -> str | None:
+    try:
+        user_input = text
+        logger.info(f"Получено сообщение: {user_input}")
+
+        system_prompt = 'Ответ должен быть точным и кратким и если возможно шутливым.'
+
+        # Генерация шаблона
+        return CHAT_TEMPLATE.format(
+            system_prompt=system_prompt,
+            prompt=user_input,
+        )
+    except Exception as e:
+        logger.error(e)
+
+
+def generate_response(prompt: str) -> str:
+    try:
+        # Обработка текстового сообщения
+        output = llm(
+            prompt,
+            max_tokens=512,
+            stop=["<|end|>"],
+        )
+
+        logger.info('Output:')
+        logger.info(output)
+
+        response: str = output['choices'][0]['text']
+
+        # Отправка ответа
+        if response:
+            return response
+
+        return 'Произошла ошибка при обработке запроса'
+    except Exception as e:
+        logger.error(f"Ошибка обработки сообщения: {str(e)}")
 
 
 @app.post("/predict")
 async def predict(text: str):
     # Генерация ответа с помощью модели
-    response = llm.create_chat_completion(
-	messages = [
-		{
-			"role": "user",
-			"content": text
-		}
-	]
-    )
-    return {"response": result[0]["generated_text"]}
+    prompt = create_prompt(text)
+    response = generate_response(prompt)
+    return {"response": response}