тестирование

app.py

@@ -1,4 +1,5 @@
 import logging
+from typing import Union, Optional, SupportsIndex
 from fastapi import FastAPI
 from llama_cpp import Llama
 
@@ -16,6 +17,7 @@ logger.info("Запускаемся... 🥳🥳🥳")
 
 # Инициализация модели
 try:
+    # logger.info("Загрузка модели...")
     # загрузка модели для локального хранилища
     # llm = Llama(
     #     model_path="./models/phi-3-mini-4k-instruct-q4.gguf",
@@ -38,7 +40,7 @@ except Exception as e:
 
 
 # составление промта для модели
-def create_prompt(text: str) -> str | None:
+def create_prompt(text: str) -> Union[str, None]:
     try:
         user_input = text
         logger.info(f"Получено сообщение: {user_input}")
@@ -54,7 +56,7 @@ def create_prompt(text: str) -> str | None:
         logger.error(e)
 
 
-def generate_response(prompt: str) -> str:
+def generate_response(prompt: str) -> Optional[str]:
     try:
         # Обработка текстового сообщения
         output = llm(
@@ -66,7 +68,7 @@ def generate_response(prompt: str) -> str:
         logger.info('Output:')
         logger.info(output)
 
-        response: str = output['choices'][0]['text']
+        response = output['choices'][0]['text']
 
         # Отправка ответа
         if response: