v0.1.2 на Qwen

app.py

@@ -6,6 +6,7 @@ from llama_cpp import Llama
 app = FastAPI()
 
 CHAT_TEMPLATE = '<|system|> {system_prompt}<|end|><|user|> {prompt}<|end|><|assistant|>'.strip()
+SYSTEM_PROMPT = '{prompt}'
 
 logging.basicConfig(
     format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
@@ -15,12 +16,12 @@ logger = logging.getLogger(__name__)
 
 logger.info("Запускаемся... 🥳🥳🥳")
 
-repo_id = "Vikhrmodels/QVikhr-2.5-1.5B-Instruct-SMPO_GGUF"
-filename = "QVikhr-2.5-1.5B-Instruct-SMPO-Q8_0.gguf"
+REPO_ID = "Vikhrmodels/QVikhr-2.5-1.5B-Instruct-SMPO_GGUF"
+FILENAME = "QVikhr-2.5-1.5B-Instruct-SMPO-Q8_0.gguf"
 
 # Инициализация модели
 try:
-    logger.info(f"Загрузка модели {filename}...")
+    logger.info(f"Загрузка модели {FILENAME}...")
 
     # загрузка модели для локального хранилища
     # llm = Llama(
@@ -36,9 +37,9 @@ try:
     # )
 
     # if not llm:
-    llm = Llama.from_pretrained(
-        repo_id=repo_id,
-        filename=filename,
+    LLM = Llama.from_pretrained(
+        repo_id=REPO_ID,
+        filename=FILENAME,
         n_gpu_layers=-1,
         n_ctx=1512,
         temperature=0.3,
@@ -59,11 +60,10 @@ def create_prompt(text: str) -> Union[str, None]:
         user_input = text
         logger.info(f"Получено сообщение: {user_input}")
 
-        system_prompt = 'Ответ должен быть точным и кратким и если возможно шутливым.'
 
         # Генерация шаблона
         return CHAT_TEMPLATE.format(
-            system_prompt=system_prompt,
+            system_prompt=SYSTEM_PROMPT.format(promt='Ответ должен быть точным, кратким и с юмором.'),
             prompt=user_input,
         )
     except Exception as e:
@@ -73,7 +73,7 @@ def create_prompt(text: str) -> Union[str, None]:
 def generate_response(prompt: str) -> Optional[str]:
     try:
         # Обработка текстового сообщения
-        output = llm(
+        output = LLM(
             prompt,
             max_tokens=64,
             stop=["<|end|>"],
@@ -98,6 +98,13 @@ def generate_response(prompt: str) -> Optional[str]:
 def greet_json():
     return {"Hello": "World!"}
 
+@app.put("/system-prompt")
+async def set_system_prompt(text: str):
+    # Генерация ответа с помощью модели
+    logger.info('post/system-prompt')
+    global SYSTEM_PROMPT
+    SYSTEM_PROMPT = SYSTEM_PROMPT.format(promt=text)
+    return {"set": 'ok'}
 
 @app.post("/predict")
 async def predict(text: str):