v0.4

- add bot.py

app.py

@@ -1,15 +1,15 @@
+import asyncio
 import logging
-import os
 from typing import Union, Optional, SupportsIndex
-
-import requests
 from fastapi import FastAPI
 from llama_cpp import Llama
 
+from bot import start_bot
+
 app = FastAPI()
-TELEGRAM_TOKEN = os.getenv('TELEGRAM_TOKEN')
+
 CHAT_TEMPLATE = '<|system|> {system_prompt}<|end|><|user|> {prompt}<|end|><|assistant|>'.strip()
-SYSTEM_PROMPT = '{prompt}'
+SYSTEM_PROMPT = ''
 
 logging.basicConfig(
     format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
@@ -20,11 +20,11 @@ logger = logging.getLogger(__name__)
 logger.info("Запускаемся... 🥳🥳🥳")
 
 REPO_ID = "Vikhrmodels/Vikhr-Qwen-2.5-1.5B-Instruct-GGUF"
-FILENAME = "Vikhr-Qwen-2.5-1.5b-Instruct-Q8_0.gguf",
+FILE_NAME = "Vikhr-Qwen-2.5-1.5b-Instruct-Q8_0.gguf",
 
 # Инициализация модели
 try:
-    logger.info(f"Загрузка модели {FILENAME}...")
+    logger.info(f"Загрузка модели {FILE_NAME}...")
 
     # загрузка модели для локального хранилища
     # llm = Llama(
@@ -66,7 +66,7 @@ def create_prompt(text: str) -> Union[str, None]:
 
         # Генерация шаблона
         return CHAT_TEMPLATE.format(
-            system_prompt=SYSTEM_PROMPT.format(promt='Ответ должен быть точным, кратким и с юмором.'),
+            system_prompt=SYSTEM_PROMPT or 'Ответ должен быть точным, кратким и с юмором.',
             prompt=user_input,
         )
     except Exception as e:
@@ -96,26 +96,28 @@ def generate_response(prompt: str) -> Optional[str]:
     except Exception as e:
         logger.error(f"Ошибка обработки сообщения: {str(e)}")
 
-async def send_to_telegram(message):
-    url = f"https://api.telegram.org/bot7517190315:AAE4TAhZm4ybTEPGe_KOYajFxHttNOqUtaY/sendMessage"
-    payload = {
-        "chat_id": '719751843',
-        "text": message
-    }
-    response = requests.post(url, json=payload)
-    return "Сообщение отправлено!" if response.ok else "Ошибка!"
-
 
 @app.get("/")
-async def root():
-    await send_to_telegram('aaaaaaaaaaa')
-    return {"message": "Hello World"}
+def greet_json():
+    return {"Hello": "World!"}
 
-@app.post("/webhook")
-async def predict(response):
+@app.put("/system-prompt")
+async def set_system_prompt(text: str):
     # Генерация ответа с помощью модели
-    logger.info('post/webhook -> response:')
-    logger.info(response)
-    # prompt = create_prompt(text)
-    # response = generate_response(prompt)
+    logger.info('post/system-prompt')
+    global SYSTEM_PROMPT
+    SYSTEM_PROMPT = text
+
+
+@app.post("/predict")
+async def predict(text: str):
+    # Генерация ответа с помощью модели
+    logger.info('post/predict')
+    prompt = create_prompt(text)
+    response = generate_response(prompt)
     return {"response": response}
+
+# Запуск Telegram-бота при старте приложения
+@app.on_event("startup")
+async def startup_event():
+    asyncio.create_task(start_bot())  # Запускаем бота в фоновом режиме

bot.py

@@ -0,0 +1,41 @@
+import os
+from telegram import Update
+from telegram.ext import Application, CommandHandler, MessageHandler, filters, ContextTypes
+
+TOKEN = os.environ["TELEGRAM_TOKEN"]
+
+# Команды
+async def start_command(update: Update, context: ContextTypes.DEFAULT_TYPE):
+    await update.message.reply_text("Привет! Я простой бот. Напиши что-нибудь, и я повторю!")
+
+async def help_command(update: Update, context: ContextTypes.DEFAULT_TYPE):
+    await update.message.reply_text("Доступные команды:\n/start - начать общение\n/help - помощь")
+
+# Обработка текстовых сообщений
+async def handle_message(update: Update, context: ContextTypes.DEFAULT_TYPE):
+    text = update.message.text
+    print(f"User ({update.message.chat.id}): {text}")
+    await update.message.reply_text(f"Вы написали: {text}")
+
+# Ошибки
+async def error(update: Update, context: ContextTypes.DEFAULT_TYPE):
+    print(f"Update {update} caused error {context.error}")
+
+# Запуск бота
+async def start_bot():
+    print("Starting bot...")
+    app = Application.builder().token(TOKEN).build()
+
+    # Регистрация команд
+    app.add_handler(CommandHandler("start", start_command))
+    app.add_handler(CommandHandler("help", help_command))
+
+    # Регистрация обработчика сообщений
+    app.add_handler(MessageHandler(filters.TEXT, handle_message))
+
+    # Регистрация обработчика ошибок
+    app.add_error_handler(error)
+
+    # Опрос сервера
+    print("Polling...")
+    await app.run_polling(polling_interval=3)