v0.6.2 - просто апи для генерации текста

- пробую разные настройки для ускорения генерации;

app.py

@@ -42,8 +42,9 @@ try:
     LLM = Llama.from_pretrained(
         repo_id=REPO_ID,
         filename='Vikhr-Qwen-2.5-1.5b-Instruct-Q8_0.gguf',
-        n_gpu_layers=-1,
         n_threads=2,
+        n_batch=4096,
+        n_gpu_layers=-1,
         n_ctx=4096,
         temperature=0.3,
         num_return_sequences=1,

bot.py

@@ -1,56 +0,0 @@
-import asyncio
-import logging
-import os
-
-from dotenv import load_dotenv
-from telegram import Update
-from telegram.ext import Application, CommandHandler, MessageHandler, filters, ContextTypes
-
-load_dotenv()
-TOKEN = os.environ.get("TELEGRAM_TOKEN")
-logging.log(logging.INFO, TOKEN)
-
-
-# Команды
-async def start_command(update: Update, context: ContextTypes.DEFAULT_TYPE):
-    await update.message.reply_text("Привет! Я простой бот. Напиши что-нибудь, и я повторю!")
-
-
-async def help_command(update: Update, context: ContextTypes.DEFAULT_TYPE):
-    await update.message.reply_text("Доступные команды:\n/start - начать общение\n/help - помощь")
-
-
-# Обработка текстовых сообщений
-async def handle_message(update: Update, context: ContextTypes.DEFAULT_TYPE):
-    text = update.message.text
-    print(f"User ({update.message.chat.id}): {text}")
-    await update.message.reply_text(f"Вы написали: {text}")
-
-
-# Ошибки
-async def error(update: Update, context: ContextTypes.DEFAULT_TYPE):
-    print(f"Update {update} caused error {context.error}")
-
-
-# Запуск бота
-async def start_bot():
-    print(f"Starting bot...${TOKEN}")
-    app = Application.builder().token(TOKEN).build()
-
-    # Регистрация команд
-    app.add_handler(CommandHandler("start", start_command))
-    app.add_handler(CommandHandler("help", help_command))
-
-    # Регистрация обработчика сообщений
-    app.add_handler(MessageHandler(filters.TEXT, handle_message))
-
-    # Регистрация обработчика ошибок
-    app.add_error_handler(error)
-
-    # Опрос сервера
-    print("Polling...")
-    await app.run_polling(timeout=3)
-
-
-if __name__ == "__main__":
-    asyncio.run(start_bot())  # З