Update app.py

app.py

@@ -1,30 +1,44 @@
 import gradio as gr
-from transformers import pipeline
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM
+import spaces  # ← обязательно для ZeroGPU
 
-# Используем готовую модель — можно заменить на свою
-pipe = pipeline("text-generation", model="tiiuae/falcon-rw-1b")
+model_name = "cody82/unitrip"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForCausalLM.from_pretrained(model_name)
+model.to("cuda" if torch.cuda.is_available() else "cpu")
 
-def respond(message, history):
+@spaces.GPU  # 💥 Без этого ZeroGPU не сработает!
+def respond(message, history=[]):
     history = history or []
-    full_prompt = "Ты — дружелюбный бот, знающий всё об Университете Иннополис.\n"
+    full_prompt = "Ты — ассистент, который знает всё об Университете Иннополис.\n"
 
     for user, bot in history:
         full_prompt += f"Пользователь: {user}\nБот: {bot}\n"
     full_prompt += f"Пользователь: {message}\nБот:"
 
-    output = pipe(full_prompt, max_new_tokens=200, pad_token_id=50256)[0]["generated_text"]
-    response = output.split("Бот:")[-1].split("Пользователь:")[0].strip()
+    inputs = tokenizer(full_prompt, return_tensors="pt").to(model.device)
+    outputs = model.generate(
+        **inputs,
+        max_new_tokens=200,
+        do_sample=True,
+        temperature=0.7,
+        top_p=0.9,
+        pad_token_id=tokenizer.eos_token_id
+    )
+    output_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    response = output_text.split("Бот:")[-1].strip()
 
     history.append((message, response))
     return history
 
-demo = gr.ChatInterface(
+chat = gr.ChatInterface(
     fn=respond,
-    chatbot=gr.Chatbot(label="Innopolis Bot"),
-    title="Innopolis Chatbot",
-    examples=["Когда основан Университет Иннополис?", "Какие программы есть в магистратуре?"],
-    cache_examples=False  # 💥 Ключевая строка, чтобы избежать ошибки
+    title="Innopolis Bot",
+    chatbot=gr.Chatbot(label="Unitrip"),
+    examples=["Когда основан Университет Иннополис?", "Сколько программ бакалавриата?"],
+    cache_examples=False
 )
 
 if __name__ == "__main__":
-    demo.launch()
+    chat.launch()