Update app.py

app.py

@@ -1,51 +1,42 @@
 import torch
-from transformers import AutoModelForCausalLM, AutoTokenizer
 import gradio as gr
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
 
-model_id = "cody82/unitrip"
-
+model_id = "google/flan-t5-base"  # можно flan-t5-large, если хватает памяти
 tokenizer = AutoTokenizer.from_pretrained(model_id)
-model = AutoModelForCausalLM.from_pretrained(model_id)
+model = AutoModelForSeq2SeqLM.from_pretrained(model_id)
 device = "cuda" if torch.cuda.is_available() else "cpu"
 model.to(device)
 
-system_message = "Ты — умный помощник по Университету Иннополис."
+context = """
+Университет Иннополис был основан в 2012 году. Это современный вуз в России, 
+специализирующийся на IT и робототехнике, расположенный в городе Иннополис, Татарстан.
+"""
 
-def respond(user_message, history):
+def respond(message, history=None):
     if history is None:
         history = []
-    prompt = system_message + "\n"
-    for user_text, bot_text in history:
-        prompt += f"User: {user_text}\nAssistant: {bot_text}\n"
-    prompt += f"User: {user_message}\nAssistant:"
+
+    prompt = (
+        "Используя следующий контекст, ответь на вопрос четко и кратко.\n"
+        f"Контекст: {context}\n"
+        f"Вопрос: {message}\n"
+        "Ответ:"
+    )
 
     inputs = tokenizer(prompt, return_tensors="pt").to(device)
 
     with torch.no_grad():
         outputs = model.generate(
             **inputs,
-            max_new_tokens=150,
-            pad_token_id=tokenizer.eos_token_id,
-            eos_token_id=tokenizer.eos_token_id,
+            max_new_tokens=100,
             do_sample=False,
+            eos_token_id=tokenizer.eos_token_id
         )
+    answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
 
-    generated_text = tokenizer.decode(outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True).strip()
-
-    history.append((user_message, generated_text))
-    return history, history
-
-def clear_textbox():
-    return ""
-
-with gr.Blocks() as demo:
-    chatbot = gr.Chatbot()
-    message = gr.Textbox(placeholder="Введите вопрос...")
-    state = gr.State([])
-
-    # При отправке сообщения вызываем respond, обновляем чат и состояние
-    message.submit(respond, inputs=[message, state], outputs=[chatbot, state])
-    # Очищаем поле ввода после отправки
-    message.submit(clear_textbox, inputs=[], outputs=[message])
+    history.append((message, answer))
+    return history
 
-demo.launch(share=True)
+iface = gr.ChatInterface(fn=respond, title="Innopolis Q&A")
+iface.launch()