Update app.py

app.py

@@ -2,47 +2,46 @@ import torch
 import gradio as gr
 from transformers import AutoTokenizer, AutoModelForCausalLM
 
-model_id = "openai-community/gpt2"
+model_id = "openai-community/gpt2"  # если нужен GPT-2 community версия
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 model = AutoModelForCausalLM.from_pretrained(model_id)
+
 device = "cuda" if torch.cuda.is_available() else "cpu"
 model.to(device)
 
-system_message = "Ты — умный помощник по Университету Иннополис."
+context = """
+Университет Иннополис был основан в 2012 году. Это современный вуз в России, 
+специализирующийся на IT и робототехнике, расположенный в городе Иннополис, Татарстан.
+"""
 
-def respond(user_message, history=None):
+def respond(message, history=None):
     if history is None:
         history = []
 
-    # Формируем контекст для диалога
-    prompt = system_message + "\n"
-    for user_text, bot_text in history:
-        prompt += f"User: {user_text}\nAssistant: {bot_text}\n"
-    prompt += f"User: {user_message}\nAssistant:"
+    # Формируем промпт — контекст + вопрос + "Ответ:"
+    prompt = (
+        f"Контекст: {context}\n"
+        f"Вопрос: {message}\n"
+        "Ответ:"
+    )
 
     inputs = tokenizer(prompt, return_tensors="pt").to(device)
 
     with torch.no_grad():
         outputs = model.generate(
             **inputs,
-            max_new_tokens=150,
-            pad_token_id=tokenizer.eos_token_id,
-            eos_token_id=tokenizer.eos_token_id,
+            max_new_tokens=100,
             do_sample=False,
+            eos_token_id=tokenizer.eos_token_id,  # Может отсутствовать у GPT-2, можно убрать
+            pad_token_id=tokenizer.eos_token_id,  # Чтобы избежать warning
         )
 
-    # Отсекание входной части prompt, оставляем только сгенерированный ответ
-    generated_text = tokenizer.decode(outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True).strip()
-
-    history.append((user_message, generated_text))
-    return history, history
-
-with gr.Blocks() as demo:
-    chatbot = gr.Chatbot()
-    message = gr.Textbox(placeholder="Введите вопрос...")
-    state = gr.State([])
+    # Декодируем срез outputs после длины входа — берем только сгенерированное продолжение
+    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    answer = generated_text[len(prompt):].strip()
 
-    message.submit(respond, inputs=[message, state], outputs=[chatbot, state])
-    message.submit(lambda: "", None, message)  # очистка поля ввода
+    history.append((message, answer))
+    return history
 
-demo.launch()
+iface = gr.ChatInterface(fn=respond, title="Innopolis Q&A (GPT-2)")
+iface.launch()