Update app.py

app.py

@@ -1,22 +1,28 @@
+import os
+os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0"  # отключаем проблемный ускоритель загрузки
+
 import torch
 import gradio as gr
 from transformers import AutoTokenizer, AutoModelForCausalLM
 
-model_id = "openai-community/gpt2"  # если нужен GPT-2 community версия
+# Используем базовый GPT-2 от OpenAI (английский, но подойдет для демонстрации)
+model_id = "gpt2"
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 model = AutoModelForCausalLM.from_pretrained(model_id)
 
 device = "cuda" if torch.cuda.is_available() else "cpu"
 model.to(device)
 
+# Контекст, который мы передаём как часть каждого запроса
 context = """
 Университет Иннополис был основан в 2012 году. Это современный вуз в России, 
 специализирующийся на IT и робототехнике, расположенный в городе Иннополис, Татарстан.
 """
 
+# Обработчик сообщений
 def respond(message, history=None):
     prompt = (
-        f"Контекст: {context}\n"
+        f"{context}\n\n"
         f"Вопрос: {message}\n"
         "Ответ:"
     )
@@ -27,27 +33,31 @@ def respond(message, history=None):
         outputs = model.generate(
             **inputs,
             max_new_tokens=100,
-            do_sample=True,  # включаем сэмплирование
-            top_p=0.95,      # nucleus sampling
-            temperature=0.7, # делает ответ разнообразнее
+            temperature=0.7,
+            top_p=0.9,
+            do_sample=True,
             pad_token_id=tokenizer.eos_token_id
         )
 
     generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
 
-    # Обрезаем исходный промпт, чтобы получить только сгенерированный ответ
-    answer = generated_text[len(prompt):].strip()
-
-    # Отладка: если ответ всё ещё пустой, печатаем всё
-    if not answer:
-        print(">>> PROMPT:")
-        print(prompt)
-        print(">>> FULL OUTPUT:")
-        print(generated_text)
+    # Извлекаем ответ после "Ответ:"
+    answer_start = generated_text.find("Ответ:")
+    if answer_start != -1:
+        answer = generated_text[answer_start + len("Ответ:"):].strip()
+    else:
+        answer = generated_text[len(prompt):].strip()
 
     return answer
 
-
-
-iface = gr.ChatInterface(fn=respond, title="Innopolis Q&A")
-iface.launch()
+# Интерфейс Gradio
+iface = gr.ChatInterface(
+    fn=respond,
+    title="Innopolis GPT-2 Q&A Bot",
+    chatbot=gr.Chatbot(label="Диалог"),
+    textbox=gr.Textbox(placeholder="Задай вопрос про Университет Иннополис...", label="Твой вопрос")
+)
+
+# Запуск
+if __name__ == "__main__":
+    iface.launch()