Update app.py

app.py

@@ -1,10 +1,11 @@
 import gradio as gr
 from transformers import pipeline
 
-# Завантаження моделі
+# Завантаження оптимізованої моделі
 def load_model():
     try:
-        generator = pipeline("text-generation", model="EleutherAI/gpt-neo-125M")
+        # Використовуємо компактну модель для економії ресурсів
+        generator = pipeline("text-generation", model="EleutherAI/gpt-neo-125M", device_map="auto")
         return generator
     except Exception as e:
         return f"Помилка завантаження моделі: {e}"
@@ -16,16 +17,31 @@ generator = load_model()
 def chat_with_npc(user_input):
     if isinstance(generator, str):  # Якщо модель не завантажилась
         return generator
-    response = generator(user_input, max_length=100, do_sample=True, temperature=0.7)
-    return response[0]["generated_text"]
+    try:
+        # Налаштування для оптимізації пам'яті
+        response = generator(
+            user_input,
+            max_length=300,  # Довгий запит
+            num_return_sequences=1,  # Генеруємо лише один результат
+            do_sample=True,
+            temperature=0.7,  # Контроль творчості
+            top_p=0.9  # Відсікання малоймовірних результатів
+        )
+        return response[0]["generated_text"]
+    except Exception as e:
+        return f"Помилка генерації відповіді: {e}"
 
 # Інтерфейс Gradio
 interface = gr.Interface(
     fn=chat_with_npc,
     inputs="text",
     outputs="text",
-    title="Alt Помічник",
-    description="Віртуальний помічник для спілкування та підтримки."
+    title="NPC Помічник",
+    description="Оптимізований віртуальний помічник для запитів з великою кількістю слів.",
+    examples=[
+        ["Як можна розвивати духовний потенціал у сучасному світі?"],
+        ["Що таке NPC і яка його роль у симуляції життя?"]
+    ]
 )
 
 # Запуск програми