Update app.py

app.py

@@ -1,15 +1,8 @@
 import gradio as gr
-from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
+from huggingface_hub import InferenceClient
 
-# بارگذاری مدل GPT-2-Persian
-model_name = "bolbolzaban/gpt2-persian"
-
-# بارگذاری توکن‌ایزر و مدل
-tokenizer = AutoTokenizer.from_pretrained(model_name)
-model = AutoModelForCausalLM.from_pretrained(model_name)
-
-# ایجاد pipeline برای متن‌سازی
-pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
+# استفاده از Hugging Face Inference API برای GPT-3.5-Turbo
+client = InferenceClient("openai/gpt-3.5-turbo")
 
 def respond(
     message,
@@ -20,27 +13,26 @@ def respond(
     top_p,
 ):
     # ساخت پیام‌ها برای مدل
-    prompt = system_message + "\n\n"  # اضافه کردن پیام سیستم
+    messages = [{"role": "system", "content": system_message}]
+
+    # اضافه کردن تاریخچه چت
     for val in history:
         if val[0]:
-            prompt += f"کاربر: {val[0]}\n"
+            messages.append({"role": "user", "content": val[0]})
         if val[1]:
-            prompt += f"دستیار: {val[1]}\n"
-    prompt += f"کاربر: {message}\nدستیار:"
+            messages.append({"role": "assistant", "content": val[1]})
+
+    messages.append({"role": "user", "content": message})
 
     # تولید پاسخ با استفاده از مدل
-    response = pipe(
-        prompt,
-        max_new_tokens=max_tokens,
+    response = client.chat_completion(
+        messages,
+        max_tokens=max_tokens,
         temperature=temperature,
         top_p=top_p,
-        do_sample=True,
-    )[0]["generated_text"]
-
-    # حذف prompt از پاسخ
-    response = response[len(prompt):].strip()
+    )
 
-    yield response
+    yield response["choices"][0]["message"]["content"]
 
 # ایجاد رابط کاربری با Gradio
 demo = gr.ChatInterface(