mohammadshahabiy commited on
Commit
020ae74
·
verified ·
1 Parent(s): 2a79d5f

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +8 -8
app.py CHANGED
@@ -20,26 +20,26 @@ def respond(
20
  top_p,
21
  ):
22
  # ساخت پیام‌ها برای مدل
23
- messages = [{"role": "system", "content": system_message}]
24
-
25
- # اضافه کردن تاریخچه چت
26
  for val in history:
27
  if val[0]:
28
- messages.append({"role": "user", "content": val[0]})
29
  if val[1]:
30
- messages.append({"role": "assistant", "content": val[1]})
31
-
32
- messages.append({"role": "user", "content": message})
33
 
34
  # تولید پاسخ با استفاده از مدل
35
  response = pipe(
36
- messages,
37
  max_new_tokens=max_tokens,
38
  temperature=temperature,
39
  top_p=top_p,
40
  do_sample=True,
41
  )[0]["generated_text"]
42
 
 
 
 
43
  yield response
44
 
45
  # ایجاد رابط کاربری با Gradio
 
20
  top_p,
21
  ):
22
  # ساخت پیام‌ها برای مدل
23
+ prompt = system_message + "\n\n" # اضافه کردن پیام سیستم
 
 
24
  for val in history:
25
  if val[0]:
26
+ prompt += f"کاربر: {val[0]}\n"
27
  if val[1]:
28
+ prompt += f"دستیار: {val[1]}\n"
29
+ prompt += f"کاربر: {message}\nدستیار:"
 
30
 
31
  # تولید پاسخ با استفاده از مدل
32
  response = pipe(
33
+ prompt,
34
  max_new_tokens=max_tokens,
35
  temperature=temperature,
36
  top_p=top_p,
37
  do_sample=True,
38
  )[0]["generated_text"]
39
 
40
+ # حذف prompt از پاسخ
41
+ response = response[len(prompt):].strip()
42
+
43
  yield response
44
 
45
  # ایجاد رابط کاربری با Gradio