Xolkin commited on
Commit
f82dc53
·
verified ·
1 Parent(s): fecc5c6

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +10 -13
app.py CHANGED
@@ -2,7 +2,7 @@ import gradio as gr
2
  from huggingface_hub import InferenceClient
3
 
4
  """
5
- Для получения дополнительной информации о поддержке API Inference в `huggingface_hub`, пожалуйста, ознакомьтесь с документацией: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
6
  """
7
  client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
8
 
@@ -14,15 +14,8 @@ def respond(
14
  temperature,
15
  top_p,
16
  ):
17
- # Устанавливаем приветственное сообщение для системы
18
- system_message = "Привет! Я доктор в больнице EMS штата Alta! Напиши внизу симптомы заболевания и я поставлю предварительный диагноз! И хирургическую операцию, если надо будет ее провести."
19
-
20
  messages = [{"role": "system", "content": system_message}]
21
 
22
- # Включаем системное сообщение в начальный ответ
23
- if not history:
24
- messages.append({"role": "assistant", "content": system_message})
25
-
26
  for val in history:
27
  if val[0]:
28
  messages.append({"role": "user", "content": val[0]})
@@ -41,24 +34,28 @@ def respond(
41
  top_p=top_p,
42
  ):
43
  token = message.choices[0].delta.content
 
44
  response += token
45
  yield response
46
 
47
  """
48
- Для получения информации о том, как настроить интерфейс чата, ознакомьтесь с документацией gradio: https://www.gradio.app/docs/chatinterface
49
  """
50
  demo = gr.ChatInterface(
51
  respond,
52
  additional_inputs=[
53
- gr.Textbox(value="Я - доктор.", label="Системное сообщение"),
54
- gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Максимальное количество новых токенов"),
55
- gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Температура"),
 
 
 
56
  gr.Slider(
57
  minimum=0.1,
58
  maximum=1.0,
59
  value=0.95,
60
  step=0.05,
61
- label="Top-p (выборка по ядру)",
62
  ),
63
  ],
64
  )
 
2
  from huggingface_hub import InferenceClient
3
 
4
  """
5
+ For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
6
  """
7
  client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
8
 
 
14
  temperature,
15
  top_p,
16
  ):
 
 
 
17
  messages = [{"role": "system", "content": system_message}]
18
 
 
 
 
 
19
  for val in history:
20
  if val[0]:
21
  messages.append({"role": "user", "content": val[0]})
 
34
  top_p=top_p,
35
  ):
36
  token = message.choices[0].delta.content
37
+
38
  response += token
39
  yield response
40
 
41
  """
42
+ For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface
43
  """
44
  demo = gr.ChatInterface(
45
  respond,
46
  additional_inputs=[
47
+ gr.Textbox(
48
+ value="Привет! Я помощник врача в больнице EMS штата Alta! Напиши внизу симптомы заболевания и я поставлю предварительный диагноз! И хирургическую операцию, если надо будет ее провести.",
49
+ label="System message"
50
+ ),
51
+ gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
52
+ gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
53
  gr.Slider(
54
  minimum=0.1,
55
  maximum=1.0,
56
  value=0.95,
57
  step=0.05,
58
+ label="Top-p (nucleus sampling)",
59
  ),
60
  ],
61
  )