Xolkin commited on
Commit
fecc5c6
·
verified ·
1 Parent(s): 25201f7

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +11 -8
app.py CHANGED
@@ -2,7 +2,7 @@ import gradio as gr
2
  from huggingface_hub import InferenceClient
3
 
4
  """
5
- For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
6
  """
7
  client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
8
 
@@ -14,11 +14,15 @@ def respond(
14
  temperature,
15
  top_p,
16
  ):
17
- # Set the system message to the desired greeting
18
  system_message = "Привет! Я доктор в больнице EMS штата Alta! Напиши внизу симптомы заболевания и я поставлю предварительный диагноз! И хирургическую операцию, если надо будет ее провести."
19
 
20
  messages = [{"role": "system", "content": system_message}]
21
 
 
 
 
 
22
  for val in history:
23
  if val[0]:
24
  messages.append({"role": "user", "content": val[0]})
@@ -37,25 +41,24 @@ def respond(
37
  top_p=top_p,
38
  ):
39
  token = message.choices[0].delta.content
40
-
41
  response += token
42
  yield response
43
 
44
  """
45
- For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface
46
  """
47
  demo = gr.ChatInterface(
48
  respond,
49
  additional_inputs=[
50
- gr.Textbox(value="Я - доктор.", label="System message"),
51
- gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
52
- gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
53
  gr.Slider(
54
  minimum=0.1,
55
  maximum=1.0,
56
  value=0.95,
57
  step=0.05,
58
- label="Top-p (nucleus sampling)",
59
  ),
60
  ],
61
  )
 
2
  from huggingface_hub import InferenceClient
3
 
4
  """
5
+ Для получения дополнительной информации о поддержке API Inference в `huggingface_hub`, пожалуйста, ознакомьтесь с документацией: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
6
  """
7
  client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
8
 
 
14
  temperature,
15
  top_p,
16
  ):
17
+ # Устанавливаем приветственное сообщение для системы
18
  system_message = "Привет! Я доктор в больнице EMS штата Alta! Напиши внизу симптомы заболевания и я поставлю предварительный диагноз! И хирургическую операцию, если надо будет ее провести."
19
 
20
  messages = [{"role": "system", "content": system_message}]
21
 
22
+ # Включаем системное сообщение в начальный ответ
23
+ if not history:
24
+ messages.append({"role": "assistant", "content": system_message})
25
+
26
  for val in history:
27
  if val[0]:
28
  messages.append({"role": "user", "content": val[0]})
 
41
  top_p=top_p,
42
  ):
43
  token = message.choices[0].delta.content
 
44
  response += token
45
  yield response
46
 
47
  """
48
+ Для получения информации о том, как настроить интерфейс чата, ознакомьтесь с документацией gradio: https://www.gradio.app/docs/chatinterface
49
  """
50
  demo = gr.ChatInterface(
51
  respond,
52
  additional_inputs=[
53
+ gr.Textbox(value="Я - доктор.", label="Системное сообщение"),
54
+ gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Максимальное количество новых токенов"),
55
+ gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Температура"),
56
  gr.Slider(
57
  minimum=0.1,
58
  maximum=1.0,
59
  value=0.95,
60
  step=0.05,
61
+ label="Top-p (выборка по ядру)",
62
  ),
63
  ],
64
  )