Update app.py

app.py

@@ -22,14 +22,23 @@ def _concat_messages(messages):
 endpoint_url = os.environ.get("ENDPOINT_URL")
 client = Client(endpoint_url, timeout=120)
 
-def generate_response(user_input, max_new_token: 100, top_p, temperature, top_k, do_sample, repetition_penalty):
+def generate_response(user_input, max_new_token, top_p, top_k, temperature, do_sample, repetition_penalty):
     msg = _concat_messages([
         {"role": "system", "content": "你是一個由國立台灣大學的MiuLab實驗室開發的大型語言模型。你基於Transformer架構被訓練，並已經經過大量的台灣中文語料庫的訓練。你的設計目標是理解和生成優雅的繁體中文，並具有跨語境和跨領域的對話能力。使用者可以向你提問任何問題或提出任何話題，並期待從你那裡得到高質量的回答。你應該要盡量幫助使用者解決問題，提供他們需要的資訊，並在適當時候給予建議。"},
         {"role": "user", "content": user_input},
     ])
     msg += "<|assistant|>\n"
-    res = client.generate(msg, stop_sequences=["<|assistant|>", eos_token, "<|system|>", "<|user|>"],
-                          max_new_tokens=1000, top_p=0.9, do_sample=True, temperature=1.0)
+
+    res = client.generate(
+        msg,
+        stop_sequences=["<|assistant|>", eos_token, "<|system|>", "<|user|>"],
+        max_new_tokens=max_new_token,
+        top_p=top_p,
+        top_k=top_k,
+        do_sample=do_sample,
+        temperature=temperature,
+        repetition_penalty=repetition_penalty,
+    )
     return [("assistant", res.generated_text)]
 
 with gr.Blocks() as demo:
@@ -47,9 +56,9 @@ with gr.Blocks() as demo:
         with gr.Column(scale=1):
             emptyBtn = gr.Button("Clear History")
             max_new_token = gr.Slider(
-                0,
-                4096,
-                value=512,
+                1,
+                1024,
+                value=128,
                 step=1.0,
                 label="Maximum New Token Length",
                 interactive=True)
@@ -89,23 +98,17 @@ with gr.Blocks() as demo:
 
     submitBtn.click(
         generate_response,
-        [user_input],
+        [user_input, max_new_token, top_p, top_k, temperature, do_sample, repetition_penalty],
         [chatbot],
-        queue=False).then(
-        None,
-        None,
-        [user_input],
-        queue=False)
+        queue=False
+    )
 
     user_input.submit(
         generate_response,
-        [user_input],
+        [user_input, max_new_token, top_p, top_k, temperature, do_sample, repetition_penalty],
         [chatbot],
-        queue=False).then(
-        None,
-        None,
-        [user_input],
-        queue=False)
+        queue=False
+    )
 
     submitBtn.click(lambda: None, [], [user_input])