Update app.py

app.py

@@ -2,7 +2,7 @@ from huggingface_hub import InferenceClient
 import gradio as gr
 
 client = InferenceClient(
-    "mistralai/Mistral-7B-Instruct-v0.1"
+    "mistralai/Mistral-7B-Instruct-v0.2"
 )
 
 
@@ -15,7 +15,7 @@ def format_prompt(message, history):
   return prompt
 
 def generate(
-    prompt, history, system_prompt, temperature=0.75, max_new_tokens=2048, top_p=1.0, repetition_penalty=1.1,
+    prompt, history, system_prompt, temperature=0.75, max_new_tokens=2048, top_p=0.95, repetition_penalty=1.1,
 ):
     temperature = float(temperature)
     if temperature < 1e-2:
@@ -40,9 +40,56 @@ def generate(
         yield output
     return output
 
+
+additional_inputs=[
+    gr.Textbox(
+        label="System Prompt",
+        max_lines=1,
+        interactive=True,
+        value="Bonjour, je suis Mistral, un modèle de langage entraîné pour répondre à vos questions et suivre vos instructions en français. Je suis capable de fournir des informations sur une grande variété de sujets, y compris la science, la technologie, la culture, l'histoire, et bien plus encore. Je peux également vous aider à résoudre des problèmes, à donner des conseils et à fournir des recommandations. Je suis conçu pour comprendre et répondre au langage naturel, donc n'hésitez pas à me poser des questions ou à me donner des instructions comme si vous parliez à une personne réelle. Cependant, je ne peux pas accéder à des informations personnelles ou confidentielles, ni effectuer des tâches illégales ou contraires à l'éthique."
+    ),
+    gr.Slider(
+        label="Temperature",
+        value=0.75,
+        minimum=0.0,
+        maximum=1.1,
+        step=0.05,
+        interactive=True,
+        info="Higher values produce more diverse outputs",
+    ),
+    gr.Slider(
+        label="Max new tokens",
+        value=2048,
+        minimum=256,
+        maximum=2048,
+        step=64,
+        interactive=True,
+        info="The maximum numbers of new tokens",
+    ),
+    gr.Slider(
+        label="Top-p (nucleus sampling)",
+        value=0.90,
+        minimum=0.1,
+        maximum=0.95,
+        step=0.05,
+        interactive=True,
+        info="Higher values sample more low-probability tokens",
+    ),
+    gr.Slider(
+        label="Repetition penalty",
+        value=1.1,
+        minimum=1.1,
+        maximum=1.9,
+        step=0.05,
+        interactive=True,
+        info="Penalize repeated tokens",
+    )
+]
+
 gr.ChatInterface(
     fn=generate,
     chatbot=gr.Chatbot(show_label=False, show_share_button=False, show_copy_button=True, layout="panel"),
-    title="Mistral-7B-Instruct-v0.2",
+    additional_inputs=additional_inputs,
+    title="Mixtral 8X7B-v0.2",
     concurrency_limit=10,
 ).launch(show_api=False)