add context text box et prompt debugging

app.py

@@ -5,9 +5,20 @@ client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
 
 # Variable globale pour stocker le contexte
 global_context = {
-    "hidden_context": "tu es le gérant d une taverne qui est cathare dans le village de montaillou dans l univers des cathares au 14 eme siecle dans les Pyrénées, parle que en français, tu es assez rustre mais demeure accueillant tant que son interlocuteur n est pas catholique ou possède une influence comme un noble, tu ne sors jamais de ton contexte par rapport à ton époque, tes connaissances se limite à ta situation sociale et ton époque, il faut que tu sois immersif pour la personne qui va te parler, et tu dois cacher ton implication dans le meutre seulement si on te pose des questions à ce sujet sinon tu n évoque juste pas ce sujet, prends bien toujours en compte l historique de ta conversation, sois toujours concis et tu dois viser une longueur de réponse comprise entre 50 et 200 caractères (espaces compris) pour les réponses courtes et simples, et entre 200 et 500 caractères pour les réponses plus détaillées et complexes. Réponds à la dernière requête posée par le User"
+    "hidden_context": "tu es le gérant d une taverne qui est cathare dans le village de montaillou dans l univers des cathares au 14 eme siecle dans les Pyrénées, parle que en français, tu es assez rustre mais demeure accueillant tant que son interlocuteur n est pas catholique ou possède une influence comme un noble, tu ne sors jamais de ton contexte par rapport à ton époque, tes connaissances se limite à ta situation sociale et ton époque, il faut que tu sois immersif pour la personne qui va te parler, et tu dois cacher ton implication dans le meutre seulement si on te pose des questions à ce sujet sinon tu n évoque juste pas ce sujet, prends bien toujours en compte l historique de ta conversation, sois toujours concis et tu dois viser une longueur de réponse comprise entre 50 et 200 caractères (espaces compris) pour les réponses courtes et simples, et entre 200 et 500 caractères pour les réponses plus détaillées et complexes. Réponds à la dernière requête posée par le user"
 }
 
+# Créer une interface avec un champ de texte pour le contexte caché
+context_input = gr.Textbox(
+    label="Contexte caché", value=global_context["hidden_context"]
+)
+
+
+def update_context(context):
+    global global_context
+    global_context["hidden_context"] = context
+    return None
+
 
 def format_prompt(message, history):
     prompt = "<s>"
@@ -16,6 +27,9 @@ def format_prompt(message, history):
         prompt += f"[INST] {user_prompt} [/INST]"
         prompt += f" {bot_response}</s> "
     prompt += f"[INST] {message} [/INST]"
+    # Ajouter le contexte caché à chaque fois que l'utilisateur pose une question
+    if message:
+        prompt += f"[INST] {global_context['hidden_context']} [/INST]"
 
     return prompt
 
@@ -24,7 +38,7 @@ def generate(
     prompt,
     history,
     temperature=0.2,
-    max_new_tokens=500,
+    max_new_tokens=256,
     top_p=0.95,
     repetition_penalty=1.0,
 ):
@@ -43,7 +57,7 @@ def generate(
     )
 
     formatted_prompt = format_prompt(prompt, history)
-    formatted_prompt += f"[INST] {global_context['hidden_context']} [/INST]"
+    print(formatted_prompt)
 
     stream = client.text_generation(
         formatted_prompt,
@@ -70,9 +84,39 @@ mychatbot = gr.Chatbot(
     show_label=False,
 )
 
-demo = gr.ChatInterface(
-    fn=generate, chatbot=mychatbot, title="Tavernier 🍺", retry_btn=None, undo_btn=None
+# Créer une interface pour le chatbot avec un champ de texte pour le contexte caché
+chatbot_interface = gr.Interface(
+    fn=generate,
+    inputs="text",
+    outputs="text",
+    title="Tavernier 🍺",
+    description="Discute avec le tavernier cathare de Montaillou",
+    examples=[["Bonjour, puis-je avoir une bière ?"]],
+    input_type="text",
+    output_type="text",
+    input_label="Message",
+    output_label="Réponse",
+    theme="huggingface",
+    article=False,
+    clear_input=True,
+    chatbot=mychatbot,
+    chatbot_name="Tavernier",
+    chatbot_avatar="./tavernier.jpg",
+    flags=gr.Chatbot.flags_from_names(["user", "bot"]),
+    elem_id="chatbot",
+)
+
+# Ajouter le champ de texte pour le contexte caché à l'interface
+context_interface = gr.Interface(
+    fn=update_context,
+    inputs=context_input,
+    outputs=None,
+    title="Modifier le contexte caché",
+    description="Modifie le contexte caché du tavernier",
+    theme="huggingface",
+    article=False,
 )
 
-# Lancer l'interface
-demo.queue().launch(show_api=True)
+# Afficher l'interface
+context_interface.launch(inline=True)
+chatbot_interface.launch(inline=True)