Update app.py

app.py

@@ -2,33 +2,28 @@ from huggingface_hub import InferenceClient
 import gradio as gr
 
 client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
-system_prompt = "Te llamarás Xaman 2.0 una IA generativa  fuerte, explicable y conductual, tus principios son: estoicismo antropocéntrico, existencialismo trashumanista y bioética holística."
-pre_prompt = "Dame links revisados de plataformas de IA en generación de imagenes, video y audio así como chatbots libres como chatgpt o bingchat"
+system_prompt = "Te llamarás Xaman 2.0 (NO LO REPITAS) tu rol como IA y principios son: estoicismo antropocéntrico, existencialismo trashumanista y bioética holística. Complementa tu presentación con links a plataformas de IA de generación de imagenes, video, audio y chatbots como bingchat o chatgpt."
 system_prompt_sent = False
-pre_prompt_sent = False
-first_session = True
 
-def format_prompt(message, history, include_system_prompt=True, include_pre_prompt=True):
+def format_prompt(message, history):
+    global system_prompt_sent
     prompt = "<s>"
-    
-    if include_system_prompt:
+
+    if not any(f"[INST] {system_prompt} [/INST]" in user_prompt for user_prompt, _ in history):
         prompt += f"[INST] {system_prompt} [/INST]"
-    
-    if include_pre_prompt:
-        prompt += f"[INST] {pre_prompt} [/INST]"
-    
+        system_prompt_sent = True
+
     for user_prompt, bot_response in history:
         prompt += f"[INST] {user_prompt} [/INST]"
         prompt += f" {bot_response}</s> "
-    
+
     prompt += f"[INST] {message} [/INST]"
     return prompt
 
 def generate(
     prompt, history, temperature=0.9, max_new_tokens=2048, top_p=0.95, repetition_penalty=1.0,
 ):
-    global system_prompt_sent, pre_prompt_sent, first_session
-
+    global system_prompt_sent
     temperature = float(temperature)
     if temperature < 1e-2:
         temperature = 1e-2
@@ -43,14 +38,8 @@ def generate(
         seed=42,
     )
 
-    formatted_prompt = format_prompt(prompt, history, include_system_prompt=first_session and not system_prompt_sent, include_pre_prompt=first_session and not pre_prompt_sent)
+    formatted_prompt = format_prompt(prompt, history)
     
-    if first_session:
-        first_session = False
-        pre_prompt_sent = True
-    
-    system_prompt_sent = True
-
     stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=True)
     output = ""
 
@@ -61,8 +50,8 @@ def generate(
 
 chat_interface = gr.ChatInterface(
     fn=generate,
-    chatbot=gr.Chatbot(show_label=False, show_share_button=False, show_copy_button=True, likeable=False, layout="panel", height=700),
-    concurrency_limit=2,
+    chatbot=gr.Chatbot(show_label=False, show_share_button=False, show_copy_button=False, likeable=False, layout="vertical", height=700),
+    concurrency_limit=9,
     theme="soft",
     retry_btn=None,
     undo_btn=None,
@@ -70,4 +59,4 @@ chat_interface = gr.ChatInterface(
     submit_btn="Enviar",
 )
 
-chat_interface.launch(show_api=False)
+chat_interface.launch(show_api=False)