Update app.py

app.py

@@ -1,38 +1,58 @@
+import os
 import streamlit as st
 from huggingface_hub import InferenceClient
-import os
 
-# Crear el cliente de inferencia
 client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
 
+def format_prompt(message, history):
+    prompt = "<s>"
+    for user_prompt, bot_response in history:
+        prompt += f"[INST] {user_prompt} [/INST]"
+        prompt += f" {bot_response}</s> "
+    prompt += f"[INST] {message} [/INST]"
+    return prompt
+
+def generate(prompt, history, system_prompt, temperature=0.9, max_new_tokens=2048, top_p=0.95, repetition_penalty=1.0):
+    temperature = float(temperature)
+    if temperature < 1e-2:
+        temperature = 1e-2
+    top_p = float(top_p)
+
+    generate_kwargs = dict(
+        temperature=temperature,
+        max_new_tokens=max_new_tokens,
+        top_p=top_p,
+        repetition_penalty=repetition_penalty,
+        do_sample=True,
+        seed=42,
+    )
+
+    formatted_prompt = format_prompt(f"{system_prompt}, {prompt}", history)
+    response = client.text_generation(formatted_prompt, **generate_kwargs)
+
+    return response["generated_text"]
+
 # Interfaz de Usuario con Streamlit
 st.title("MAYA 3.0 CHATBOT IA")
 
 # Parámetros de usuario
 user_input = st.text_input("Ingrese su instrucción:")
-prompt, history, system_prompt = st.text_input("Prompt:"), st.text_area("Historial:"), st.text_input("System Prompt:")
-temperature, max_new_tokens, top_p, repetition_penalty = st.slider("Temperatura", 0.1, 2.0), st.slider("Número máximo de nuevos tokens", 10, 5000), st.slider("Top-p", 0.1, 1.0), st.slider("Penalización por repetición", 0.1, 2.0)
 
 # Botón para generar texto
-if st.button("Generar") and user_input:
+if st.button("Generar Texto") and user_input:
     try:
         # Generar texto basado en la instrucción del usuario y los parámetros seleccionados
-        generated_text = client.generate_text(
+        generated_text = generate(
             user_input,
-            prompt=prompt,
-            history=history,
-            system_prompt=system_prompt,
-            temperature=temperature,
-            max_new_tokens=max_new_tokens,
-            top_p=top_p,
-            repetition_penalty=repetition_penalty
+            [],
+            "",  # Puedes dejar el system_prompt vacío si no es necesario
         )
 
-        # Mostrar el texto generado
-        st.text_area("", generated_text, height=600)
+        # Mostrar el texto generado de manera readonly
+        st.text_area("Texto Generado:", generated_text, height=200, key="output_text", readonly=True)
 
     except Exception as e:
         # Manejar errores y mostrar mensaje de error
         st.error(f"Error al generar texto: {str(e)}")
 elif not user_input:
-    st.warning("Por favor, ingrese una instrucción antes de generar texto.")
+    st.warning("Por favor, ingrese una instrucción antes de generar texto.")