Update app.py

app.py

@@ -8,7 +8,7 @@ from threading import Thread
 huggingface_token = st.secrets["HUGGINGFACEHUB_API_TOKEN"]
 login(huggingface_token)
 
-# Cambiar a la versión Meta Llama 3.1 3B
+# Cambiar a la versión Meta Llama 3.1 1B
 model_id = "meta-llama/Llama-3.2-1B"
 
 # Cargar el tokenizador y el modelo
@@ -19,19 +19,18 @@ tokenizer.pad_token = tokenizer.eos_token
 # Definir longitud máxima de tokens
 MAX_INPUT_TOKEN_LENGTH = 4096
 
-def generate_response(input_text, temperature=0.2, max_new_tokens=50):
+def generate_response(input_text, temperature=0.7, max_new_tokens=100):
     """Función de generación de texto con el modelo."""
-    input_ids = tokenizer.encode(input_text, return_tensors='pt')
-    input_ids = input_ids.to(model.device)
+    input_ids = tokenizer.encode(input_text, return_tensors='pt').to(model.device)
 
     streamer = TextIteratorStreamer(tokenizer, timeout=10.0, skip_prompt=True, skip_special_tokens=True)
     generate_kwargs = dict(
         input_ids=input_ids,
         streamer=streamer,
         max_new_tokens=max_new_tokens,
-        do_sample=temperature != 0,
-        top_k=10,  # Limita las palabras más probables a 50
-        top_p=0.9,  # Considera solo el 90% de la probabilidad acumulada
+        do_sample=True,
+        top_k=50,
+        top_p=0.9,
         temperature=temperature,
         eos_token_id=[tokenizer.eos_token_id]
     )
@@ -47,11 +46,10 @@ def generate_response(input_text, temperature=0.2, max_new_tokens=50):
     # Devolver la respuesta completa
     return "".join(outputs)
 
-
 def main():
-    st.title("Chat con Meta Llama 3.1 3B")
+    st.title("Chat con Meta Llama 3.2 1B")
     
-    # Paso 1: Subir el archivo CSV
+    # Subir archivo CSV
     uploaded_file = st.file_uploader("Por favor, sube un archivo CSV para iniciar:", type=["csv"])
     
     if uploaded_file is not None:
@@ -60,24 +58,27 @@ def main():
         st.write("Archivo CSV cargado exitosamente:")
         st.write(df.head())  # Mostrar las primeras filas del dataframe
         job_titles = df['job_title'].tolist()
-        # Prompt inicial
-        initial_prompt = f"I have a list of job titles: {job_titles}. Please give me the first job title from the list."
 
+        # Prompt mejorado
+        initial_prompt = f"I have a list of job titles: {job_titles}. Please give me the first job title from the list."
         st.write(f"Query: {query}")
         st.write(f"Prompt inicial: {initial_prompt}")
 
         # Generar la respuesta del modelo
         if st.button("Generar respuesta"):
             with st.spinner("Generando respuesta..."):
-                response = generate_response(initial_prompt)  # Obtener la primera respuesta completa
-                st.write(f"Respuesta del modelo: {response}")
-
+                response = generate_response(initial_prompt, temperature=0.7)
+                if response:
+                    st.write(f"Respuesta del modelo: {response}")
+                else:
+                    st.warning("No se pudo generar una respuesta.")
+                
                 # Terminar la conversación
                 st.success("La conversación ha terminado.")
                 
                 # Opción para reiniciar o finalizar
                 if st.button("Iniciar nueva conversación"):
-                    st.experimental_rerun()  # Reinicia la aplicación
+                    st.experimental_rerun()
                 elif st.button("Terminar"):
                     st.stop()