Spaces:
Sleeping
Sleeping
File size: 2,752 Bytes
2a0f243 cf47d83 69e3a41 3d477e1 ea3c34e 69e3a41 2a0f243 85ec4d4 2a0f243 251623f 2a0f243 ea3c34e a77f2b3 ea3c34e 70ed6f0 ea3c34e a3bc7ec ea3c34e a3bc7ec ea3c34e 904cf6c ea3c34e 904cf6c ea3c34e 2a0f243 ea3c34e 70ed6f0 ea3c34e 2b5a681 ea3c34e 2b5a681 ea3c34e 2b5a681 ea3c34e 2b5a681 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 |
from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
import streamlit as st
from huggingface_hub import login
import pandas as pd
from threading import Thread
# Token Secret de Hugging Face
huggingface_token = st.secrets["HUGGINGFACEHUB_API_TOKEN"]
login(huggingface_token)
# Cambiar a la versi贸n Meta Llama 3.1 3B
model_id = "meta-llama/Meta-Llama-3.1-3B"
# Cargar el tokenizador y el modelo
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
tokenizer.pad_token = tokenizer.eos_token
# Definir longitud m谩xima de tokens
MAX_INPUT_TOKEN_LENGTH = 4096
def generate_response(input_text, temperature=0.7, max_new_tokens=100):
"""Funci贸n de generaci贸n de texto con el modelo."""
input_ids = tokenizer.encode(input_text, return_tensors='pt')
input_ids = input_ids.to(model.device)
streamer = TextIteratorStreamer(tokenizer, timeout=10.0, skip_prompt=True, skip_special_tokens=True)
generate_kwargs = dict(
input_ids=input_ids,
streamer=streamer,
max_new_tokens=max_new_tokens,
do_sample=temperature != 0,
temperature=temperature,
eos_token_id=[tokenizer.eos_token_id]
)
# Generaci贸n de texto en un hilo separado
t = Thread(target=model.generate, kwargs=generate_kwargs)
t.start()
outputs = []
for text in streamer:
outputs.append(text)
yield "".join(outputs)
def main():
st.title("Chat con Meta Llama 3.1 3B")
# Paso 1: Subir el archivo CSV
uploaded_file = st.file_uploader("Por favor, sube un archivo CSV para iniciar:", type=["csv"])
if uploaded_file is not None:
df = pd.read_csv(uploaded_file)
st.write("Archivo CSV cargado exitosamente:")
st.write(df.head()) # Mostrar las primeras filas del dataframe
# Prompt inicial
initial_prompt = "dame el nombre de un animal"
st.write(f"Prompt inicial: {initial_prompt}")
# Generar la respuesta del modelo
if st.button("Generar respuesta"):
with st.spinner("Generando respuesta..."):
response = list(generate_response(initial_prompt))[0] # Obtener la primera respuesta completa
st.write(f"Respuesta del modelo: {response}")
# Terminar la conversaci贸n
st.success("La conversaci贸n ha terminado.")
# Opci贸n para reiniciar o finalizar
if st.button("Iniciar nueva conversaci贸n"):
st.experimental_rerun() # Reinicia la aplicaci贸n
elif st.button("Terminar"):
st.stop()
if __name__ == "__main__":
main()
|