|
import os |
|
import time |
|
import torch |
|
import joblib |
|
import gradio as gr |
|
from datasets import load_dataset |
|
from transformers import AutoTokenizer, AutoModelForCausalLM, AutoModelForSequenceClassification |
|
|
|
hub_token = os.environ.get("HUB_TOKEN") |
|
model_id = "nicholasKluge/TeenyTinyLlama-160m-Chat" |
|
device = torch.device("cuda" if torch.cuda.is_available() else "cpu") |
|
|
|
model = AutoModelForCausalLM.from_pretrained(model_id, token=hub_token) |
|
tokenizer = AutoTokenizer.from_pretrained(model_id, token=hub_token) |
|
|
|
model.eval() |
|
model.to(device) |
|
|
|
intro = """ |
|
O TeenyTinyLlama é um modelo de linguagem compacto baseado na arquitetura Llama 2 ([TinyLlama implementation](https://huggingface.co/TinyLlama)).Esse modelo foi projetado para oferecer recursos eficientes de processamento de linguagem natural e, ao mesmo tempo, consumir poucos recursos. Esses modelos foram treinados aproveitando as [leis de escalonamento](https://arxiv.org/abs/2203.15556) para determinar o número ideal de tokens por parâmetro e incorporando o [pré-treinamento de preferências](https://arxiv.org/abs/2112.00861). |
|
|
|
Esse repositório contém uma versão de [TeenyTinyLlama-160m](https://huggingface.co/nicholasKluge/TeenyTinyLlama-160m) (`TeenyTinyLlama-160m-Chat`) afinada no [Instruct-Aira Dataset version 2.0](https://huggingface.co/datasets/nicholasKluge/instruct-aira-dataset-v2). |
|
|
|
## Limitações |
|
|
|
Desenvolvemos este modelo de conversação através de ajuste fino por instruções. Esta abordagem tem muitas limitações. Apesar de podermos criar um chatbot capaz de responder a perguntas sobre qualquer assunto, é difícil forçar o modelo a produzir respostas de boa qualidade. E por boa, queremos dizer texto **factual** e **não tóxico**. Isto leva-nos a alguns dos problemas mais comuns quando lidando com modelos generativos utilizados em aplicações de conversação: |
|
|
|
**Alucinações:** Esse modelo pode produzir conteúdo que pode ser confundido com a verdade, mas que é, de fato, enganoso ou totalmente falso, ou seja, alucinação. |
|
|
|
**Vieses e toxicidade:** Esse modelo herda os estereótipos sociais e históricos dos dados usados para treiná-lo. Devido a esses vieses, o modelo pode produzir conteúdo tóxico, ou seja, nocivo, ofensivo ou prejudicial a indivíduos, grupos ou comunidades. |
|
|
|
**Código não confiável:** O modelo pode produzir trechos de código e declarações incorretos. Essas gerações de código não devem ser tratadas como sugestões ou soluções precisas. |
|
|
|
**Limitações de idioma:** O modelo foi projetado principalmente para entender o português padrão (BR). Outros idiomas podem desafiar sua compreensão, levando a possíveis interpretações errôneas ou erros na resposta. |
|
|
|
**Repetição e verbosidade:** O modelo pode ficar preso em loops de repetição (especialmente se a penalidade de repetição durante as gerações for definida com um valor baixo) ou produzir respostas detalhadas sem relação com o prompt recebido. |
|
|
|
## Uso Intendido |
|
|
|
TeenyTinyLlama destina-se apenas à investigação academica. Para mais informações, leia nossa [carta modelo](https://huggingface.co/nicholasKluge/TeenyTinyLlama-160m). |
|
""" |
|
|
|
disclaimer = """ |
|
**Isenção de responsabilidade:** Esta demonstração deve ser utilizada apenas para fins de investigação. Os moderadores não censuram a saída do modelo, e os autores não endossam as opiniões geradas por este modelo. |
|
|
|
Se desejar apresentar uma reclamação sobre qualquer mensagem produzida, por favor contatar [[email protected]](mailto:[email protected]). |
|
""" |
|
|
|
with gr.Blocks(theme='freddyaboulton/dracula_revamped') as demo: |
|
|
|
gr.Markdown("""<h1><center>TeenyTinyLlama-160m-Chat 🦙💬</h1></center>""") |
|
gr.Markdown(intro) |
|
|
|
|
|
chatbot = gr.Chatbot(label="TeenyTinyLlama", |
|
height=500, |
|
show_copy_button=True, |
|
avatar_images=("./astronaut.png", "./llama.png"), |
|
render_markdown= True, |
|
line_breaks=True, |
|
likeable=False, |
|
layout='panel') |
|
|
|
msg = gr.Textbox(label="Escreva uma pergunta ou instrução ...", placeholder="Qual a capital do Brasil?") |
|
|
|
|
|
with gr.Accordion(label="Parâmetros ⚙️", open=False): |
|
top_k = gr.Slider(minimum=10, maximum=100, value=30, step=5, interactive=True, label="Top-k", info="Controla o número de tokens de maior probabilidade a considerar em cada passo.") |
|
top_p = gr.Slider(minimum=0.1, maximum=1.0, value=0.30, step=0.05, interactive=True, label="Top-p", info="Controla a probabilidade cumulativa dos tokens gerados.") |
|
temperature = gr.Slider(minimum=0.1, maximum=2.0, value=0.1, step=0.1, interactive=True, label="Temperatura", info="Controla a aleatoriedade dos tokens gerados.") |
|
repetition_penalty = gr.Slider(minimum=1, maximum=2, value=1.2, step=0.1, interactive=True, label="Penalidade de Repetição", info="Valores mais altos auxiliam o modelo a evitar repetições na geração de texto.") |
|
max_new_tokens = gr.Slider(minimum=10, maximum=500, value=200, step=10, interactive=True, label="Comprimento Máximo", info="Controla o número máximo de tokens a serem produzidos (ignorando o prompt).") |
|
|
|
clear = gr.Button("Limpar Conversa 🧹") |
|
|
|
gr.Markdown(disclaimer) |
|
|
|
def user(user_message, chat_history): |
|
""" |
|
Chatbot's user message handler. |
|
""" |
|
return gr.update(value=user_message, interactive=True), chat_history + [[user_message, None]] |
|
|
|
def generate_response(user_msg, top_p, temperature, top_k, max_new_tokens, repetition_penalty, chat_history): |
|
""" |
|
Chatbot's response generator. |
|
""" |
|
|
|
inputs = tokenizer("<instruction>" + user_msg + "</instruction>", return_tensors="pt").to(model.device) |
|
|
|
generated_response = model.generate(**inputs, |
|
bos_token_id=tokenizer.bos_token_id, |
|
pad_token_id=tokenizer.pad_token_id, |
|
eos_token_id=tokenizer.eos_token_id, |
|
repetition_penalty=repetition_penalty, |
|
do_sample=True, |
|
early_stopping=True, |
|
renormalize_logits=True, |
|
top_k=top_k, |
|
max_new_tokens=max_new_tokens, |
|
top_p=top_p, |
|
temperature=temperature) |
|
|
|
bot_message = [tokenizer.decode(tokens, skip_special_tokens=True).replace(user_msg + "</instruction>", "") for tokens in generated_response][0] |
|
|
|
chat_history[-1][1] = "" |
|
for character in bot_message: |
|
chat_history[-1][1] += character |
|
time.sleep(0.005) |
|
yield chat_history |
|
|
|
response = msg.submit(user, [msg, chatbot], [msg, chatbot], queue=False).then( |
|
generate_response, [msg, top_p, temperature, top_k, max_new_tokens, repetition_penalty, chatbot], chatbot |
|
) |
|
response.then(lambda: gr.update(interactive=True), None, [msg], queue=False) |
|
msg.submit(lambda x: gr.update(value=''), None,[msg]) |
|
clear.click(lambda: None, None, chatbot, queue=False) |
|
|
|
demo.queue() |
|
demo.launch() |
|
|
