r1char9/llama-7b

Модель huggyllama/llama-7b была fine-tuned на dataset AlanRobotics/saiga.

Usage

from transformers import (
    AutoModelForCausalLM, 
    AutoTokenizer    
)
import torch



checkpoint = 'r1char9/llama-7b'
model = AutoModelForCausalLM.from_pretrained(checkpoint)
tokenizer = AutoTokenizer.from_pretrained(checkpoint, torch_dtype=torch.float16)

def create_query(prompt):
    tokenized_sentence = tokenizer(prompt, return_tensors='pt')
    res = model.generate(**tokenized_sentence, max_new_tokens=256, eos_token_id=13)
    print(tokenizer.decode(res[0], skip_special_tokens=True))

sentence = """user: Кто такой Илон Рив Маск?
bot:"""
create_query(sentence)

user: Кто такой Илон Рив Маск?
bot: Илон Рив Маск - американский предприниматель, миллиардер и филантроп. Он основал компанию "Технологическая индустрия Маск" (Tesla), которая занимается производством электромобилей и солнечных батарей. Также он является основателем и CEO компании SpaceX, которая занимается разработкой и запуском ракет-носителей и космических аппаратов.