README.md

metadata

license: cc-by-sa-4.0
base_model: defog/sqlcoder-7b-2
tags:
  - transformers
  - text-generation
  - sql
  - causal-lm
  - lora
  - qlora
  - peft

🦎 QLoRA SQLCoder — Fine-tuning de defog/sqlcoder-7b-2

Este repositório contém os adapters LoRA (formato PEFT) treinados com a técnica QLoRA sobre o modelo base defog/sqlcoder-7b-2. O objetivo foi adaptar o modelo para melhor compreensão e geração de SQL em contextos específicos definidos pelo dataset fornecido.

---

📚 Modelo Base

• defog/sqlcoder-7b-2
• Arquitetura: LLaMA / causal LM
• Parâmetros: 7 bilhões

---

💡 Como Usar

from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

base_model = "defog/sqlcoder-7b-2"
adapter = "Miguel0918/qlora-sqlcoder"

tokenizer = AutoTokenizer.from_pretrained(adapter)
model = AutoModelForCausalLM.from_pretrained(
    base_model,
    device_map="auto",
    load_in_4bit=True,
    torch_dtype="auto"
)
model = PeftModel.from_pretrained(model, adapter)

prompt = "portfolio_transaction_headers(...) JOIN portfolio_transaction_details(...): Find transactions for portfolio 72 involving LTC"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))