app.py

import gradio as gr
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

# بارگذاری مدل فشرده‌شده Falcon-7B-Instruct-GPTQ
model_name = "4bit/falcon-7b-instruct-GPTQ"

# بارگذاری توکن‌ایزر و مدل
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)

# ایجاد pipeline برای متن‌سازی
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)

def respond(
    message,
    history: list[tuple[str, str]],
    system_message,
    max_tokens,
    temperature,
    top_p,
):
    # ساخت پیام‌ها برای مدل
    messages = [{"role": "system", "content": system_message}]

    # اضافه