app.py

# import gradio as gr

# gr.load("models/Qwen/Qwen2.5-Coder-32B-Instruct").launch()

import gradio as gr

# تنظیمات برای استفاده از GPU (در صورت موجود بودن)
device = "cuda" if torch.cuda.is_available() else "cpu"

# بارگذاری مدل با استفاده از تنظیمات بهینه
model = gr.load(
    "models/Qwen/Qwen2.5-Coder-32B-Instruct", 
    device=device,  # اجرا روی GPU (یا CPU در صورت نبود GPU)
    low_cpu_mem_usage=True  # کاهش مصرف حافظه
)

# اجرای رابط کاربری با بهینه‌سازی برای بازدهی بهتر
model.launch(
    server_name="0.0.0.0",  # قابل دسترسی از شبکه
    server_port=7860,       # پورت مناسب برای دسترسی
    share=True,             # اشتراک‌گذاری لینک عمومی (در صورت نیاز)
    enable_queue=True       # صف‌بندی درخواست‌ها برای مدیریت بار
)