saeidmp commited on
Commit
32d79c1
·
verified ·
1 Parent(s): 42aa956

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +21 -1
app.py CHANGED
@@ -1,3 +1,23 @@
 
 
 
 
1
  import gradio as gr
2
 
3
- gr.load("models/Qwen/Qwen2.5-Coder-32B-Instruct").launch()
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # import gradio as gr
2
+
3
+ # gr.load("models/Qwen/Qwen2.5-Coder-32B-Instruct").launch()
4
+
5
  import gradio as gr
6
 
7
+ # تنظیمات برای استفاده از GPU (در صورت موجود بودن)
8
+ device = "cuda" if torch.cuda.is_available() else "cpu"
9
+
10
+ # بارگذاری مدل با استفاده از تنظیمات بهینه
11
+ model = gr.load(
12
+ "models/Qwen/Qwen2.5-Coder-32B-Instruct",
13
+ device=device, # اجرا روی GPU (یا CPU در صورت نبود GPU)
14
+ low_cpu_mem_usage=True # کاهش مصرف حافظه
15
+ )
16
+
17
+ # اجرای رابط کاربری با بهینه‌سازی برای بازدهی بهتر
18
+ model.launch(
19
+ server_name="0.0.0.0", # قابل دسترسی از شبکه
20
+ server_port=7860, # پورت مناسب برای دسترسی
21
+ share=True, # اشتراک‌گذاری لینک عمومی (در صورت نیاز)
22
+ enable_queue=True # صف‌بندی درخواست‌ها برای مدیریت بار
23
+ )