4bit falcon

app.py

@@ -1,8 +1,10 @@
 import gradio as gr
-from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
+from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 
-# بارگذاری مدل و توکن‌ایزر Falcon-7B-Instruct
-model_name = "tiiuae/falcon-7b-instruct"
+# بارگذاری مدل فشرده‌شده Falcon-7B-Instruct-GPTQ
+model_name = "4bit/falcon-7b-instruct-GPTQ"
+
+# بارگذاری توکن‌ایزر و مدل
 tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
 model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)
 
@@ -40,9 +42,7 @@ def respond(
 
     yield response
 
-"""
-برای اطلاعات بیشتر در مورد تنظیمات ChatInterface، به مستندات Gradio مراجعه کنید: https://www.gradio.app/docs/chatinterface
-"""
+# ایجاد رابط کاربری با Gradio
 demo = gr.ChatInterface(
     respond,
     additional_inputs=[
@@ -59,5 +59,6 @@ demo = gr.ChatInterface(
     ],
 )
 
+# اجرای برنامه
 if __name__ == "__main__":
     demo.launch()