Update handler.py

handler.py

@@ -16,8 +16,9 @@ class EndpointHandler:
             model_name, 
             device_map="auto", 
             torch_dtype=torch.float16, 
-            offload_folder=offload_dir,
-            offload_state_dict=True  # เพิ่มพารามิเตอร์นี้เพื่อจัดการการ offload ให้ดียิ่งขึ้น
+            offload_folder=offload_dir,  # เพิ่มพารามิเตอร์นี้เพื่อระบุโฟลเดอร์สำหรับการ offload
+            offload_state_dict=True,  # เปิดใช้งานการ offload state dict
+            offload_dir=offload_dir  # ระบุ `offload_dir` โดยตรงเพื่อจัดการ offload ให้ถูกต้อง
         )
         self.tokenizer = AutoTokenizer.from_pretrained(model_name)