Update handler.py

handler.py

@@ -16,14 +16,13 @@ class EndpointHandler:
             model_name, 
             device_map="auto", 
             torch_dtype=torch.float16, 
-            offload_folder=offload_dir,  # เพิ่มพารามิเตอร์นี้เพื่อระบุโฟลเดอร์สำหรับการ offload
             offload_state_dict=True,  # เปิดใช้งานการ offload state dict
-            offload_dir=offload_dir  # ระบุ `offload_dir` โดยตรงเพื่อจัดการ offload ให้ถูกต้อง
+            offload_dir=offload_dir  # ระบุ `offload_dir` โดยตรงเพื่อจัดการการ offload ให้ถูกต้อง
         )
         self.tokenizer = AutoTokenizer.from_pretrained(model_name)
 
         # สร้าง pipeline สำหรับการสร้างข้อความ
-        self.generator = pipeline("text-generation", model=self.model, tokenizer=self.tokenizer, device_map="auto")
+        self.generator = pipeline("text-generation", model=self.model, tokenizer=self.tokenizer, device_map="auto", offload_folder=offload_dir)
 
     def __call__(self, data):
         # รับข้อความ input จากผู้ใช้