fix errors

app.py

@@ -3,7 +3,6 @@ from threading import Thread
 from typing import Iterator, List, Tuple, Dict, Any
 
 import gradio as gr
-import spaces
 import torch
 from transformers import (
     TrainingArguments,
@@ -25,6 +24,9 @@ import time
 
 # ---------------------------- Cấu Hình ---------------------------- #
 
+# Vô hiệu hóa cảnh báo tokenizers_parallelism
+os.environ["TOKENIZERS_PARALLELISM"] = "false"
+
 DESCRIPTION = """\
 # Llama 3.2 3B Instruct với Chức Năng Nâng Cao
 
@@ -41,14 +43,33 @@ MAX_INPUT_TOKEN_LENGTH = int(os.getenv("MAX_INPUT_TOKEN_LENGTH", "128000"))  #
 device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
 
 model_id = "meta-llama/Llama-3.2-3B-Instruct"  # ID mô hình
+
+# Tải tokenizer
 tokenizer = AutoTokenizer.from_pretrained(model_id)
-model = AutoModelForCausalLM.from_pretrained(
+
+# Tải mô hình cho huấn luyện và áp dụng LoRA
+pretrained = AutoModelForCausalLM.from_pretrained(
     model_id,
     device_map="auto",
-    torch_dtype=torch.float16,  # Sử dụng float16 để tương thích với fp16=True
+    torch_dtype=torch.float16,
+    load_in_8bit=False
 )
-model.to(device)
-model.eval()
+
+# Cấu hình LoRA
+lora_config = LoraConfig(
+    r=8,
+    lora_alpha=32,
+    target_modules=["q_proj", "k_proj", "v_proj", "out_proj"],
+    lora_dropout=0.1,
+    bias="none",
+)
+
+# Áp dụng LoRA vào mô hình
+pretrained_model = get_peft_model(pretrained, lora_config)
+pretrained_model.print_trainable_parameters()
+
+# Đảm bảo mô hình ở chế độ huấn luyện
+pretrained_model.train()
 
 # Khởi tạo pipeline phân tích tâm lý trên GPU nếu có
 sentiment_pipeline = pipeline(
@@ -129,7 +150,7 @@ def summarize_text(text: str, max_length: int = 150) -> str:
         "top_p": 0.95,
         "temperature": 0.7,
     }
-    t = Thread(target=model.generate, kwargs=summary_kwargs)
+    t = Thread(target=pretrained_model.generate, kwargs=summary_kwargs)
     t.start()
 
     summary = ""
@@ -177,7 +198,7 @@ def generate_response(prompt: str, chat_history: List[Tuple[str, str]], max_new_
         "num_beams": 1,
         "repetition_penalty": repetition_penalty,
     }
-    t = Thread(target=model.generate, kwargs=generate_kwargs)  # Tạo luồng để sinh văn bản
+    t = Thread(target=pretrained_model.generate, kwargs=generate_kwargs)  # Tạo luồng để sinh văn bản
     t.start()
 
     # Stream văn bản được tạo ra
@@ -364,14 +385,15 @@ class SaveCheckpointCallback(TrainerCallback):
         kwargs['trainer'].save_model(checkpoint_path)
         return control  # Trả về đối tượng control hiện tại
 
-# Tải mô hình đã được pretrained
-pretrained = AutoModelForCausalLM.from_pretrained(
-    model_id,
-    device_map="auto",
-    torch_dtype=torch.float16,
-    load_in_8bit=False
-)
+# Định Nghĩa TrainerCallback để Xử Lý Kết Thúc Huấn Luyện
+class PrintCallback(TrainerCallback):
+    def on_train_begin(self, args, state, control, **kwargs):
+        print("Bắt đầu quá trình huấn luyện...")
 
+    def on_train_end(self, args, state, control, **kwargs):
+        print("Quá trình huấn luyện đã kết thúc.")
+
+# Data Collator
 data_collator = DataCollatorForLanguageModeling(
     tokenizer=tokenizer, 
     mlm=False,  # Vì bạn đang thực hiện Causal LM
@@ -397,19 +419,9 @@ def get_step_done() -> int:
         print(f"Lỗi khi phân tích tên checkpoint: {e}")
         return 0
 
-# Tải và Cấu Hình Mô Hình với LoRA (GPU)
-lora_config = LoraConfig(
-    r=8,
-    lora_alpha=32,
-    target_modules=["q_proj", "k_proj", "v_proj", "out_proj"],
-    lora_dropout=0.1,
-    bias="none",
-)
-
-pretrained_model = get_peft_model(pretrained, lora_config)
-print(pretrained_model)
+# ---------------------------- Định Nghĩa Huấn Luyện ---------------------------- #
 
-@spaces.GPU(duration=30, queue=False)
+@gradio.GPU  # Sử dụng decorator phù hợp nếu cần
 def run_training() -> str:
     """
     Hàm huấn luyện mô hình sử dụng GPU với thời gian hạn chế.
@@ -436,7 +448,7 @@ def run_training() -> str:
         save_total_limit=5,  # Giới hạn số lượng checkpoint lưu trữ
         fp16=True,  # Kích hoạt huấn luyện hỗn hợp độ chính xác
         report_to="none",
-        load_best_model_at_end=True,
+        load_best_model_at_end=False,  # Tắt load best model để tránh xung đột
     )
     
     # Tạo Trainer (GPU)
@@ -447,7 +459,7 @@ def run_training() -> str:
         eval_dataset=final_dataset['validation'],
         tokenizer=tokenizer,
         data_collator=data_collator,
-        callbacks=[SaveCheckpointCallback()],  # Thêm callback
+        callbacks=[SaveCheckpointCallback(), PrintCallback()],  # Thêm callback
     )
     
     # Kiểm tra nếu có checkpoint
@@ -469,7 +481,7 @@ def run_training() -> str:
     return "Huấn luyện hoàn tất hoặc đã tiếp tục từ checkpoint."
 
 # Hàm Tự Động Hóa Việc Gọi Lặp Lại Hàm Huấn Luyện
-@spaces.GPU(duration=30, queue=False)
+@gradio.GPU
 def continuous_training(total_steps=300, steps_per_call=50):
     """
     Hàm tự động gọi lại `run_training` để hoàn thành quá trình huấn luyện.
@@ -502,7 +514,7 @@ def continuous_training(total_steps=300, steps_per_call=50):
             save_total_limit=5,
             fp16=True,
             report_to="none",
-            load_best_model_at_end=True,
+            load_best_model_at_end=False,
         )
         
         # Tạo Trainer với TrainingArguments mới
@@ -513,7 +525,7 @@ def continuous_training(total_steps=300, steps_per_call=50):
             eval_dataset=final_dataset['validation'],
             tokenizer=tokenizer,
             data_collator=data_collator,
-            callbacks=[SaveCheckpointCallback()],
+            callbacks=[SaveCheckpointCallback(), PrintCallback()],
         )
         
         # Tiếp tục huấn luyện từ checkpoint hiện tại
@@ -541,7 +553,7 @@ def continuous_training(total_steps=300, steps_per_call=50):
 
 # ---------------------------- Giao Diện Gradio ---------------------------- #
 
-@spaces.GPU(duration=30, queue=False)
+@gradio.GPU
 def generate(
     message: str,
     chat_history: List[Tuple[str, str]],