Pudding48 commited on
Commit
da2813f
·
verified ·
1 Parent(s): 5dda489

Update prepare_vector_dp.py

Browse files
Files changed (1) hide show
  1. prepare_vector_dp.py +4 -4
prepare_vector_dp.py CHANGED
@@ -18,6 +18,9 @@ os.makedirs(cache_path, exist_ok=True)
18
  pdf_data_path = "data"
19
  vector_dp_path = "vectorstores/db_faiss"
20
 
 
 
 
21
  model_file = hf_hub_download(
22
  repo_id="Pudding48/TinyLlamaTest", # 🟢 This must be a model repo, not a Space
23
  filename="tinyllama-1.1b-chat-v1.0.Q8_0.gguf",
@@ -26,8 +29,6 @@ model_file = hf_hub_download(
26
 
27
  # Ham 1. Tao ra vector DB tu 1 doan text
28
  def create_db_from_text():
29
- os.makedirs(pdf_data_path, exist_ok=True)
30
- os.makedirs(vector_dp_path, exist_ok=True)
31
 
32
  raw_text = "Trường Đại học Khoa học – Đại học Huế là một trong những cơ sở đào tạo và nghiên cứu hàng đầu tại khu vực miền Trung và Tây Nguyên. Được thành lập từ năm 1957, trường có bề dày truyền thống trong giảng dạy các ngành khoa học tự nhiên, xã hội và nhân văn. Với đội ngũ giảng viên giàu kinh nghiệm, cơ sở vật chất hiện đại và môi trường học tập năng động, Trường Đại học Khoa học luôn là lựa chọn uy tín của sinh viên trong và ngoài nước. Trường hiện tọa lạc tại số 77 Nguyễn Huệ, thành phố Huế – trung tâm văn hóa, giáo dục lớn của cả nước."
33
 
@@ -49,8 +50,7 @@ def create_db_from_text():
49
  return db
50
 
51
  def create_dp_from_files():
52
- os.makedirs(pdf_data_path, exist_ok=True)
53
- os.makedirs(vector_dp_path, exist_ok=True)
54
 
55
  # Khai bao loader de quet toan bo thu muc data
56
  loader = DirectoryLoader(pdf_data_path, glob="*.pdf",loader_cls=PyPDFLoader)
 
18
  pdf_data_path = "data"
19
  vector_dp_path = "vectorstores/db_faiss"
20
 
21
+ os.makedirs(pdf_data_path, exist_ok=True)
22
+ os.makedirs(vector_dp_path, exist_ok=True)
23
+
24
  model_file = hf_hub_download(
25
  repo_id="Pudding48/TinyLlamaTest", # 🟢 This must be a model repo, not a Space
26
  filename="tinyllama-1.1b-chat-v1.0.Q8_0.gguf",
 
29
 
30
  # Ham 1. Tao ra vector DB tu 1 doan text
31
  def create_db_from_text():
 
 
32
 
33
  raw_text = "Trường Đại học Khoa học – Đại học Huế là một trong những cơ sở đào tạo và nghiên cứu hàng đầu tại khu vực miền Trung và Tây Nguyên. Được thành lập từ năm 1957, trường có bề dày truyền thống trong giảng dạy các ngành khoa học tự nhiên, xã hội và nhân văn. Với đội ngũ giảng viên giàu kinh nghiệm, cơ sở vật chất hiện đại và môi trường học tập năng động, Trường Đại học Khoa học luôn là lựa chọn uy tín của sinh viên trong và ngoài nước. Trường hiện tọa lạc tại số 77 Nguyễn Huệ, thành phố Huế – trung tâm văn hóa, giáo dục lớn của cả nước."
34
 
 
50
  return db
51
 
52
  def create_dp_from_files():
53
+
 
54
 
55
  # Khai bao loader de quet toan bo thu muc data
56
  loader = DirectoryLoader(pdf_data_path, glob="*.pdf",loader_cls=PyPDFLoader)