Upload 3 files

app.py

@@ -0,0 +1,23 @@
+# backend.py
+from fastapi import FastAPI, Request
+from pydantic import BaseModel
+from qabot import llm_chain
+from fastapi.middleware.cors import CORSMiddleware
+
+app = FastAPI()
+
+# Allow CORS for local frontend testing
+app.add_middleware(
+    CORSMiddleware,
+    allow_origins=["*"],
+    allow_methods=["*"],
+    allow_headers=["*"],
+)
+
+class Query(BaseModel):
+    query: str
+
+@app.post("/ask")
+async def ask_question(query: Query):
+    answer = llm_chain.invoke({"query": query.query})
+    return {"answer": answer["result"]}

prepare_vector_dp.py

@@ -0,0 +1,53 @@
+from langchain.text_splitter import RecursiveCharacterTextSplitter, CharacterTextSplitter
+from langchain_community.document_loaders import PyPDFLoader, DirectoryLoader
+from langchain_community.vectorstores import FAISS
+from langchain_community.embeddings import GPT4AllEmbeddings
+
+from huggingface_hub import hf_hub_download
+
+# Khai bao bien 
+pdf_data_path = "data"
+vector_dp_path = "vectorstores/db_faiss"
+
+model_file = hf_hub_download(
+    repo_id="Pudding48/TinyLlamaTest",   # Replace with your model repo
+    filename="tinyllama-1.1b-chat-v1.0.Q8_0.gguf",
+    cache_dir="model"  # Will be created in the Space's environment
+)
+
+# Ham 1. Tao ra vector DB tu 1 doan text
+def create_db_from_text():
+    raw_text = "Trường Đại học Khoa học – Đại học Huế là một trong những cơ sở đào tạo và nghiên cứu hàng đầu tại khu vực miền Trung và Tây Nguyên. Được thành lập từ năm 1957, trường có bề dày truyền thống trong giảng dạy các ngành khoa học tự nhiên, xã hội và nhân văn. Với đội ngũ giảng viên giàu kinh nghiệm, cơ sở vật chất hiện đại và môi trường học tập năng động, Trường Đại học Khoa học luôn là lựa chọn uy tín của sinh viên trong và ngoài nước. Trường hiện tọa lạc tại số 77 Nguyễn Huệ, thành phố Huế – trung tâm văn hóa, giáo dục lớn của cả nước."
+
+    text_splitter = CharacterTextSplitter(
+        separator="\n",
+        chunk_size=512,
+        chunk_overlap=50,
+        length_function=len 
+    )
+
+    chunks = text_splitter.split_text(raw_text)
+
+    # Embeding
+    embedding_model = GPT4AllEmbeddings(model_file= model_file)
+    
+    # Dua vao Faiss Vector DB
+    db = FAISS.from_texts(texts=chunks, embedding=embedding_model)
+    db.save_local(vector_dp_path)
+    return db
+
+def create_dp_from_files():
+    # Khai bao loader de quet toan bo thu muc data
+    loader = DirectoryLoader(pdf_data_path, glob="*.pdf",loader_cls=PyPDFLoader)
+    documents = loader.load()
+
+    text_splitter = CharacterTextSplitter(chunk_size = 512, chunk_overlap = 50)
+    chunks = text_splitter.split_documents(documents)
+
+    embedding_model = GPT4AllEmbeddings(model_file = model_file)
+    dp = FAISS.from_documents(chunks, embedding_model)
+    dp.save_local(vector_dp_path)
+    return dp
+
+# create_db_from_text()
+create_dp_from_files()

qabot.py

@@ -0,0 +1,66 @@
+from langchain_community.llms import CTransformers
+from langchain.prompts import PromptTemplate
+from langchain_core.runnables import RunnableSequence
+from langchain.chains import RetrievalQA
+from langchain_community.embeddings import GPT4AllEmbeddings
+from langchain_community.vectorstores import FAISS
+
+from huggingface_hub import hf_hub_download
+
+model_file = hf_hub_download(
+    repo_id="Pudding48/TinyLlamaTest",   # Replace with your model repo
+    filename="tinyllama-1.1b-chat-v1.0.Q8_0.gguf",
+    cache_dir="model"  # Will be created in the Space's environment
+)
+
+# Cấu hình
+#model_file = "model/tinyllama-1.1b-chat-v1.0.Q8_0.gguf"
+vector_dp_path = "vectorstores/db_faiss"
+
+# Load LLM
+def load_llm(model_file):
+    llm = CTransformers(
+        model=model_file,
+        model_type="llama",
+        temperature=0.01,
+        config={'gpu_layers': 0},
+        max_new_tokens=128,  
+        context_length=512
+    )
+    return llm
+
+# Tạo prompt template
+def creat_prompt(template):
+    prompt = PromptTemplate(template=template, input_variables=["context","question"])
+    return prompt
+
+# Tạo pipeline chain (thay cho LLMChain)
+def create_qa_chain(prompt, llm, db):
+    llm_chain = RetrievalQA.from_chain_type(
+        llm = llm,
+        chain_type = "stuff",
+        retriever =db.as_retriever(search_kwargs = {"k":1}),
+        return_source_documents = False,
+        chain_type_kwargs={'prompt':prompt}
+    )
+    return llm_chain
+
+def read_vector_db():
+    embedding_model = GPT4AllEmbeddings(model_file = "model/all-minilm-l6-v2-q4_0.gguf") 
+    db = FAISS.load_local(vector_dp_path, embedding_model,allow_dangerous_deserialization=True)
+    return db
+
+db = read_vector_db()
+llm = load_llm(model_file)
+# Mẫu prompt
+template = """<|im_start|>system\nSử dụng thông tin sau đây để trả lời câu hỏi. Nếu bạn không biết câu trả lời, hãy nói không biết, đừng cố tạo ra câu trả lời\n
+    {context}<|im_end|>\n<|im_start|>user\n{question}<|im_end|>\n<|im_start|>assistant"""
+
+# Khởi tạo các thành phần
+prompt = creat_prompt(template)
+llm_chain  =create_qa_chain(prompt, llm, db)
+
+# Chạy thử chain
+question = "Khoa công nghệ thông tin thành lập năm nào ?"
+response = llm_chain.invoke({"query": question})
+print(response)