Upload 4 files

dataset.py

@@ -0,0 +1,12 @@
+import pandas as pd
+from sklearn.model_selection import train_test_split
+from datasets import DatasetDict, Dataset
+
+# Load dữ liệu từ CSV (hoặc thay bằng đường dẫn file của bạn)
+a = pd.read_csv("D:/Pycharm/Project/Project2/Model/datav6.csv")
+a=a[['context','question','answers']]
+dataset_a = Dataset.from_pandas(a)
+# print(dataset_a)
+# print(dataset_a["context"])  # Giả sử tập train có cột "pos"
+
+

model.py

@@ -0,0 +1,51 @@
+from sentence_transformers import SentenceTransformer
+from transformers import AutoModel, AutoTokenizer,AutoModelForSeq2SeqLM
+import numpy as np
+from sklearn.metrics.pairwise import cosine_similarity
+from dataset import dataset_a
+
+
+def load_model(model_name):
+    model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
+    tokenizer = AutoTokenizer.from_pretrained(model_name)
+    return model, tokenizer
+
+
+def generate_answer(model, tokenizer, context, question, max_length=256):
+    input_text = f'context: {context} question: {question}'
+    inputs = tokenizer(input_text, return_tensors="pt", truncation=True)
+    outputs = model.generate(**inputs, max_length=max_length)
+    answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    return answer
+
+
+# if __name__ == "__main__":
+#     model_name = "D:/Pycharm/Project/Project2/Model/vit5/vit5_base.zip/checkpoint-900"  # Thay username và model_name bằng tên mô hình trên Hugging Face
+#     model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
+#     tokenizer = AutoTokenizer.from_pretrained(model_name)
+#     print("Mô hình đã load thành công!")
+#
+#     # Nhập dữ liệu để test
+#     context = """"Công nghệ thông tin đang phát triển mạnh mẽ và trở thành lĩnh vực không thế thiếu trong cuộc sống hiện đại. Thời kỳ hiện nay còn được gọi là thời đại kỹ thuật số, nơi công nghệ luôn thay đổi và phát triển nhanh chóng. Những tiến bộ khoa học công nghệ trong thế kỷ 21 đã tạo ra nhu cầu đào tạo những công dân chúng ta trở thành những công dân số. Công dân số là những người có kỹ năng khai thác, sử dụng Internet và công nghệ một cách an toàn và hiệu quả. Điều này không chỉ đế giải trí mà còn tìm kiếm thông tin, học tập, chia sẻ kiến thức, truyền thông, cũng như tìm hiếu kiến thức và pháp luật.
+#                 Chương 1 cung cấp kiến thức tống quát về thế giới số, công dân số, các yếu tố và kỹ năng cần thiết với công dân số. Những nội dung về chuyến đổi số, số hóa, chữ ký số, chính phủ số, chỉnh phủ điện tử, văn hóa, đạo đức và pháp luật trong thế giới số. Nội dung chính của chương bao gồm:
+#                 - Thế giới số;
+#                 - Công dân số;
+#                 - Chuyển đổi số;
+#                 - Chỉnh phủ điện tử và chính phủ số;
+#                 - Văn hóa, đạo đức và pháp luật trong thế giới số."
+# """
+#     question = "Công nghệ thông tin đang phát triển như thế nào?"
+#
+#     # Sinh câu trả lời
+#     answer = generate_answer(model, tokenizer, context, question)
+#     print(f"Answer: {answer}")
+
+# print(model)
+
+def find_context(pos_sentences,question,model,embedings='similarity_embeddings.npy'):
+    pos_embeddings = np.load(embedings)
+    query_embedding = model.encode(question)
+    # pos_sentences = dataset_a["context"]
+    similarities = cosine_similarity([query_embedding], pos_embeddings)
+    most_similar_idx = np.argmax(similarities)
+    return pos_sentences[most_similar_idx]

similarity_embeddings.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2634bb356b99cb017393a3d5e4e9477e946a671e772da9c1b84052bc22e695b5
+size 5351552

streamlitapp.py

@@ -0,0 +1,32 @@
+import streamlit as st
+from model import load_model, generate_answer,find_context
+from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
+from dataset import dataset_a
+from sentence_transformers import SentenceTransformer
+
+# Load model automatically
+MODEL_PATH = "D:/Pycharm/Project/Project2/Model/vit5/vit5_base.zip/checkpoint-900"
+model = AutoModelForSeq2SeqLM.from_pretrained(MODEL_PATH)
+tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
+pos_sentences = dataset_a["context"]
+model2=SentenceTransformer('D:/Pycharm/Project/Project2/Model/model_retrival/tmp/checkpoint-586')
+
+# Streamlit UI customization
+st.set_page_config(page_title="Chat Bot Công dân số", page_icon="🤖", layout="wide")
+st.title("🤖 Chat Bot Công dân số")
+st.markdown("---")
+st.success("✅ Model Loaded Successfully")
+
+st.sidebar.header("⚙️ Settings")
+max_length = st.sidebar.slider("Max Answer Length", min_value=50, max_value=500, value=256, step=10)
+
+st.subheader("📌 Ask a Question")
+# context = st.text_area("📝 Context:", height=150)
+question = st.text_input("❓ Question:")
+context=find_context(pos_sentences,question,model2)
+
+
+if st.button("🚀 Generate Answer"):
+    answer = generate_answer(model, tokenizer, context, question, max_length=max_length)
+    st.markdown("### 💡 Answer:")
+    st.info(answer)