chatbot_CDS / dataset.py
namngo's picture
Update dataset.py
df2f774 verified
raw
history blame
394 Bytes
import pandas as pd
from sklearn.model_selection import train_test_split
from datasets import DatasetDict, Dataset
# Load dữ liệu từ CSV (hoặc thay bằng đường dẫn file của bạn)
a = pd.read_csv("datav6.csv")
a=a[['context','question','answers']]
dataset_a = Dataset.from_pandas(a)
# print(dataset_a)
# print(dataset_a["context"]) # Giả sử tập train có cột "pos"