Commit
·
1116047
1
Parent(s):
4375a3c
Update README.md
Browse files
README.md
CHANGED
@@ -15,7 +15,7 @@ Repo for ShenNong-TCM-LLM (“神农”大模型,首个中医药大模型)
|
|
15 |
- 🚀 [ShenNong-TCM](https://github.com/michael-wzhu/ShenNong-TCM-LLM) :
|
16 |
- 这一模型的训练数据为[中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)。
|
17 |
- ChatMed_TCM_Dataset以我们开源的[中医药知识图谱](https://github.com/ywjawmw/TCM_KG)为基础;
|
18 |
-
- 采用以实体为中心的自指令方法
|
19 |
- ShenNong-TCM模型也是以LlaMA为底座,采用LoRA (rank=16)微调得到。微调代码与[ChatMed代码库](https://github.com/michael-wzhu/ChatMed)相同
|
20 |
|
21 |
同时,欢迎大家关注我们的其他医疗大模型开源项目
|
@@ -38,6 +38,21 @@ Repo for ShenNong-TCM-LLM (“神农”大模型,首个中医药大模型)
|
|
38 |
|
39 |
如果同学们想要采用[中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)进行大模型微调,可以参考[ChatMed代码库](https://github.com/michael-wzhu/ChatMed)的代码和训练脚本;
|
40 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
41 |
## 效果对比
|
42 |
|
43 |
通过使用[中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)对中文LlaMA-7b模型进行LoRA微调,可使得该模型在回复中医药相关问题方面获得明显的提升。这里我们展示了5个典型中医药问题下不同模型的回复。更多测试样例见[More test examples](https://github.com/michael-wzhu/ChatMed/blob/main/src/web_services/test_examples/ChatMed-Consult_test.json)
|
@@ -97,5 +112,3 @@ Logo中的"神农"形象是由[midjourney](http://midjourney.com)自动生成。
|
|
97 |
|
98 |
|
99 |
|
100 |
-
|
101 |
-
|
|
|
15 |
- 🚀 [ShenNong-TCM](https://github.com/michael-wzhu/ShenNong-TCM-LLM) :
|
16 |
- 这一模型的训练数据为[中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)。
|
17 |
- ChatMed_TCM_Dataset以我们开源的[中医药知识图谱](https://github.com/ywjawmw/TCM_KG)为基础;
|
18 |
+
- 采用以实体为中心的自指令方法[entity-centric self-instruct](./src/entity_centric_self_instruct.py),调用ChatGPT得到11w+的围绕中医药的指令数据;
|
19 |
- ShenNong-TCM模型也是以LlaMA为底座,采用LoRA (rank=16)微调得到。微调代码与[ChatMed代码库](https://github.com/michael-wzhu/ChatMed)相同
|
20 |
|
21 |
同时,欢迎大家关注我们的其他医疗大模型开源项目
|
|
|
38 |
|
39 |
如果同学们想要采用[中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)进行大模型微调,可以参考[ChatMed代码库](https://github.com/michael-wzhu/ChatMed)的代码和训练脚本;
|
40 |
|
41 |
+
|
42 |
+
## 以实体为中心的自指令方法
|
43 |
+
|
44 |
+
[中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)是完全开源的,可供社区成员们使用。
|
45 |
+
|
46 |
+
我们知道,垂直领域相较于通用领域的不同之处在于其一般是知识密集性的,而这些知识一般是围绕一些实体的。所以,我们提出实体为中心的自指令方法[entity-centric self-instruct](./src/entity_centric_self_instruct.py),即围绕垂直领域中的核心实体,以及各种不同的意图场景,进行指令的生成。
|
47 |
+
如果小伙伴们想要基于自己本地的知识库/知识图谱,进行entity-centric self-instruct,则可以运行下面的命令(注意需要在代码文件中配置自己的api key):
|
48 |
+
```bash
|
49 |
+
python src/entity_centric_self_instruct.py your_KG_triples.txt your_output_file.jsonl
|
50 |
+
|
51 |
+
```
|
52 |
+
|
53 |
+
其中"your_KG_triples.txt"文件是知识图谱每个三元组写在txt文件形成的,参考[TCM-KG](https://github.com/ywjawmw/TCM_KG)或者[TCM-KG文件](./src/TCM-KG_triples.txt).
|
54 |
+
|
55 |
+
|
56 |
## 效果对比
|
57 |
|
58 |
通过使用[中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)对中文LlaMA-7b模型进行LoRA微调,可使得该模型在回复中医药相关问题方面获得明显的提升。这里我们展示了5个典型中医药问题下不同模型的回复。更多测试样例见[More test examples](https://github.com/michael-wzhu/ChatMed/blob/main/src/web_services/test_examples/ChatMed-Consult_test.json)
|
|
|
112 |
|
113 |
|
114 |
|
|
|
|