michaelwzhu commited on
Commit
1116047
·
1 Parent(s): 4375a3c

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +16 -3
README.md CHANGED
@@ -15,7 +15,7 @@ Repo for ShenNong-TCM-LLM (“神农”大模型,首个中医药大模型)
15
  - 🚀 [ShenNong-TCM](https://github.com/michael-wzhu/ShenNong-TCM-LLM) :
16
  - 这一模型的训练数据为[中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)。
17
  - ChatMed_TCM_Dataset以我们开源的[中医药知识图谱](https://github.com/ywjawmw/TCM_KG)为基础;
18
- - 采用以实体为中心的自指令方法(entity-centric self-instruct),调用ChatGPT得到11w+的围绕中医药的指令数据;
19
  - ShenNong-TCM模型也是以LlaMA为底座,采用LoRA (rank=16)微调得到。微调代码与[ChatMed代码库](https://github.com/michael-wzhu/ChatMed)相同
20
 
21
  同时,欢迎大家关注我们的其他医疗大模型开源项目
@@ -38,6 +38,21 @@ Repo for ShenNong-TCM-LLM (“神农”大模型,首个中医药大模型)
38
 
39
  如果同学们想要采用[中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)进行大模型微调,可以参考[ChatMed代码库](https://github.com/michael-wzhu/ChatMed)的代码和训练脚本;
40
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
41
  ## 效果对比
42
 
43
  通过使用[中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)对中文LlaMA-7b模型进行LoRA微调,可使得该模型在回复中医药相关问题方面获得明显的提升。这里我们展示了5个典型中医药问题下不同模型的回复。更多测试样例见[More test examples](https://github.com/michael-wzhu/ChatMed/blob/main/src/web_services/test_examples/ChatMed-Consult_test.json)
@@ -97,5 +112,3 @@ Logo中的"神农"形象是由[midjourney](http://midjourney.com)自动生成。
97
 
98
 
99
 
100
-
101
-
 
15
  - 🚀 [ShenNong-TCM](https://github.com/michael-wzhu/ShenNong-TCM-LLM) :
16
  - 这一模型的训练数据为[中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)。
17
  - ChatMed_TCM_Dataset以我们开源的[中医药知识图谱](https://github.com/ywjawmw/TCM_KG)为基础;
18
+ - 采用以实体为中心的自指令方法[entity-centric self-instruct](./src/entity_centric_self_instruct.py),调用ChatGPT得到11w+的围绕中医药的指令数据;
19
  - ShenNong-TCM模型也是以LlaMA为底座,采用LoRA (rank=16)微调得到。微调代码与[ChatMed代码库](https://github.com/michael-wzhu/ChatMed)相同
20
 
21
  同时,欢迎大家关注我们的其他医疗大模型开源项目
 
38
 
39
  如果同学们想要采用[中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)进行大模型微调,可以参考[ChatMed代码库](https://github.com/michael-wzhu/ChatMed)的代码和训练脚本;
40
 
41
+
42
+ ## 以实体为中心的自指令方法
43
+
44
+ [中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)是完全开源的,可供社区成员们使用。
45
+
46
+ 我们知道,垂直领域相较于通用领域的不同之处在于其一般是知识密集性的,而这些知识一般是围绕一些实体的。所以,我们提出实体为中心的自指令方法[entity-centric self-instruct](./src/entity_centric_self_instruct.py),即围绕垂直领域中的核心实体,以及各种不同的意图场景,进行指令的生成。
47
+ 如果小伙伴们想要基于自己本地的知识库/知识图谱,进行entity-centric self-instruct,则可以运行下面的命令(注意需要在代码文件中配置自己的api key):
48
+ ```bash
49
+ python src/entity_centric_self_instruct.py your_KG_triples.txt your_output_file.jsonl
50
+
51
+ ```
52
+
53
+ 其中"your_KG_triples.txt"文件是知识图谱每个三元组写在txt文件形成的,参考[TCM-KG](https://github.com/ywjawmw/TCM_KG)或者[TCM-KG文件](./src/TCM-KG_triples.txt).
54
+
55
+
56
  ## 效果对比
57
 
58
  通过使用[中医药指令数据集ShenNong_TCM_Dataset](https://huggingface.co/datasets/michaelwzhu/ShenNong_TCM_Dataset)对中文LlaMA-7b模型进行LoRA微调,可使得该模型在回复中医药相关问题方面获得明显的提升。这里我们展示了5个典型中医药问题下不同模型的回复。更多测试样例见[More test examples](https://github.com/michael-wzhu/ChatMed/blob/main/src/web_services/test_examples/ChatMed-Consult_test.json)
 
112
 
113
 
114