Add library_name and pipeline_tag to model card

#1
by nielsr HF staff - opened
Files changed (1) hide show
  1. README.md +97 -94
README.md CHANGED
@@ -1,95 +1,98 @@
1
- ---
2
- license: apache-2.0
3
- ---
4
- <div align="center">
5
-
6
- # 开源中文预训练语言模型Steel-LLM
7
- 由zhanshijin和lishu14创建
8
- </div>
9
-
10
- ## 👋 介绍
11
- Steel-LLM是个人发起的利用业余时间从零开始预训练中文大模型的项目。我们使用了1T+的数据预训练一个1B左右参数量的中文LLM,耗时8个月。我们分享了数据收集、数据处理、预训练框架修改、模型设计、模型微调等全过程,并开源全部代码。让每个人在有8~几十张卡的情况下都能复现我们的工作。得益于开源中文数据,Steel LLM在中文benchmark上表现优于一些大几倍的机构发布的LLM,最终在ceval达到了38分,cmmlu达到了33分。
12
- <p align="center">
13
- 🐱 <a href="https://github.com/zhanshijinwat/Steel-LLM">Github</a>&nbsp&nbsp
14
- &nbsp&nbsp 📑 <a href="https://www.zhihu.com/people/zhan-shi-jin-27">Blog</a> &nbsp&nbsp🌐公众号:炼钢AI
15
-
16
- "Steel(钢)"取名灵感来源于华北平原一只优秀的乐队“万能青年旅店(万青)”。乐队在做一专的时候条件有限,自称是在“土法炼钢”,但却是一张神专。我们训练LLM的条件同样有限,但也希望能炼出好“钢”来。
17
-
18
- ## 🔥更新
19
- 2025.1.17 更新steel-LLM-chat-v2,微调时加入了英文数据,中英文数据比例和预训练保持一致,最终在ceval上由38分提高到了41.9分,cmmlu从33分提高到了36分。
20
- ## 📖 预训练数据
21
- 预训练数据方面,Steel-LLM主要使用了wanjuan1.0、Skywork/Skypile-150B数据集、starcoder的python/java/c++数据。另外也加入了中文维基百科、百度百科、知乎问答等数据,转换为token id后占用1.7T硬盘空间。Steel-LLM也对问答数据以及代码数据使用data-juicer进行了数据清洗,数据收集及数据处理的具体细节见我的博客:
22
- https://mp.weixin.qq.com/s/yqmtHLuuNV9075qHgzhcPw
23
-
24
- ## 🎰 训练框架
25
- 训练框架方面,我们修改了TinyLlama训练程序,兼容Hugginface格式模型、支持了数据断点续训、支持了追加新的数据等能力。训练前20k checkpoint使用8 * A100,之后使用的是8 * H800
26
- 具体的技术细节见我的博客:https://mp.weixin.qq.com/s/KPRir6bK3MZZ-vMFTfhUQQ
27
-
28
- ## 🤖模型结构
29
-
30
- tokenizer方面,使用了Qwen/Qwen1.5-MoE-A2.7B-Chat的tokenizer。模型结构方面基于Qwen1.5模型进行了以下的新结构的尝试:
31
- - FFN层使用softmax moe,相同参数量下有更高的训练速度
32
- - 使用双层的SwiGLU
33
- 具体的技术细节见我的博客:https://mp.weixin.qq.com/s/JaZyf1jOEOtNDCcFqSj8TQ
34
-
35
- ## 💡 微调
36
- 微调阶段主要使用了BAAI/Infinity-Instruct、预训练数据中的wanjuan中文选择题部分(回炉重造)、ruozhiba等数据。尝试了COT/非COT微调、刷榜测试。
37
- 具体的实验细节见我的博客:https://mp.weixin.qq.com/s/KK0G0spNw0D9rPUESkHMew
38
-
39
- ## 🏅 评估
40
- Steel-LLM在CEVAL和CMMLU上进行了测试。Steel-LLM旨在训练一个中文LLM,80%的训练数据都是中文,因此并没有在英文benchmark上进行评测。
41
- 其他模型的指标来自于CEVAL论文、MiniCPM技术报告、MAP-Neo技术报告等途径。更多模型的指标可查看之前的<a href=https://mp.weixin.qq.com/s/KK0G0spNw0D9rPUESkHMew>博客</a>
42
-
43
- | | CEVAL | CMMLU |
44
- |-----------------|-------|-------|
45
- | Steel-LLM(chat v2) | 41.9 | 36.08 |
46
- | ChatGPT | 51.0 | - |
47
- | GPT4 | 66.4 | - |
48
- | ChatGLM-6B | 38.9 | - |
49
- | Moss | 33.1 | - |
50
- | LLAMA-65B | 34.7 | - |
51
- | Tiny-Llama-1.1B | 25.02 | 24.03 |
52
- | Qwen-7B | 58.96 | 60.35 |
53
- | Gemma-7B | 42.57 | 44.20 |
54
- | Qwen-1.8B | 49.81 | 45.32 |
55
- | mini-CPM-1.2B | 49.14 | 46.81 |
56
- | Phi2(2B) | 23.37 | 24.18 |
57
- | OLMo-7B | 35.18 | 35.55 |
58
- | MAP-NEO-7B | 56.97 | 55.01 |
59
-
60
- ## ⛏️ 快速使用
61
- ```python
62
- from modelscope import AutoModelForCausalLM, AutoTokenizer
63
-
64
- model_name = "zhanshijin/Steel-LLM"
65
-
66
- model = AutoModelForCausalLM.from_pretrained(
67
- model_name,
68
- torch_dtype="auto",
69
- device_map="auto"
70
- )
71
- tokenizer = AutoTokenizer.from_pretrained(model_name)
72
-
73
- prompt = "你是谁开发的"
74
- messages = [
75
- {"role": "user", "content": prompt}
76
- ]
77
- text = tokenizer.apply_chat_template(
78
- messages,
79
- tokenize=False,
80
- add_generation_prompt=True
81
- )
82
- model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
83
-
84
- generated_ids = model.generate(
85
- **model_inputs,
86
- max_new_tokens=512
87
- )
88
- generated_ids = [
89
- output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
90
- ]
91
-
92
- response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
93
- print(response)
94
-
 
 
 
95
  ```
 
1
+ ---
2
+ license: apache-2.0
3
+ library_name: modelscope
4
+ pipeline_tag: text-generation
5
+ ---
6
+
7
+ <div align="center">
8
+
9
+ # 开源中文预训练语言模型Steel-LLM
10
+ 由zhanshijin和lishu14创建
11
+ </div>
12
+
13
+ ## 👋 介绍
14
+ Steel-LLM是个人发起的利用业余时间从零开始预训练中文大模型的项目。我们使用了1T+的数据预训练一个1B左右参数量的中文LLM,耗时8个月。我们分享了数据收集、数据处理、预训练框架修改、模型设计、模型微调等全过程,并开源全部代码。让每个人在有8~几十张卡的情况下都能复现我们的工作。得益于开源中文数据,Steel LLM在中文benchmark上表现优于一些大几倍的机构发布的LLM,最终在ceval达到了38分,cmmlu达到了33分。
15
+ <p align="center">
16
+ 🐱 <a href="https://github.com/zhanshijinwat/Steel-LLM">Github</a>&nbsp&nbsp
17
+ &nbsp&nbsp 📑 <a href="https://www.zhihu.com/people/zhan-shi-jin-27">Blog</a> &nbsp&nbsp🌐公众号:炼钢AI
18
+
19
+ "Steel(钢)"取名灵感来源于华北平原一只优秀的乐队“万能青年旅店(万青)”。乐队在做一专的时候条件有限,自称是在“土法炼钢”,但却是一张神专。我们训练LLM的条件同样有限,但也希望能炼出好“钢”来。
20
+
21
+ ## 🔥更新
22
+ 2025.1.17 更新steel-LLM-chat-v2,微调时加入了英文数据,中英文数据比例和预训练保持一致,最终在ceval上由38分提高到了41.9分,cmmlu从33分提高到了36分。
23
+ ## 📖 预训练数据
24
+ 预训练数据方面,Steel-LLM主要使用了wanjuan1.0、Skywork/Skypile-150B数据集、starcoder的python/java/c++数据。另外也加入了中文维基百科、百度百科、知乎问答等数据,转换为token id后占用1.7T硬盘空间。Steel-LLM也对问答数据以及代码数据使用data-juicer进行了数据清洗,数据收集及数据处理的具体细节见我的博客:
25
+ https://mp.weixin.qq.com/s/yqmtHLuuNV9075qHgzhcPw
26
+
27
+ ## 🎰 训练框架
28
+ 训练框架方面,我们修改了TinyLlama训练程序,兼容Hugginface格式模型、支持了数据断点续训、支持了追加新的数据等能力。训练前20k checkpoint使用8 * A100,之后使用的是8 * H800
29
+ 具体的技术细节见我的博客:https://mp.weixin.qq.com/s/KPRir6bK3MZZ-vMFTfhUQQ
30
+
31
+ ## 🤖模型结构
32
+
33
+ tokenizer方面,使用了Qwen/Qwen1.5-MoE-A2.7B-Chat的tokenizer。模型结构方面基于Qwen1.5模型进行了以下的新结构的尝试:
34
+ - FFN层使用softmax moe,相同参数量下有更高的训练速度
35
+ - 使用双层的SwiGLU
36
+ 具体的技术细节见我的博客:https://mp.weixin.qq.com/s/JaZyf1jOEOtNDCcFqSj8TQ
37
+
38
+ ## 💡 微调
39
+ 微调阶段主要使用了BAAI/Infinity-Instruct、预训练数据中的wanjuan中文选择题部分(回炉重造)、ruozhiba等数据。尝试了COT/非COT微调、刷榜测试。
40
+ 具体的实验细节见我的博客:https://mp.weixin.qq.com/s/KK0G0spNw0D9rPUESkHMew
41
+
42
+ ## 🏅 评估
43
+ Steel-LLM在CEVALCMMLU上进行了测试。Steel-LLM旨在训练一个中文LLM,80%的训练数据都是中文,因此并没有在英文benchmark上进行评测。
44
+ 其他模型的指标来自于CEVAL论文、MiniCPM技术报告、MAP-Neo技术报告等途径。更多模型的指标可查看之前的<a href=https://mp.weixin.qq.com/s/KK0G0spNw0D9rPUESkHMew>博客</a>
45
+
46
+ | | CEVAL | CMMLU |
47
+ |-----------------|-------|-------|
48
+ | Steel-LLM(chat v2) | 41.9 | 36.08 |
49
+ | ChatGPT | 51.0 | - |
50
+ | GPT4 | 66.4 | - |
51
+ | ChatGLM-6B | 38.9 | - |
52
+ | Moss | 33.1 | - |
53
+ | LLAMA-65B | 34.7 | - |
54
+ | Tiny-Llama-1.1B | 25.02 | 24.03 |
55
+ | Qwen-7B | 58.96 | 60.35 |
56
+ | Gemma-7B | 42.57 | 44.20 |
57
+ | Qwen-1.8B | 49.81 | 45.32 |
58
+ | mini-CPM-1.2B | 49.14 | 46.81 |
59
+ | Phi2(2B) | 23.37 | 24.18 |
60
+ | OLMo-7B | 35.18 | 35.55 |
61
+ | MAP-NEO-7B | 56.97 | 55.01 |
62
+
63
+ ## ⛏️ 快速使用
64
+ ```python
65
+ from modelscope import AutoModelForCausalLM, AutoTokenizer
66
+
67
+ model_name = "zhanshijin/Steel-LLM"
68
+
69
+ model = AutoModelForCausalLM.from_pretrained(
70
+ model_name,
71
+ torch_dtype="auto",
72
+ device_map="auto"
73
+ )
74
+ tokenizer = AutoTokenizer.from_pretrained(model_name)
75
+
76
+ prompt = "你是谁开发的"
77
+ messages = [
78
+ {"role": "user", "content": prompt}
79
+ ]
80
+ text = tokenizer.apply_chat_template(
81
+ messages,
82
+ tokenize=False,
83
+ add_generation_prompt=True
84
+ )
85
+ model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
86
+
87
+ generated_ids = model.generate(
88
+ **model_inputs,
89
+ max_new_tokens=512
90
+ )
91
+ generated_ids = [
92
+ output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
93
+ ]
94
+
95
+ response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
96
+ print(response)
97
+
98
  ```