Commit
·
6cc5618
1
Parent(s):
01be556
update readme
Browse files
README.md
CHANGED
|
@@ -1,3 +1,17 @@
|
|
| 1 |
---
|
| 2 |
license: apache-2.0
|
| 3 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
---
|
| 2 |
license: apache-2.0
|
| 3 |
---
|
| 4 |
+
<div align="center">
|
| 5 |
+
|
| 6 |
+
# 开源中文预训练语言模型Steel-LLM
|
| 7 |
+
由zhanshijin和lishu14创建
|
| 8 |
+
</div>
|
| 9 |
+
|
| 10 |
+
|
| 11 |
+
## 👋 介绍
|
| 12 |
+
Steel-LLM是一个从零开始预训练中文大模型的项目。我们的目标是使用1T+的数据预训练一个1B左右参数量的中文LLM，对标TinyLlama。项目持续更新，维持3个月+。我们会分享数据收集、数据处理、预训练框架选择、模型设计等全过程，并开源全部代码。让每个人在有8~几十张卡的情况下都能复现我们的工作。
|
| 13 |
+
<p align="center">
|
| 14 |
+
🐱 <a href="https://github.com/zhanshijinwat/Steel-LLM">Github</a>  
|
| 15 |
+
   📑 <a href="https://www.zhihu.com/people/zhan-shi-jin-27">Blog</a>
|
| 16 |
+
|
| 17 |
+
"Steel(钢)"取名灵感来源于华北平原一只优秀的乐队“万能青年旅店（万青）”。乐队在做一专的时候条件有限，自称是在“土法炼钢”，但却是一张神专。我们训练LLM的条件同样有限，但也希望能炼出好“钢”来。为了让能持续关注我们的同学们有一些参与感，并在未来使用Steel-LLM时让模型更有可能输出你想要的内容，我们会持续收集大家的数据，各种亚文化、冷知识、歌词、小众读物、只有你自己知道的小秘密等等都可以，并训练到我们的LLM中。改编万青一专简介的一句话作为结束语：Steel-LLM完成之时，神经元已经被万亿数据填满。我们渴望这个塞了很多东西的模型还能为你们的数据留下丝缕空地。这样的话，所有用到模型的人，就有可能并肩站在一起。
|