Update README.md
Browse files
README.md
CHANGED
|
@@ -22,6 +22,27 @@ license: apache-2.0
|
|
| 22 |
|
| 23 |
本模型基于Deepseek-R1-14B进行深度优化，借助Tifa_220B生成的数据集通过三重训练策略显著增强角色扮演、小说文本生成与思维链（CoT）能力。特别适合需要长程上下文关联的创作场景。
|
| 24 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 25 |
## 0208更新消息：
|
| 26 |
感谢大家的关注与反馈，鉴于反馈中提到的问题，我们已开发并验证完成PRIME与PPO结合的RL算法，并通过加权方式解决两种算法训练中奖励信号不稳定的问题，通过此项技术我们有望将更小的模型提升到更高的性能。我们将会针对之前收集到的问题进行修正训练，另外为了让更多人使用到模型，我们这次使用更小更快的Deepseek-7b，并参考OpenAI的长思考策略，计划推出Tifa-DeepsexV2-COT-High供大家使用。新的模型计划于阳历情人节之前送给大家作为情人节礼物。♥
|
| 27 |
|
|
|
|
| 22 |
|
| 23 |
本模型基于Deepseek-R1-14B进行深度优化，借助Tifa_220B生成的数据集通过三重训练策略显著增强角色扮演、小说文本生成与思维链（CoT）能力。特别适合需要长程上下文关联的创作场景。
|
| 24 |
|
| 25 |
+
## 版本介绍：
|
| 26 |
+
- **Tifa-Deepsex-14b-CoT**
|
| 27 |
+
验证模型，测试RL奖励算法对于角色扮演数据的影响，该版本为初版，输出灵活但是不受控制，仅做研究使用。
|
| 28 |
+
|
| 29 |
+
- **Tifa-Deepsex-14b-CoT-Chat**
|
| 30 |
+
采用标准数据训练，使用成熟RL策略，附加防重复强化学习，适合正常使用，输出文本质量正常，少数情况下思维发散。
|
| 31 |
+
-增量训练0.4T小说内容
|
| 32 |
+
-100K由TifaMax生成的SFT数据，10K由DeepseekR1生成的SFT数据，2K高质量人工数据
|
| 33 |
+
-30K由TifaMax生成的DPO强化学习数据，用于防止重复，增强上下文关联，提升政治安全性
|
| 34 |
+
|
| 35 |
+
- **Tifa-Deepsex-14b-CoT-Crazy**
|
| 36 |
+
大量使用RL策略，主要采用671B满血R1蒸馏的数据，输出发散性高，继承R1优点，也继承了R1的危害性。文学性能佳。
|
| 37 |
+
-增量训练0.4T小说内容
|
| 38 |
+
-40K由TifaMax生成的SFT数据，60K由DeepseekR1生成的SFT数据，2K高质量人工数据
|
| 39 |
+
-30K由TifaMax生成的DPO强化学习数据，用于防止重复，增强上下文关联，提升政治安全性
|
| 40 |
+
-10K由TifaMax生成PPO数据，10K由DeepseekR1生成PPO数据
|
| 41 |
+
|
| 42 |
+
💭**输出实例**
|
| 43 |
+
|
| 44 |
+
|
| 45 |
+
|
| 46 |
## 0208更新消息：
|
| 47 |
感谢大家的关注与反馈，鉴于反馈中提到的问题，我们已开发并验证完成PRIME与PPO结合的RL算法，并通过加权方式解决两种算法训练中奖励信号不稳定的问题，通过此项技术我们有望将更小的模型提升到更高的性能。我们将会针对之前收集到的问题进行修正训练，另外为了让更多人使用到模型，我们这次使用更小更快的Deepseek-7b，并参考OpenAI的长思考策略，计划推出Tifa-DeepsexV2-COT-High供大家使用。新的模型计划于阳历情人节之前送给大家作为情人节礼物。♥
|
| 48 |
|