这个使用了spicy数据集,外加google翻译了其中的30%的数据组成了新的数据集 在 Skywork-13B-unalign-lora 基础上继续训练出来的,如果你在使用时发现中文回复有一股翻译腔那不是我的错是Google的问题。

模型使用了Skywork-13B-Base-8bits 为底模进行的训练

整个LoRA在我的4090上用batch 1 跑了 1 epoch 耗费了33小时 由于显存有限,在训练时先用了--cutoff_len 1024 不知道会有什么影响

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model is not currently available via any of the supported Inference Providers.
The model cannot be deployed to the HF Inference API: The model has no library tag.