File size: 491 Bytes
94724ad 19b1d66 94724ad 19b1d66 94724ad 19b1d66 94724ad 19b1d66 94724ad |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
# DenseBackwardOLMoE
自定义的OLMoE模型，使用DenseBackwardOlmoeSparseMoeBlock替换原版的MoE模块，实现dense backward功能。
## 用法
```python
from transformers import AutoConfig, AutoModelForCausalLM
# 使用trust_remote_code=True加载模型
config = AutoConfig.from_pretrained("autoprogrammer/olmoe_densebackward", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("autoprogrammer/olmoe_densebackward", config=config, trust_remote_code=True)
```
|