README.md

DenseBackwardOLMoE

自定义的OLMoE模型，使用DenseBackwardOlmoeSparseMoeBlock替换原版的MoE模块，实现dense backward功能。

用法

from transformers import AutoConfig, AutoModelForCausalLM

# 使用trust_remote_code=True加载模型
config = AutoConfig.from_pretrained("autoprogrammer/olmoe_densebackward", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("autoprogrammer/olmoe_densebackward", config=config, trust_remote_code=True)