def METHOD_NAME(self):
    self.module.attn_nw.data = self.attn_nw.to(get_accelerator().current_device_name())
    self.module.attn_nb.data = self.attn_nb.to(get_accelerator().current_device_name())
    self.module.norm_w.data.copy_(self.input_nw.to(get_accelerator().current_device_name()))
    self.module.norm_b.data.copy_(self.input_nb.to(get_accelerator().current_device_name()))
    if self.config.moe.type == 'residual':
        self.module.res_mlp.inter_w.data = self._res_h4h_w.to(get_accelerator().current_device_name())
        self.module.res_mlp.inter_b.data = self._res_h4h_b.to(get_accelerator().current_device_name())
        self.module.res_mlp.output_w.data = self._res_4hh_w.to(get_accelerator().current_device_name())
        self.module.res_mlp.output_b.data = self._res_4hh_b.to(get_accelerator().current_device_name())
        self.module.res_coef.data = self._res_coef.to(get_accelerator().current_device_name())