|
--- |
|
license: apache-2.0 |
|
language: |
|
- zh |
|
library_name: fairseq |
|
tags: |
|
- BART |
|
- pytorch |
|
- CGEC |
|
metrics: |
|
- bleu |
|
pipeline_tag: translation |
|
--- |
|
|
|
# 中文语法纠错任务介绍 |
|
Task:中文语法纠错任务(Chinese Grammatical Error Correction,CGEC) |
|
CGEC任务输入一句中文文本，文本纠错技术对句子中存在拼写、语法、语义等错误进行自动纠正，输出纠正后的文本。 |
|
# 中文语法纠错方法 |
|
主流的方法为seq2seq和seq2edits，常用的中文纠错数据集包括Lang8、NLPCC18和CGED等。 |
|
# 模型描述 |
|
我们采用基于transformer的seq2seq方法建模文本纠错任务。模型选择上，我们使用中文BART作为预训练模型，然后在Lang8和CGED训练数据上进行finetune。 |
|
在不引入额外资源的情况下，本模型在LANG8测试集上达到了SOTA。 |
|
# 模型训练 |
|
模型训练是基于fairseq库进行训练的。 |
|
# 如何使用 |
|
step1: 下载fairseq库，并进行安装 |
|
step2: 使用interactive.py方法进行推理 |
|
python -u ${FAIRSEQ_DIR}/interactive.py $PROCESSED_DIR \ |
|
--task syntax-enhanced-translation \ |
|
--path ${MODEL_PATH} \ |
|
--beam ${BEAM} \ |
|
--nbest ${N_BEST} \ |
|
-s src \ |
|
-t tgt \ |
|
--buffer-size 1000 \ |
|
--batch-size 32 \ |
|
--num-workers 12 \ |
|
--log-format tqdm \ |
|
--remove-bpe \ |
|
--fp16 \ |
|
--output_file $OUTPUT_DIR/output.nbest \ |
|
<$OUTPUT_DIR/lang8_test.char |
