
环境领域的中文预训练Bert模型，在hlf/chinese-bert-wwm-ext的基础上进行训练，旨在学习到中文表达后进一步学习到环境领域的专业知识。
1.5G的预训练语料包括水环境、大气环境、土壤环境、气候变化、中文期刊、国家政策等内容。

项目正在进行中，后续会陆续更新相关内容。  
清华大学环境学院课题组  
有相关需求、建议，联系bi.huaibin@foxmail.com
{"language": "zh", "tags": ["pretrain", "pytorch", "environment"], "widget": [{"text": "\u603b[MASK]\u662f\u6c34\u73af\u5883\u4e2d\u7684\u91cd\u8981\u6c61\u67d3\u7269\u3002"}, {"text": "\u6c14[MASK]\u53d8\u5316\u662f\u91cd\u8981\u7684\u5168\u7403\u73af\u5883\u95ee\u9898\u3002"}]}
transformers pytorch bert fill-mask pretrain environment zh autotrain_compatible endpoints_compatible region:us
TAGS
#transformers #pytorch #bert #fill-mask #pretrain #environment #zh #autotrain_compatible #endpoints_compatible #region-us 


环境领域的中文预训练Bert模型，在hlf/chinese-bert-wwm-ext的基础上进行训练，旨在学习到中文表达后进一步学习到环境领域的专业知识。
1.5G的预训练语料包括水环境、大气环境、土壤环境、气候变化、中文期刊、国家政策等内容。

项目正在进行中，后续会陆续更新相关内容。  
清华大学环境学院课题组  
有相关需求、建议，联系bi.huaibin@URL
TAGS
#transformers #pytorch #bert #fill-mask #pretrain #environment #zh #autotrain_compatible #endpoints_compatible #region-us 

passage: TAGS
#transformers #pytorch #bert #fill-mask #pretrain #environment #zh #autotrain_compatible #endpoints_compatible #region-us 
