pytorch roberta fill-mask transformers license:apache-2.0 autotrain_compatible
---
license: apache-2.0
widget:
- text: "AAGCGAGACGACTTTTACGC<MASK>GGATAGCTAGGCTAGCATCG"
  example_title: "Mutation Probability"
---
# Viral-RoBERTa-small
- NCBI Virus 서열을 언어 모델에 사전학습 (짧은 길이의 서열 비율 증가)
- 6-mer word level 에서 Byte Pair Encoding (BPE) 토크나이저 사용 (빈도수 20으로 vocab 제작)
- RoBERTa architecture 기반 사전학습 진행, transformer 레이어 6개 사용
- V100 GPU 서버에서 학습 진행 중 

## Usage
```python
from transformers import AutoTokenizer, AutoModelForMaskedLM
from transformers import pipeline
HF_ACCESS_TOKEN = ''
model = AutoModelForMaskedLM.from_pretrained("seegene/viral-sixmerta-small2", use_auth_token=HF_ACCESS_TOKEN)
tokenizer = AutoTokenizer.from_pretrained("seegene/viral-sixmerta-small2", use_auth_token=HF_ACCESS_TOKEN)
generator = pipeline(task="fill-mask", model=model, tokenizer=tokenizer)
generator('AAGCGAGACGACTTTTACGC<MASK>GGATAGCTAGGCTAGCATCG')
```

## Todo
- 모델 검토 단계에 있습니다


