
## 라이브러리 버전

- transformers: 4.21.2
- datasets: 2.4.0
- tokenizers: 0.12.1

[Bingsu/ko_BBPE_tokenizer_roberta](https://huggingface.co/Bingsu/ko_BBPE_tokenizer_roberta)와 같은 방법으로 훈련한 토크나이저.

다만 `unicode_normalizer="nfkc"`를 뺐습니다.

```python
tokenizer = ByteLevelBPETokenizer(trim_offsets=True)
```

{"language": ["ko"], "license": ["mit"], "tags": ["roberta", "tokenizer only"]}
roberta tokenizer only ko license:mit region:us
TAGS
#roberta #tokenizer only #ko #license-mit #region-us 


## 라이브러리 버전

- transformers: 4.21.2
- datasets: 2.4.0
- tokenizers: 0.12.1

Bingsu/ko_BBPE_tokenizer_roberta와 같은 방법으로 훈련한 토크나이저.

다만 'unicode_normalizer="nfkc"'를 뺐습니다.



## 라이브러리 버전

- transformers: 4.21.2
- datasets: 2.4.0
- tokenizers: 0.12.1

Bingsu/ko_BBPE_tokenizer_roberta와 같은 방법으로 훈련한 토크나이저.

다만 'unicode_normalizer="nfkc"'를 뺐습니다.
TAGS
#roberta #tokenizer only #ko #license-mit #region-us 
 ## 라이브러리 버전

- transformers: 4.21.2
- datasets: 2.4.0
- tokenizers: 0.12.1

Bingsu/ko_BBPE_tokenizer_roberta와 같은 방법으로 훈련한 토크나이저.

다만 'unicode_normalizer="nfkc"'를 뺐습니다.
passage: TAGS
#roberta #tokenizer only #ko #license-mit #region-us 
## 라이브러리 버전

- transformers: 4.21.2
- datasets: 2.4.0
- tokenizers: 0.12.1

Bingsu/ko_BBPE_tokenizer_roberta와 같은 방법으로 훈련한 토크나이저.

다만 'unicode_normalizer="nfkc"'를 뺐습니다.