
# RoBERTa-like language model trained on part of part of TAIGA corpus

## Training Details

- about 60k steps

![]()

## Example pipeline

```python
from transformers import pipeline
from transformers import RobertaTokenizerFast

tokenizer = RobertaTokenizerFast.from_pretrained('blinoff/roberta-base-russian-v0', max_len=512)

fill_mask = pipeline(
    "fill-mask",
    model="blinoff/roberta-base-russian-v0",
    tokenizer=tokenizer
)

fill_mask("Мозг — это машина <mask>, которая пытается снизить ошибку в прогнозе.")

# {
#     'sequence': '<s>Мозг — это машина города, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.012859329581260681,
#     'token': 2144,
#     'token_str': 'ĠÐ³Ð¾ÑĢÐ¾Ð´Ð°'
# },
# {
#     'sequence': '<s>Мозг — это машина человека, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.01185101643204689,
#     'token': 1470,
#     'token_str': 'ĠÑĩÐµÐ»Ð¾Ð²ÐµÐºÐ°'
# },
# {
#     'sequence': '<s>Мозг — это машина дома, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.009940559044480324,
#     'token': 1411,
#     'token_str': 'ĠÐ´Ð¾Ð¼Ð°'
# },
# {
#     'sequence': '<s>Мозг — это машина женщина, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.007794599514454603,
#     'token': 2707,
#     'token_str': 'ĠÐ¶ÐµÐ½ÑīÐ¸Ð½Ð°'
# },
# {
#     'sequence': '<s>Мозг — это машина женщины, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.007725382689386606,
#     'token': 3546,
#     'token_str': 'ĠÐ¶ÐµÐ½ÑīÐ¸Ð½Ñĭ'
# }
```

{"language": "ru", "widget": [{"text": "\u041c\u043e\u0437\u0433 \u2014 \u044d\u0442\u043e \u043c\u0430\u0448\u0438\u043d\u0430 \u0432\u044b\u0432\u043e\u0434\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f <mask> \u043e\u0448\u0438\u0431\u043a\u0443 \u0432 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0435.", "example_title": "brain_example"}, {"text": "\u041d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0441\u043f\u043e\u0440\u044c\u0442\u0435 \u0441 \u0438\u0434\u0438\u043e\u0442\u0430\u043c\u0438, <mask> \u043e\u043f\u0443\u0441\u0442\u0438\u0442\u0435\u0441\u044c \u0434\u043e \u0438\u0445 \u0443\u0440\u043e\u0432\u043d\u044f, \u0433\u0434\u0435 \u043e\u043d\u0438 \u0432\u0430\u0441 \u0437\u0430\u0434\u0430\u0432\u044f\u0442 \u0441\u0432\u043e\u0438\u043c \u043e\u043f\u044b\u0442\u043e\u043c.", "example_title": "idiot_example"}]}
transformers pytorch jax safetensors roberta fill-mask ru autotrain_compatible endpoints_compatible region:us
TAGS
#transformers #pytorch #jax #safetensors #roberta #fill-mask #ru #autotrain_compatible #endpoints_compatible #region-us 


# RoBERTa-like language model trained on part of part of TAIGA corpus

## Training Details

- about 60k steps

![]()

## Example pipeline



# RoBERTa-like language model trained on part of part of TAIGA corpus ## Training Details

- about 60k steps

![]() ## Example pipeline
TAGS
#transformers #pytorch #jax #safetensors #roberta #fill-mask #ru #autotrain_compatible #endpoints_compatible #region-us 
 # RoBERTa-like language model trained on part of part of TAIGA corpus ## Training Details

- about 60k steps

![]() ## Example pipeline
passage: TAGS
#transformers #pytorch #jax #safetensors #roberta #fill-mask #ru #autotrain_compatible #endpoints_compatible #region-us 
# RoBERTa-like language model trained on part of part of TAIGA corpus## Training Details

- about 60k steps

![]()## Example pipeline