Upload 2 files
e35952a
|
{ |
|
"version": "1.0", |
|
"truncation": null, |
|
"padding": null, |
|
"added_tokens": [ |
|
{ |
|
"id": 0, |
|
"content": "<UNK>", |
|
"single_word": false, |
|
"lstrip": false, |
|
"rstrip": false, |
|
"normalized": false, |
|
"special": true |
|
} |
|
], |
|
"normalizer": { |
|
"type": "Lowercase" |
|
}, |
|
"pre_tokenizer": { |
|
"type": "Whitespace" |
|
}, |
|
"post_processor": null, |
|
"decoder": null, |
|
"model": { |
|
"type": "Unigram", |
|
"unk_id": 0, |
|
"vocab": [ |
|
[ |
|
"<UNK>", |
|
0.0 |
|
], |
|
[ |
|
"i", |
|
-3.0203980367124537 |
|
], |
|
[ |
|
"t", |
|
-3.062956886044912 |
|
], |
|
[ |
|
"k", |
|
-3.082041895330107 |
|
], |
|
[ |
|
"f", |
|
-3.103728012092901 |
|
], |
|
[ |
|
"q", |
|
-3.135578439066535 |
|
], |
|
[ |
|
"a", |
|
-3.1735611832016133 |
|
], |
|
[ |
|
"e", |
|
-3.2414619148167 |
|
], |
|
[ |
|
"s", |
|
-3.245056006002681 |
|
], |
|
[ |
|
"r", |
|
-3.2453138014528733 |
|
], |
|
[ |
|
"d", |
|
-3.247259733320952 |
|
], |
|
[ |
|
"g", |
|
-3.2735768039326345 |
|
], |
|
[ |
|
"l", |
|
-3.2758473315755303 |
|
], |
|
[ |
|
"n", |
|
-3.2874450246220093 |
|
], |
|
[ |
|
"p", |
|
-3.3366652351080646 |
|
], |
|
[ |
|
"v", |
|
-3.4634740370979564 |
|
], |
|
[ |
|
"h", |
|
-3.5246874642761234 |
|
], |
|
[ |
|
"y", |
|
-3.5423092969956507 |
|
], |
|
[ |
|
"m", |
|
-3.7572360683510553 |
|
], |
|
[ |
|
"w", |
|
-4.1068255516984 |
|
], |
|
[ |
|
"c", |
|
-4.1691497756131 |
|
], |
|
[ |
|
"aa", |
|
-4.585326076591901 |
|
], |
|
[ |
|
"la", |
|
-4.887530882982123 |
|
], |
|
[ |
|
"al", |
|
-4.992849418633071 |
|
], |
|
[ |
|
"ll", |
|
-5.029207021549425 |
|
], |
|
[ |
|
"ag", |
|
-5.034617504795474 |
|
], |
|
[ |
|
"gg", |
|
-5.209981982112646 |
|
], |
|
[ |
|
"rr", |
|
-5.219453257678689 |
|
], |
|
[ |
|
"va", |
|
-5.284565871717094 |
|
], |
|
[ |
|
"av", |
|
-5.309113365418225 |
|
], |
|
[ |
|
"lg", |
|
-5.335946291080051 |
|
], |
|
[ |
|
"ar", |
|
-5.346487427622183 |
|
], |
|
[ |
|
"ga", |
|
-5.347768184015516 |
|
], |
|
[ |
|
"rl", |
|
-5.359188586198691 |
|
], |
|
[ |
|
"ra", |
|
-5.388899095021582 |
|
], |
|
[ |
|
"lv", |
|
-5.415610462404311 |
|
], |
|
[ |
|
"vl", |
|
-5.442687278673805 |
|
], |
|
[ |
|
"pa", |
|
-5.4566928056054405 |
|
], |
|
[ |
|
"gl", |
|
-5.457117261276412 |
|
], |
|
[ |
|
"lr", |
|
-5.502800422610287 |
|
], |
|
[ |
|
"vv", |
|
-5.5241406506219 |
|
], |
|
[ |
|
"gr", |
|
-5.610282811468741 |
|
], |
|
[ |
|
"gv", |
|
-5.634492053238818 |
|
], |
|
[ |
|
"ae", |
|
-5.636273072018625 |
|
], |
|
[ |
|
"ls", |
|
-5.649664173419566 |
|
], |
|
[ |
|
"sg", |
|
-5.651066151953925 |
|
], |
|
[ |
|
"vg", |
|
-5.699240313159557 |
|
], |
|
[ |
|
"pg", |
|
-5.705567860524408 |
|
], |
|
[ |
|
"sl", |
|
-5.714505001184756 |
|
], |
|
[ |
|
"sa", |
|
-5.72066748094986 |
|
], |
|
[ |
|
"as", |
|
-5.726946393087237 |
|
], |
|
[ |
|
"dl", |
|
-5.731060965222051 |
|
], |
|
[ |
|
"el", |
|
-5.735435604764186 |
|
], |
|
[ |
|
"ss", |
|
-5.73815657796286 |
|
], |
|
[ |
|
"da", |
|
-5.743365731914071 |
|
], |
|
[ |
|
"rg", |
|
-5.748123393774561 |
|
], |
|
[ |
|
"le", |
|
-5.7677881761217655 |
|
], |
|
[ |
|
"ia", |
|
-5.776944415806298 |
|
], |
|
[ |
|
"ta", |
|
-5.77737040425999 |
|
], |
|
[ |
|
"ld", |
|
-5.782381548600611 |
|
], |
|
[ |
|
"ea", |
|
-5.805221911324413 |
|
], |
|
[ |
|
"tl", |
|
-5.815791178543998 |
|
], |
|
[ |
|
"ad", |
|
-5.831030225259809 |
|
], |
|
[ |
|
"dg", |
|
-5.842558129083246 |
|
], |
|
[ |
|
"lp", |
|
-5.842667174329858 |
|
], |
|
[ |
|
"tg", |
|
-5.856628213333442 |
|
], |
|
[ |
|
"gs", |
|
-5.88330933978234 |
|
], |
|
[ |
|
"rv", |
|
-5.887710110137677 |
|
], |
|
[ |
|
"pl", |
|
-5.901498352812656 |
|
], |
|
[ |
|
"er", |
|
-5.92200381405967 |
|
], |
|
[ |
|
"x", |
|
-5.933807364971587 |
|
], |
|
[ |
|
"at", |
|
-5.943452569412951 |
|
], |
|
[ |
|
"rs", |
|
-5.9468087421559535 |
|
], |
|
[ |
|
"vr", |
|
-5.964121749447516 |
|
], |
|
[ |
|
"pv", |
|
-5.977135678629862 |
|
], |
|
[ |
|
"ve", |
|
-5.980805107024498 |
|
], |
|
[ |
|
"lt", |
|
-5.986052614892426 |
|
], |
|
[ |
|
"ap", |
|
-5.995057905935505 |
|
], |
|
[ |
|
"ge", |
|
-6.010117098429783 |
|
], |
|
[ |
|
"pp", |
|
-6.027936858412414 |
|
], |
|
[ |
|
"re", |
|
-6.041928176100955 |
|
], |
|
[ |
|
"dv", |
|
-6.043940338964116 |
|
], |
|
[ |
|
"tv", |
|
-6.059045706661092 |
|
], |
|
[ |
|
"ig", |
|
-6.061067377196126 |
|
], |
|
[ |
|
"vs", |
|
-6.06266048412966 |
|
], |
|
[ |
|
"gd", |
|
-6.09875857638583 |
|
], |
|
[ |
|
"vd", |
|
-6.118779472304132 |
|
], |
|
[ |
|
"sv", |
|
-6.128847930365273 |
|
], |
|
[ |
|
"rp", |
|
-6.138786760719885 |
|
], |
|
[ |
|
"ee", |
|
-6.142724936012062 |
|
], |
|
[ |
|
"ps", |
|
-6.153316985162256 |
|
], |
|
[ |
|
"de", |
|
-6.204250643531047 |
|
], |
|
[ |
|
"il", |
|
-6.207346894537773 |
|
], |
|
[ |
|
"ev", |
|
-6.242737226311572 |
|
], |
|
[ |
|
"rd", |
|
-6.269418524522775 |
|
], |
|
[ |
|
"sp", |
|
-6.338806140439619 |
|
], |
|
[ |
|
"u", |
|
-17.79582990121073 |
|
], |
|
[ |
|
"b", |
|
-17.996473404241875 |
|
], |
|
[ |
|
"z", |
|
-19.23728665450807 |
|
], |
|
[ |
|
"o", |
|
-20.68728665451499 |
|
] |
|
] |
|
} |
|
} |
