pytorch wav2vec2 automatic-speech-recognition es dataset:common_voice transformers generated_from_trainer hf-asr-leaderboard robust-speech-event license:apache-2.0 model-index
---
license: apache-2.0
language:
- es
tags:
- es
- generated_from_trainer
- hf-asr-leaderboard
- robust-speech-event
datasets:
- common_voice
model-index:
- name: wav2vec2-xls-r-300m-36-tokens-with-lm-es
  results:
  - task:
      name: Speech Recognition
      type: automatic-speech-recognition
    dataset:
      name: common_voice es
      type: common_voice
      args: es
    metrics:
    - name: Test WER
      type: wer
      value: 0.08677014042867702
    - name: Test CER
      type: cer
      value: 0.02810974186831335
  - task:
      name: Automatic Speech Recognition
      type: automatic-speech-recognition
    dataset:
      name: Robust Speech Event - Dev Data
      type: speech-recognition-community-v2/dev_data
      args: es
    metrics:
    - name: Test WER
      type: wer
      value: 31.68
  - task:
      name: Automatic Speech Recognition
      type: automatic-speech-recognition
    dataset:
      name: Robust Speech Event - Test Data
      type: speech-recognition-community-v2/eval_data
      args: es
    metrics:
    - name: Test WER
      type: wer
      value: 34.45
---
# Wav2Vec2-xls-r-300m-36-tokens-with-lm-es

<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

This model is a fine-tuned version of [facebook/wav2vec2-xls-r-300m](https://huggingface.co/facebook/wav2vec2-xls-r-300m) on the common_voice dataset.
It achieves the following results on the evaluation set:
- Wer: 0.0868
- Cer: 0.0281

This model consists of a Wav2Vec2 model with an additional KenLM 5-gram language model for CTC decoding.  
The model is trained removing all characters that are not lower-case unaccented letters between `a-z` or the Spanish accented vowels `á`, `é`, `í`, `ó`, `ú` or the dieresis on the vowel `u` - `ü`.  

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 0.0003
- train_batch_size: 16
- eval_batch_size: 8
- seed: 42
- gradient_accumulation_steps: 2
- total_train_batch_size: 32
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_steps: 500
- num_epochs: 30
- mixed_precision_training: Native AMP

### Training results

| Training Loss | Epoch | Step   | Validation Loss | Wer    |
|:-------------:|:-----:|:------:|:---------------:|:------:|
| 3.6512        | 0.07  | 400    | 0.5734          | 0.4325 |
| 0.4404        | 0.14  | 800    | 0.3329          | 0.3021 |
| 0.3465        | 0.22  | 1200   | 0.3067          | 0.2871 |
| 0.3214        | 0.29  | 1600   | 0.2808          | 0.2694 |
| 0.319         | 0.36  | 2000   | 0.2755          | 0.2677 |
| 0.3015        | 0.43  | 2400   | 0.2667          | 0.2437 |
| 0.3102        | 0.51  | 2800   | 0.2679          | 0.2475 |
| 0.2955        | 0.58  | 3200   | 0.2591          | 0.2421 |
| 0.292         | 0.65  | 3600   | 0.2547          | 0.2404 |
| 0.2961        | 0.72  | 4000   | 0.2824          | 0.2716 |
| 0.2906        | 0.8   | 4400   | 0.2531          | 0.2321 |
| 0.2886        | 0.87  | 4800   | 0.2668          | 0.2573 |
| 0.2934        | 0.94  | 5200   | 0.2608          | 0.2454 |
| 0.2844        | 1.01  | 5600   | 0.2414          | 0.2233 |
| 0.2649        | 1.09  | 6000   | 0.2412          | 0.2198 |
| 0.2587        | 1.16  | 6400   | 0.2432          | 0.2211 |
| 0.2631        | 1.23  | 6800   | 0.2414          | 0.2225 |
| 0.2584        | 1.3   | 7200   | 0.2489          | 0.2290 |
| 0.2588        | 1.37  | 7600   | 0.2341          | 0.2156 |
| 0.2581        | 1.45  | 8000   | 0.2323          | 0.2155 |
| 0.2603        | 1.52  | 8400   | 0.2423          | 0.2231 |
| 0.2527        | 1.59  | 8800   | 0.2381          | 0.2192 |
| 0.2588        | 1.66  | 9200   | 0.2323          | 0.2176 |
| 0.2543        | 1.74  | 9600   | 0.2391          | 0.2151 |
| 0.2528        | 1.81  | 10000  | 0.2295          | 0.2091 |
| 0.2535        | 1.88  | 10400  | 0.2317          | 0.2099 |
| 0.2501        | 1.95  | 10800  | 0.2225          | 0.2105 |
| 0.2441        | 2.03  | 11200  | 0.2356          | 0.2180 |
| 0.2275        | 2.1   | 11600  | 0.2341          | 0.2115 |
| 0.2281        | 2.17  | 12000  | 0.2269          | 0.2117 |
| 0.227         | 2.24  | 12400  | 0.2367          | 0.2125 |
| 0.2471        | 2.32  | 12800  | 0.2307          | 0.2090 |
| 0.229         | 2.39  | 13200  | 0.2231          | 0.2005 |
| 0.2325        | 2.46  | 13600  | 0.2243          | 0.2100 |
| 0.2314        | 2.53  | 14000  | 0.2252          | 0.2098 |
| 0.2309        | 2.6   | 14400  | 0.2269          | 0.2089 |
| 0.2267        | 2.68  | 14800  | 0.2155          | 0.1976 |
| 0.225         | 2.75  | 15200  | 0.2263          | 0.2067 |
| 0.2309        | 2.82  | 15600  | 0.2196          | 0.2041 |
| 0.225         | 2.89  | 16000  | 0.2212          | 0.2052 |
| 0.228         | 2.97  | 16400  | 0.2192          | 0.2028 |
| 0.2136        | 3.04  | 16800  | 0.2169          | 0.2042 |
| 0.2038        | 3.11  | 17200  | 0.2173          | 0.1998 |
| 0.2035        | 3.18  | 17600  | 0.2185          | 0.2002 |
| 0.207         | 3.26  | 18000  | 0.2358          | 0.2120 |
| 0.2102        | 3.33  | 18400  | 0.2213          | 0.2019 |
| 0.211         | 3.4   | 18800  | 0.2176          | 0.1980 |
| 0.2099        | 3.47  | 19200  | 0.2186          | 0.1960 |
| 0.2093        | 3.55  | 19600  | 0.2208          | 0.2016 |
| 0.2046        | 3.62  | 20000  | 0.2138          | 0.1960 |
| 0.2095        | 3.69  | 20400  | 0.2222          | 0.2023 |
| 0.2106        | 3.76  | 20800  | 0.2159          | 0.1964 |
| 0.2066        | 3.83  | 21200  | 0.2083          | 0.1931 |
| 0.2119        | 3.91  | 21600  | 0.2130          | 0.1957 |
| 0.2167        | 3.98  | 22000  | 0.2210          | 0.1987 |
| 0.1973        | 4.05  | 22400  | 0.2112          | 0.1930 |
| 0.1917        | 4.12  | 22800  | 0.2107          | 0.1891 |
| 0.1903        | 4.2   | 23200  | 0.2132          | 0.1911 |
| 0.1903        | 4.27  | 23600  | 0.2077          | 0.1883 |
| 0.1914        | 4.34  | 24000  | 0.2054          | 0.1901 |
| 0.1943        | 4.41  | 24400  | 0.2059          | 0.1885 |
| 0.1943        | 4.49  | 24800  | 0.2095          | 0.1899 |
| 0.1936        | 4.56  | 25200  | 0.2078          | 0.1879 |
| 0.1963        | 4.63  | 25600  | 0.2018          | 0.1884 |
| 0.1934        | 4.7   | 26000  | 0.2034          | 0.1872 |
| 0.2011        | 4.78  | 26400  | 0.2051          | 0.1896 |
| 0.1901        | 4.85  | 26800  | 0.2059          | 0.1858 |
| 0.1934        | 4.92  | 27200  | 0.2028          | 0.1832 |
| 0.191         | 4.99  | 27600  | 0.2046          | 0.1870 |
| 0.1775        | 5.07  | 28000  | 0.2081          | 0.1891 |
| 0.175         | 5.14  | 28400  | 0.2084          | 0.1904 |
| 0.19          | 5.21  | 28800  | 0.2086          | 0.1920 |
| 0.1798        | 5.28  | 29200  | 0.2079          | 0.1935 |
| 0.1765        | 5.35  | 29600  | 0.2145          | 0.1930 |
| 0.181         | 5.43  | 30000  | 0.2062          | 0.1918 |
| 0.1808        | 5.5   | 30400  | 0.2083          | 0.1875 |
| 0.1769        | 5.57  | 30800  | 0.2117          | 0.1895 |
| 0.1788        | 5.64  | 31200  | 0.2055          | 0.1857 |
| 0.181         | 5.72  | 31600  | 0.2057          | 0.1870 |
| 0.1781        | 5.79  | 32000  | 0.2053          | 0.1872 |
| 0.1852        | 5.86  | 32400  | 0.2077          | 0.1904 |
| 0.1832        | 5.93  | 32800  | 0.1979          | 0.1821 |
| 0.1758        | 6.01  | 33200  | 0.1957          | 0.1754 |
| 0.1611        | 6.08  | 33600  | 0.2028          | 0.1773 |
| 0.1606        | 6.15  | 34000  | 0.2018          | 0.1780 |
| 0.1702        | 6.22  | 34400  | 0.1977          | 0.1759 |
| 0.1649        | 6.3   | 34800  | 0.2073          | 0.1845 |
| 0.1641        | 6.37  | 35200  | 0.1947          | 0.1774 |
| 0.1703        | 6.44  | 35600  | 0.2009          | 0.1811 |
| 0.1716        | 6.51  | 36000  | 0.2091          | 0.1817 |
| 0.1732        | 6.58  | 36400  | 0.1942          | 0.1743 |
| 0.1642        | 6.66  | 36800  | 0.1930          | 0.1749 |
| 0.1685        | 6.73  | 37200  | 0.1962          | 0.1716 |
| 0.1647        | 6.8   | 37600  | 0.1977          | 0.1822 |
| 0.1647        | 6.87  | 38000  | 0.1917          | 0.1748 |
| 0.1667        | 6.95  | 38400  | 0.1948          | 0.1774 |
| 0.1647        | 7.02  | 38800  | 0.2018          | 0.1783 |
| 0.15          | 7.09  | 39200  | 0.2010          | 0.1796 |
| 0.1663        | 7.16  | 39600  | 0.1969          | 0.1731 |
| 0.1536        | 7.24  | 40000  | 0.1935          | 0.1726 |
| 0.1544        | 7.31  | 40400  | 0.2030          | 0.1799 |
| 0.1536        | 7.38  | 40800  | 0.1973          | 0.1772 |
| 0.1559        | 7.45  | 41200  | 0.1973          | 0.1763 |
| 0.1547        | 7.53  | 41600  | 0.2052          | 0.1782 |
| 0.1584        | 7.6   | 42000  | 0.1965          | 0.1737 |
| 0.1542        | 7.67  | 42400  | 0.1878          | 0.1725 |
| 0.1525        | 7.74  | 42800  | 0.1946          | 0.1750 |
| 0.1547        | 7.81  | 43200  | 0.1934          | 0.1691 |
| 0.1534        | 7.89  | 43600  | 0.1919          | 0.1711 |
| 0.1574        | 7.96  | 44000  | 0.1935          | 0.1745 |
| 0.1471        | 8.03  | 44400  | 0.1915          | 0.1689 |
| 0.1433        | 8.1   | 44800  | 0.1956          | 0.1719 |
| 0.1433        | 8.18  | 45200  | 0.1980          | 0.1720 |
| 0.1424        | 8.25  | 45600  | 0.1906          | 0.1681 |
| 0.1428        | 8.32  | 46000  | 0.1892          | 0.1649 |
| 0.1424        | 8.39  | 46400  | 0.1916          | 0.1698 |
| 0.1466        | 8.47  | 46800  | 0.1970          | 0.1739 |
| 0.1496        | 8.54  | 47200  | 0.1902          | 0.1662 |
| 0.1408        | 8.61  | 47600  | 0.1858          | 0.1649 |
| 0.1445        | 8.68  | 48000  | 0.1893          | 0.1648 |
| 0.1459        | 8.76  | 48400  | 0.1875          | 0.1686 |
| 0.1433        | 8.83  | 48800  | 0.1920          | 0.1673 |
| 0.1448        | 8.9   | 49200  | 0.1833          | 0.1631 |
| 0.1461        | 8.97  | 49600  | 0.1904          | 0.1693 |
| 0.1451        | 9.04  | 50000  | 0.1969          | 0.1661 |
| 0.1336        | 9.12  | 50400  | 0.1950          | 0.1674 |
| 0.1362        | 9.19  | 50800  | 0.1971          | 0.1685 |
| 0.1316        | 9.26  | 51200  | 0.1928          | 0.1648 |
| 0.132         | 9.33  | 51600  | 0.1908          | 0.1615 |
| 0.1301        | 9.41  | 52000  | 0.1842          | 0.1569 |
| 0.1322        | 9.48  | 52400  | 0.1892          | 0.1616 |
| 0.1391        | 9.55  | 52800  | 0.1956          | 0.1656 |
| 0.132         | 9.62  | 53200  | 0.1876          | 0.1598 |
| 0.1349        | 9.7   | 53600  | 0.1870          | 0.1624 |
| 0.1325        | 9.77  | 54000  | 0.1834          | 0.1586 |
| 0.1389        | 9.84  | 54400  | 0.1892          | 0.1647 |
| 0.1364        | 9.91  | 54800  | 0.1840          | 0.1597 |
| 0.1339        | 9.99  | 55200  | 0.1858          | 0.1626 |
| 0.1269        | 10.06 | 55600  | 0.1875          | 0.1619 |
| 0.1229        | 10.13 | 56000  | 0.1909          | 0.1619 |
| 0.1258        | 10.2  | 56400  | 0.1933          | 0.1631 |
| 0.1256        | 10.27 | 56800  | 0.1930          | 0.1640 |
| 0.1207        | 10.35 | 57200  | 0.1823          | 0.1585 |
| 0.1248        | 10.42 | 57600  | 0.1889          | 0.1596 |
| 0.1264        | 10.49 | 58000  | 0.1845          | 0.1584 |
| 0.1251        | 10.56 | 58400  | 0.1869          | 0.1588 |
| 0.1251        | 10.64 | 58800  | 0.1885          | 0.1613 |
| 0.1276        | 10.71 | 59200  | 0.1855          | 0.1575 |
| 0.1303        | 10.78 | 59600  | 0.1836          | 0.1597 |
| 0.1246        | 10.85 | 60000  | 0.1810          | 0.1573 |
| 0.1283        | 10.93 | 60400  | 0.1830          | 0.1581 |
| 0.1273        | 11.0  | 60800  | 0.1837          | 0.1619 |
| 0.1202        | 11.07 | 61200  | 0.1865          | 0.1588 |
| 0.119         | 11.14 | 61600  | 0.1889          | 0.1580 |
| 0.1179        | 11.22 | 62000  | 0.1884          | 0.1592 |
| 0.1187        | 11.29 | 62400  | 0.1824          | 0.1565 |
| 0.1198        | 11.36 | 62800  | 0.1848          | 0.1552 |
| 0.1154        | 11.43 | 63200  | 0.1866          | 0.1565 |
| 0.1211        | 11.51 | 63600  | 0.1862          | 0.1563 |
| 0.1177        | 11.58 | 64000  | 0.1816          | 0.1527 |
| 0.1156        | 11.65 | 64400  | 0.1834          | 0.1540 |
| 0.1144        | 11.72 | 64800  | 0.1837          | 0.1524 |
| 0.119         | 11.79 | 65200  | 0.1859          | 0.1538 |
| 0.1183        | 11.87 | 65600  | 0.1869          | 0.1558 |
| 0.122         | 11.94 | 66000  | 0.1853          | 0.1535 |
| 0.1197        | 12.01 | 66400  | 0.1871          | 0.1586 |
| 0.1096        | 12.08 | 66800  | 0.1838          | 0.1540 |
| 0.1074        | 12.16 | 67200  | 0.1915          | 0.1592 |
| 0.1084        | 12.23 | 67600  | 0.1845          | 0.1545 |
| 0.1097        | 12.3  | 68000  | 0.1904          | 0.1552 |
| 0.112         | 12.37 | 68400  | 0.1846          | 0.1578 |
| 0.1109        | 12.45 | 68800  | 0.1862          | 0.1549 |
| 0.1114        | 12.52 | 69200  | 0.1889          | 0.1552 |
| 0.1119        | 12.59 | 69600  | 0.1828          | 0.1530 |
| 0.1124        | 12.66 | 70000  | 0.1822          | 0.1540 |
| 0.1127        | 12.74 | 70400  | 0.1865          | 0.1589 |
| 0.1128        | 12.81 | 70800  | 0.1786          | 0.1498 |
| 0.1069        | 12.88 | 71200  | 0.1813          | 0.1522 |
| 0.1069        | 12.95 | 71600  | 0.1895          | 0.1558 |
| 0.1083        | 13.02 | 72000  | 0.1925          | 0.1557 |
| 0.1009        | 13.1  | 72400  | 0.1883          | 0.1522 |
| 0.1007        | 13.17 | 72800  | 0.1829          | 0.1480 |
| 0.1014        | 13.24 | 73200  | 0.1861          | 0.1510 |
| 0.0974        | 13.31 | 73600  | 0.1836          | 0.1486 |
| 0.1006        | 13.39 | 74000  | 0.1821          | 0.1462 |
| 0.0973        | 13.46 | 74400  | 0.1857          | 0.1484 |
| 0.1011        | 13.53 | 74800  | 0.1822          | 0.1471 |
| 0.1031        | 13.6  | 75200  | 0.1823          | 0.1489 |
| 0.1034        | 13.68 | 75600  | 0.1809          | 0.1452 |
| 0.0998        | 13.75 | 76000  | 0.1817          | 0.1490 |
| 0.1071        | 13.82 | 76400  | 0.1808          | 0.1501 |
| 0.1083        | 13.89 | 76800  | 0.1796          | 0.1475 |
| 0.1053        | 13.97 | 77200  | 0.1785          | 0.1470 |
| 0.0978        | 14.04 | 77600  | 0.1886          | 0.1495 |
| 0.094         | 14.11 | 78000  | 0.1854          | 0.1489 |
| 0.0915        | 14.18 | 78400  | 0.1854          | 0.1498 |
| 0.0947        | 14.25 | 78800  | 0.1888          | 0.1500 |
| 0.0939        | 14.33 | 79200  | 0.1885          | 0.1494 |
| 0.0973        | 14.4  | 79600  | 0.1877          | 0.1466 |
| 0.0946        | 14.47 | 80000  | 0.1904          | 0.1494 |
| 0.0931        | 14.54 | 80400  | 0.1815          | 0.1473 |
| 0.0958        | 14.62 | 80800  | 0.1905          | 0.1508 |
| 0.0982        | 14.69 | 81200  | 0.1881          | 0.1511 |
| 0.0963        | 14.76 | 81600  | 0.1823          | 0.1449 |
| 0.0943        | 14.83 | 82000  | 0.1782          | 0.1458 |
| 0.0981        | 14.91 | 82400  | 0.1795          | 0.1465 |
| 0.0995        | 14.98 | 82800  | 0.1811          | 0.1484 |
| 0.0909        | 15.05 | 83200  | 0.1822          | 0.1450 |
| 0.0872        | 15.12 | 83600  | 0.1890          | 0.1466 |
| 0.0878        | 15.2  | 84000  | 0.1859          | 0.1468 |
| 0.0884        | 15.27 | 84400  | 0.1825          | 0.1429 |
| 0.0871        | 15.34 | 84800  | 0.1816          | 0.1438 |
| 0.0883        | 15.41 | 85200  | 0.1817          | 0.1433 |
| 0.0844        | 15.48 | 85600  | 0.1821          | 0.1412 |
| 0.0843        | 15.56 | 86000  | 0.1863          | 0.1411 |
| 0.0805        | 15.63 | 86400  | 0.1863          | 0.1441 |
| 0.085         | 15.7  | 86800  | 0.1808          | 0.1440 |
| 0.0848        | 15.77 | 87200  | 0.1808          | 0.1421 |
| 0.0844        | 15.85 | 87600  | 0.1841          | 0.1406 |
| 0.082         | 15.92 | 88000  | 0.1850          | 0.1442 |
| 0.0854        | 15.99 | 88400  | 0.1773          | 0.1426 |
| 0.0835        | 16.06 | 88800  | 0.1888          | 0.1436 |
| 0.0789        | 16.14 | 89200  | 0.1922          | 0.1434 |
| 0.081         | 16.21 | 89600  | 0.1864          | 0.1448 |
| 0.0799        | 16.28 | 90000  | 0.1902          | 0.1428 |
| 0.0848        | 16.35 | 90400  | 0.1873          | 0.1422 |
| 0.084         | 16.43 | 90800  | 0.1835          | 0.1421 |
| 0.083         | 16.5  | 91200  | 0.1878          | 0.1390 |
| 0.0794        | 16.57 | 91600  | 0.1877          | 0.1398 |
| 0.0807        | 16.64 | 92000  | 0.1800          | 0.1385 |
| 0.0829        | 16.71 | 92400  | 0.1910          | 0.1434 |
| 0.0839        | 16.79 | 92800  | 0.1843          | 0.1381 |
| 0.0815        | 16.86 | 93200  | 0.1812          | 0.1365 |
| 0.0831        | 16.93 | 93600  | 0.1889          | 0.1383 |
| 0.0803        | 17.0  | 94000  | 0.1902          | 0.1403 |
| 0.0724        | 17.08 | 94400  | 0.1934          | 0.1380 |
| 0.0734        | 17.15 | 94800  | 0.1865          | 0.1394 |
| 0.0739        | 17.22 | 95200  | 0.1876          | 0.1395 |
| 0.0758        | 17.29 | 95600  | 0.1938          | 0.1411 |
| 0.0733        | 17.37 | 96000  | 0.1933          | 0.1410 |
| 0.077         | 17.44 | 96400  | 0.1848          | 0.1385 |
| 0.0754        | 17.51 | 96800  | 0.1876          | 0.1407 |
| 0.0746        | 17.58 | 97200  | 0.1863          | 0.1371 |
| 0.0732        | 17.66 | 97600  | 0.1927          | 0.1401 |
| 0.0746        | 17.73 | 98000  | 0.1874          | 0.1390 |
| 0.0755        | 17.8  | 98400  | 0.1853          | 0.1381 |
| 0.0724        | 17.87 | 98800  | 0.1849          | 0.1365 |
| 0.0716        | 17.94 | 99200  | 0.1848          | 0.1380 |
| 0.074         | 18.02 | 99600  | 0.1891          | 0.1362 |
| 0.0687        | 18.09 | 100000 | 0.1974          | 0.1357 |
| 0.0651        | 18.16 | 100400 | 0.1942          | 0.1353 |
| 0.0672        | 18.23 | 100800 | 0.1823          | 0.1363 |
| 0.0671        | 18.31 | 101200 | 0.1959          | 0.1357 |
| 0.0684        | 18.38 | 101600 | 0.1959          | 0.1374 |
| 0.0688        | 18.45 | 102000 | 0.1904          | 0.1353 |
| 0.0696        | 18.52 | 102400 | 0.1926          | 0.1364 |
| 0.0661        | 18.6  | 102800 | 0.1905          | 0.1351 |
| 0.0684        | 18.67 | 103200 | 0.1955          | 0.1343 |
| 0.0712        | 18.74 | 103600 | 0.1873          | 0.1353 |
| 0.0701        | 18.81 | 104000 | 0.1822          | 0.1354 |
| 0.0688        | 18.89 | 104400 | 0.1905          | 0.1373 |
| 0.0695        | 18.96 | 104800 | 0.1879          | 0.1335 |
| 0.0661        | 19.03 | 105200 | 0.2005          | 0.1351 |
| 0.0644        | 19.1  | 105600 | 0.1972          | 0.1351 |
| 0.0627        | 19.18 | 106000 | 0.1956          | 0.1340 |
| 0.0633        | 19.25 | 106400 | 0.1962          | 0.1340 |
| 0.0629        | 19.32 | 106800 | 0.1937          | 0.1342 |
| 0.0636        | 19.39 | 107200 | 0.1905          | 0.1355 |
| 0.0631        | 19.46 | 107600 | 0.1917          | 0.1326 |
| 0.0624        | 19.54 | 108000 | 0.1977          | 0.1355 |
| 0.0621        | 19.61 | 108400 | 0.1941          | 0.1345 |
| 0.0635        | 19.68 | 108800 | 0.1949          | 0.1336 |
| 0.063         | 19.75 | 109200 | 0.1919          | 0.1317 |
| 0.0636        | 19.83 | 109600 | 0.1928          | 0.1317 |
| 0.0612        | 19.9  | 110000 | 0.1923          | 0.1314 |
| 0.0636        | 19.97 | 110400 | 0.1923          | 0.1343 |
| 0.0581        | 20.04 | 110800 | 0.2036          | 0.1332 |
| 0.0573        | 20.12 | 111200 | 0.2007          | 0.1315 |
| 0.0566        | 20.19 | 111600 | 0.1974          | 0.1319 |
| 0.0589        | 20.26 | 112000 | 0.1958          | 0.1322 |
| 0.0577        | 20.33 | 112400 | 0.1946          | 0.1307 |
| 0.0587        | 20.41 | 112800 | 0.1957          | 0.1295 |
| 0.0588        | 20.48 | 113200 | 0.2013          | 0.1306 |
| 0.0594        | 20.55 | 113600 | 0.2010          | 0.1312 |
| 0.0602        | 20.62 | 114000 | 0.1993          | 0.1314 |
| 0.0583        | 20.69 | 114400 | 0.1931          | 0.1297 |
| 0.059         | 20.77 | 114800 | 0.1974          | 0.1305 |
| 0.0566        | 20.84 | 115200 | 0.1979          | 0.1294 |
| 0.0588        | 20.91 | 115600 | 0.1944          | 0.1292 |
| 0.0569        | 20.98 | 116000 | 0.1974          | 0.1309 |
| 0.0554        | 21.06 | 116400 | 0.2080          | 0.1307 |
| 0.0542        | 21.13 | 116800 | 0.2056          | 0.1301 |
| 0.0532        | 21.2  | 117200 | 0.2027          | 0.1309 |
| 0.0535        | 21.27 | 117600 | 0.1970          | 0.1287 |
| 0.0533        | 21.35 | 118000 | 0.2124          | 0.1310 |
| 0.0546        | 21.42 | 118400 | 0.2043          | 0.1300 |
| 0.0544        | 21.49 | 118800 | 0.2056          | 0.1281 |
| 0.0562        | 21.56 | 119200 | 0.1986          | 0.1273 |
| 0.0549        | 21.64 | 119600 | 0.2075          | 0.1283 |
| 0.0522        | 21.71 | 120000 | 0.2058          | 0.1278 |
| 0.052         | 21.78 | 120400 | 0.2057          | 0.1280 |
| 0.0563        | 21.85 | 120800 | 0.1966          | 0.1295 |
| 0.0546        | 21.92 | 121200 | 0.2002          | 0.1285 |
| 0.0539        | 22.0  | 121600 | 0.1996          | 0.1279 |
| 0.0504        | 22.07 | 122000 | 0.2077          | 0.1273 |
| 0.0602        | 22.14 | 122400 | 0.2055          | 0.1278 |
| 0.0503        | 22.21 | 122800 | 0.2037          | 0.1283 |
| 0.0496        | 22.29 | 123200 | 0.2109          | 0.1279 |
| 0.0523        | 22.36 | 123600 | 0.2068          | 0.1276 |
| 0.0508        | 22.43 | 124000 | 0.2051          | 0.1257 |
| 0.0505        | 22.5  | 124400 | 0.2056          | 0.1269 |
| 0.05          | 22.58 | 124800 | 0.1995          | 0.1268 |
| 0.0496        | 22.65 | 125200 | 0.2022          | 0.1290 |
| 0.0484        | 22.72 | 125600 | 0.2095          | 0.1291 |
| 0.0518        | 22.79 | 126000 | 0.2132          | 0.1271 |
| 0.0499        | 22.87 | 126400 | 0.2124          | 0.1263 |
| 0.0485        | 22.94 | 126800 | 0.2092          | 0.1252 |
| 0.0476        | 23.01 | 127200 | 0.2138          | 0.1256 |
| 0.0467        | 23.08 | 127600 | 0.2119          | 0.1256 |
| 0.048         | 23.15 | 128000 | 0.2138          | 0.1269 |
| 0.0461        | 23.23 | 128400 | 0.2036          | 0.1244 |
| 0.0467        | 23.3  | 128800 | 0.2163          | 0.1255 |
| 0.0475        | 23.37 | 129200 | 0.2180          | 0.1258 |
| 0.0468        | 23.44 | 129600 | 0.2129          | 0.1245 |
| 0.0456        | 23.52 | 130000 | 0.2122          | 0.1250 |
| 0.0458        | 23.59 | 130400 | 0.2157          | 0.1257 |
| 0.0453        | 23.66 | 130800 | 0.2088          | 0.1242 |
| 0.045         | 23.73 | 131200 | 0.2144          | 0.1247 |
| 0.0469        | 23.81 | 131600 | 0.2113          | 0.1246 |
| 0.0453        | 23.88 | 132000 | 0.2151          | 0.1234 |
| 0.0471        | 23.95 | 132400 | 0.2130          | 0.1229 |
| 0.0443        | 24.02 | 132800 | 0.2150          | 0.1225 |
| 0.0446        | 24.1  | 133200 | 0.2166          | 0.1235 |
| 0.0435        | 24.17 | 133600 | 0.2143          | 0.1222 |
| 0.0407        | 24.24 | 134000 | 0.2175          | 0.1218 |
| 0.0421        | 24.31 | 134400 | 0.2147          | 0.1227 |
| 0.0435        | 24.38 | 134800 | 0.2193          | 0.1233 |
| 0.0414        | 24.46 | 135200 | 0.2172          | 0.1225 |
| 0.0419        | 24.53 | 135600 | 0.2156          | 0.1225 |
| 0.0419        | 24.6  | 136000 | 0.2143          | 0.1235 |
| 0.0423        | 24.67 | 136400 | 0.2179          | 0.1226 |
| 0.0423        | 24.75 | 136800 | 0.2144          | 0.1221 |
| 0.0424        | 24.82 | 137200 | 0.2135          | 0.1210 |
| 0.0419        | 24.89 | 137600 | 0.2166          | 0.1218 |
| 0.0408        | 24.96 | 138000 | 0.2151          | 0.1211 |
| 0.0433        | 25.04 | 138400 | 0.2174          | 0.1214 |
| 0.0395        | 25.11 | 138800 | 0.2242          | 0.1210 |
| 0.0403        | 25.18 | 139200 | 0.2219          | 0.1215 |
| 0.0413        | 25.25 | 139600 | 0.2225          | 0.1207 |
| 0.0389        | 25.33 | 140000 | 0.2187          | 0.1202 |
| 0.0395        | 25.4  | 140400 | 0.2244          | 0.1204 |
| 0.0398        | 25.47 | 140800 | 0.2263          | 0.1199 |
| 0.0386        | 25.54 | 141200 | 0.2165          | 0.1187 |
| 0.0396        | 25.61 | 141600 | 0.2171          | 0.1187 |
| 0.0406        | 25.69 | 142000 | 0.2199          | 0.1190 |
| 0.0404        | 25.76 | 142400 | 0.2224          | 0.1190 |
| 0.0391        | 25.83 | 142800 | 0.2230          | 0.1185 |
| 0.04          | 25.9  | 143200 | 0.2208          | 0.1200 |
| 0.0396        | 25.98 | 143600 | 0.2179          | 0.1191 |
| 0.0353        | 26.05 | 144000 | 0.2285          | 0.1178 |
| 0.0368        | 26.12 | 144400 | 0.2273          | 0.1186 |
| 0.0393        | 26.19 | 144800 | 0.2247          | 0.1196 |
| 0.0368        | 26.27 | 145200 | 0.2314          | 0.1181 |
| 0.0373        | 26.34 | 145600 | 0.2215          | 0.1188 |
| 0.038         | 26.41 | 146000 | 0.2262          | 0.1180 |
| 0.0363        | 26.48 | 146400 | 0.2250          | 0.1172 |
| 0.0365        | 26.56 | 146800 | 0.2299          | 0.1174 |
| 0.0382        | 26.63 | 147200 | 0.2292          | 0.1165 |
| 0.0365        | 26.7  | 147600 | 0.2282          | 0.1165 |
| 0.0371        | 26.77 | 148000 | 0.2276          | 0.1172 |
| 0.0365        | 26.85 | 148400 | 0.2280          | 0.1173 |
| 0.0376        | 26.92 | 148800 | 0.2248          | 0.1164 |
| 0.0365        | 26.99 | 149200 | 0.2230          | 0.1158 |
| 0.0343        | 27.06 | 149600 | 0.2300          | 0.1157 |
| 0.0354        | 27.13 | 150000 | 0.2298          | 0.1166 |
| 0.0333        | 27.21 | 150400 | 0.2307          | 0.1158 |
| 0.0353        | 27.28 | 150800 | 0.2300          | 0.1157 |
| 0.036         | 27.35 | 151200 | 0.2335          | 0.1160 |
| 0.0343        | 27.42 | 151600 | 0.2324          | 0.1155 |
| 0.0361        | 27.5  | 152000 | 0.2300          | 0.1150 |
| 0.0352        | 27.57 | 152400 | 0.2279          | 0.1146 |
| 0.0353        | 27.64 | 152800 | 0.2307          | 0.1149 |
| 0.0342        | 27.71 | 153200 | 0.2315          | 0.1152 |
| 0.0345        | 27.79 | 153600 | 0.2290          | 0.1146 |
| 0.034         | 27.86 | 154000 | 0.2319          | 0.1141 |
| 0.0347        | 27.93 | 154400 | 0.2312          | 0.1144 |
| 0.0338        | 28.0  | 154800 | 0.2328          | 0.1146 |
| 0.0347        | 28.08 | 155200 | 0.2352          | 0.1151 |
| 0.033         | 28.15 | 155600 | 0.2337          | 0.1142 |
| 0.0336        | 28.22 | 156000 | 0.2345          | 0.1141 |
| 0.0337        | 28.29 | 156400 | 0.2315          | 0.1143 |
| 0.0314        | 28.36 | 156800 | 0.2353          | 0.1140 |
| 0.0333        | 28.44 | 157200 | 0.2338          | 0.1146 |
| 0.0317        | 28.51 | 157600 | 0.2345          | 0.1139 |
| 0.0326        | 28.58 | 158000 | 0.2336          | 0.1143 |
| 0.033         | 28.65 | 158400 | 0.2352          | 0.1137 |
| 0.0325        | 28.73 | 158800 | 0.2312          | 0.1130 |
| 0.0321        | 28.8  | 159200 | 0.2338          | 0.1133 |
| 0.0334        | 28.87 | 159600 | 0.2335          | 0.1130 |
| 0.0317        | 28.94 | 160000 | 0.2340          | 0.1126 |
| 0.0321        | 29.02 | 160400 | 0.2349          | 0.1126 |
| 0.032         | 29.09 | 160800 | 0.2369          | 0.1127 |
| 0.0312        | 29.16 | 161200 | 0.2363          | 0.1124 |
| 0.0303        | 29.23 | 161600 | 0.2363          | 0.1123 |
| 0.0322        | 29.31 | 162000 | 0.2354          | 0.1124 |
| 0.03          | 29.38 | 162400 | 0.2360          | 0.1122 |
| 0.0299        | 29.45 | 162800 | 0.2378          | 0.1124 |
| 0.0313        | 29.52 | 163200 | 0.2377          | 0.1120 |
| 0.0299        | 29.59 | 163600 | 0.2367          | 0.1124 |
| 0.0313        | 29.67 | 164000 | 0.2380          | 0.1120 |
| 0.031         | 29.74 | 164400 | 0.2369          | 0.1120 |
| 0.0327        | 29.81 | 164800 | 0.2358          | 0.1117 |
| 0.0316        | 29.88 | 165200 | 0.2358          | 0.1118 |
| 0.0307        | 29.96 | 165600 | 0.2362          | 0.1118 |


### Framework versions

- Transformers 4.16.0.dev0
- Pytorch 1.10.1+cu102
- Datasets 1.17.1.dev0
- Tokenizers 0.11.0
