pytorch tensorboard wav2vec2 automatic-speech-recognition dataset:common_voice transformers generated_from_trainer license:apache-2.0 model-index
---
license: apache-2.0
tags:
- generated_from_trainer
datasets:
- common_voice
model-index:
- name: model
  results: []
---

<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# model

This model is a fine-tuned version of [facebook/wav2vec2-xls-r-300m](https://huggingface.co/facebook/wav2vec2-xls-r-300m) on the common_voice dataset.
It achieves the following results on the evaluation set:
- Loss: 0.2220
- Wer: 0.1301

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 0.0003
- train_batch_size: 16
- eval_batch_size: 8
- seed: 42
- gradient_accumulation_steps: 2
- total_train_batch_size: 32
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_steps: 500
- num_epochs: 30
- mixed_precision_training: Native AMP

### Training results

| Training Loss | Epoch | Step  | Validation Loss | Wer    |
|:-------------:|:-----:|:-----:|:---------------:|:------:|
| 5.9743        | 0.18  | 400   | 2.1457          | 1.0000 |
| 0.5747        | 0.36  | 800   | 0.3415          | 0.3456 |
| 0.3383        | 0.54  | 1200  | 0.2797          | 0.3095 |
| 0.2967        | 0.72  | 1600  | 0.2464          | 0.2568 |
| 0.2747        | 0.9   | 2000  | 0.2341          | 0.2466 |
| 0.2501        | 1.08  | 2400  | 0.2299          | 0.2317 |
| 0.2309        | 1.26  | 2800  | 0.2306          | 0.2328 |
| 0.2273        | 1.44  | 3200  | 0.2212          | 0.2375 |
| 0.225         | 1.62  | 3600  | 0.2193          | 0.2267 |
| 0.2204        | 1.8   | 4000  | 0.2157          | 0.2295 |
| 0.2256        | 1.98  | 4400  | 0.2165          | 0.2260 |
| 0.1941        | 2.17  | 4800  | 0.2105          | 0.2163 |
| 0.1925        | 2.35  | 5200  | 0.2098          | 0.2153 |
| 0.1925        | 2.53  | 5600  | 0.2120          | 0.2148 |
| 0.1952        | 2.71  | 6000  | 0.2063          | 0.2178 |
| 0.1971        | 2.89  | 6400  | 0.2100          | 0.2158 |
| 0.1888        | 3.07  | 6800  | 0.2131          | 0.2172 |
| 0.1702        | 3.25  | 7200  | 0.2155          | 0.2203 |
| 0.173         | 3.43  | 7600  | 0.2141          | 0.2254 |
| 0.174         | 3.61  | 8000  | 0.2017          | 0.2100 |
| 0.1802        | 3.79  | 8400  | 0.1998          | 0.2043 |
| 0.1717        | 3.97  | 8800  | 0.2070          | 0.2110 |
| 0.162         | 4.15  | 9200  | 0.2082          | 0.2157 |
| 0.154         | 4.33  | 9600  | 0.2163          | 0.2161 |
| 0.1598        | 4.51  | 10000 | 0.2070          | 0.2171 |
| 0.1576        | 4.69  | 10400 | 0.2034          | 0.2116 |
| 0.1601        | 4.87  | 10800 | 0.1990          | 0.2009 |
| 0.152         | 5.05  | 11200 | 0.1994          | 0.2039 |
| 0.1395        | 5.23  | 11600 | 0.2013          | 0.2046 |
| 0.1407        | 5.41  | 12000 | 0.2009          | 0.2022 |
| 0.1449        | 5.59  | 12400 | 0.1982          | 0.1961 |
| 0.1483        | 5.77  | 12800 | 0.2082          | 0.2054 |
| 0.1514        | 5.95  | 13200 | 0.1953          | 0.1985 |
| 0.138         | 6.13  | 13600 | 0.2046          | 0.1965 |
| 0.1322        | 6.31  | 14000 | 0.2076          | 0.1948 |
| 0.1372        | 6.5   | 14400 | 0.1968          | 0.1944 |
| 0.136         | 6.68  | 14800 | 0.1971          | 0.1963 |
| 0.1382        | 6.86  | 15200 | 0.2001          | 0.1990 |
| 0.1335        | 7.04  | 15600 | 0.2026          | 0.1935 |
| 0.1206        | 7.22  | 16000 | 0.1986          | 0.1938 |
| 0.1239        | 7.4   | 16400 | 0.2054          | 0.1919 |
| 0.1254        | 7.58  | 16800 | 0.1918          | 0.1939 |
| 0.1262        | 7.76  | 17200 | 0.1960          | 0.1947 |
| 0.126         | 7.94  | 17600 | 0.1932          | 0.1906 |
| 0.1169        | 8.12  | 18000 | 0.2037          | 0.1916 |
| 0.1142        | 8.3   | 18400 | 0.1999          | 0.1900 |
| 0.1151        | 8.48  | 18800 | 0.1920          | 0.1855 |
| 0.1121        | 8.66  | 19200 | 0.2007          | 0.1859 |
| 0.1135        | 8.84  | 19600 | 0.1932          | 0.1879 |
| 0.1158        | 9.02  | 20000 | 0.1916          | 0.1859 |
| 0.105         | 9.2   | 20400 | 0.1961          | 0.1831 |
| 0.1023        | 9.38  | 20800 | 0.1914          | 0.1791 |
| 0.1004        | 9.56  | 21200 | 0.1881          | 0.1787 |
| 0.1023        | 9.74  | 21600 | 0.1963          | 0.1817 |
| 0.1075        | 9.92  | 22000 | 0.1889          | 0.1861 |
| 0.103         | 10.1  | 22400 | 0.1975          | 0.1791 |
| 0.0952        | 10.28 | 22800 | 0.1979          | 0.1787 |
| 0.0957        | 10.46 | 23200 | 0.1922          | 0.1817 |
| 0.0966        | 10.65 | 23600 | 0.1953          | 0.1857 |
| 0.0997        | 10.83 | 24000 | 0.1902          | 0.1783 |
| 0.0981        | 11.01 | 24400 | 0.1959          | 0.1780 |
| 0.0868        | 11.19 | 24800 | 0.2056          | 0.1783 |
| 0.0905        | 11.37 | 25200 | 0.1958          | 0.1777 |
| 0.0892        | 11.55 | 25600 | 0.1935          | 0.1796 |
| 0.0891        | 11.73 | 26000 | 0.1968          | 0.1763 |
| 0.0888        | 11.91 | 26400 | 0.2043          | 0.1804 |
| 0.0842        | 12.09 | 26800 | 0.2043          | 0.1733 |
| 0.0828        | 12.27 | 27200 | 0.1964          | 0.1715 |
| 0.0827        | 12.45 | 27600 | 0.1991          | 0.1749 |
| 0.0844        | 12.63 | 28000 | 0.2014          | 0.1695 |
| 0.0837        | 12.81 | 28400 | 0.1973          | 0.1759 |
| 0.0872        | 12.99 | 28800 | 0.1975          | 0.1689 |
| 0.0778        | 13.17 | 29200 | 0.1979          | 0.1740 |
| 0.0759        | 13.35 | 29600 | 0.2093          | 0.1753 |
| 0.076         | 13.53 | 30000 | 0.1990          | 0.1731 |
| 0.0762        | 13.71 | 30400 | 0.2024          | 0.1690 |
| 0.0764        | 13.89 | 30800 | 0.2037          | 0.1709 |
| 0.0756        | 14.07 | 31200 | 0.2007          | 0.1716 |
| 0.0702        | 14.25 | 31600 | 0.2011          | 0.1680 |
| 0.0694        | 14.43 | 32000 | 0.2061          | 0.1683 |
| 0.0713        | 14.61 | 32400 | 0.2014          | 0.1687 |
| 0.0693        | 14.79 | 32800 | 0.1961          | 0.1658 |
| 0.071         | 14.98 | 33200 | 0.1921          | 0.1645 |
| 0.0659        | 15.16 | 33600 | 0.2079          | 0.1682 |
| 0.0659        | 15.34 | 34000 | 0.2046          | 0.1649 |
| 0.0685        | 15.52 | 34400 | 0.1994          | 0.1660 |
| 0.0663        | 15.7  | 34800 | 0.1970          | 0.1652 |
| 0.0678        | 15.88 | 35200 | 0.1961          | 0.1634 |
| 0.0644        | 16.06 | 35600 | 0.2141          | 0.1644 |
| 0.0596        | 16.24 | 36000 | 0.2098          | 0.1628 |
| 0.0629        | 16.42 | 36400 | 0.1969          | 0.1616 |
| 0.0598        | 16.6  | 36800 | 0.2026          | 0.1604 |
| 0.0628        | 16.78 | 37200 | 0.2050          | 0.1620 |
| 0.0616        | 16.96 | 37600 | 0.1958          | 0.1618 |
| 0.0538        | 17.14 | 38000 | 0.2093          | 0.1588 |
| 0.0573        | 17.32 | 38400 | 0.1995          | 0.1588 |
| 0.0555        | 17.5  | 38800 | 0.2077          | 0.1608 |
| 0.0555        | 17.68 | 39200 | 0.2036          | 0.1571 |
| 0.0578        | 17.86 | 39600 | 0.2045          | 0.1572 |
| 0.056         | 18.04 | 40000 | 0.2065          | 0.1593 |
| 0.0525        | 18.22 | 40400 | 0.2093          | 0.1580 |
| 0.0527        | 18.4  | 40800 | 0.2141          | 0.1585 |
| 0.0529        | 18.58 | 41200 | 0.2137          | 0.1585 |
| 0.0533        | 18.76 | 41600 | 0.2021          | 0.1558 |
| 0.0529        | 18.94 | 42000 | 0.2108          | 0.1535 |
| 0.05          | 19.12 | 42400 | 0.2114          | 0.1555 |
| 0.0479        | 19.31 | 42800 | 0.2091          | 0.1549 |
| 0.0509        | 19.49 | 43200 | 0.2145          | 0.1554 |
| 0.0486        | 19.67 | 43600 | 0.2061          | 0.1536 |
| 0.049         | 19.85 | 44000 | 0.2132          | 0.1548 |
| 0.0484        | 20.03 | 44400 | 0.2077          | 0.1523 |
| 0.0449        | 20.21 | 44800 | 0.2177          | 0.1529 |
| 0.0452        | 20.39 | 45200 | 0.2204          | 0.1517 |
| 0.0477        | 20.57 | 45600 | 0.2132          | 0.1517 |
| 0.048         | 20.75 | 46000 | 0.2119          | 0.1532 |
| 0.0469        | 20.93 | 46400 | 0.2109          | 0.1524 |
| 0.0439        | 21.11 | 46800 | 0.2118          | 0.1503 |
| 0.044         | 21.29 | 47200 | 0.2033          | 0.1474 |
| 0.0435        | 21.47 | 47600 | 0.2066          | 0.1485 |
| 0.0418        | 21.65 | 48000 | 0.2125          | 0.1491 |
| 0.0417        | 21.83 | 48400 | 0.2139          | 0.1487 |
| 0.0446        | 22.01 | 48800 | 0.2054          | 0.1493 |
| 0.039         | 22.19 | 49200 | 0.2179          | 0.1459 |
| 0.0414        | 22.37 | 49600 | 0.2118          | 0.1466 |
| 0.0394        | 22.55 | 50000 | 0.2104          | 0.1444 |
| 0.0381        | 22.73 | 50400 | 0.2095          | 0.1458 |
| 0.0382        | 22.91 | 50800 | 0.2193          | 0.1471 |
| 0.0391        | 23.09 | 51200 | 0.2143          | 0.1455 |
| 0.0365        | 23.27 | 51600 | 0.2198          | 0.1445 |
| 0.0368        | 23.46 | 52000 | 0.2151          | 0.1444 |
| 0.038         | 23.64 | 52400 | 0.2094          | 0.1439 |
| 0.038         | 23.82 | 52800 | 0.2137          | 0.1422 |
| 0.0374        | 24.0  | 53200 | 0.2180          | 0.1425 |
| 0.0352        | 24.18 | 53600 | 0.2207          | 0.1422 |
| 0.0343        | 24.36 | 54000 | 0.2269          | 0.1445 |
| 0.0353        | 24.54 | 54400 | 0.2222          | 0.1438 |
| 0.0348        | 24.72 | 54800 | 0.2224          | 0.1413 |
| 0.0342        | 24.9  | 55200 | 0.2146          | 0.1401 |
| 0.0337        | 25.08 | 55600 | 0.2246          | 0.1408 |
| 0.0327        | 25.26 | 56000 | 0.2161          | 0.1401 |
| 0.0339        | 25.44 | 56400 | 0.2212          | 0.1402 |
| 0.0324        | 25.62 | 56800 | 0.2203          | 0.1394 |
| 0.0319        | 25.8  | 57200 | 0.2145          | 0.1376 |
| 0.0317        | 25.98 | 57600 | 0.2147          | 0.1375 |
| 0.0302        | 26.16 | 58000 | 0.2213          | 0.1362 |
| 0.0309        | 26.34 | 58400 | 0.2218          | 0.1365 |
| 0.0308        | 26.52 | 58800 | 0.2167          | 0.1362 |
| 0.0294        | 26.7  | 59200 | 0.2169          | 0.1368 |
| 0.0297        | 26.88 | 59600 | 0.2163          | 0.1350 |
| 0.0289        | 27.06 | 60000 | 0.2188          | 0.1348 |
| 0.0284        | 27.24 | 60400 | 0.2172          | 0.1338 |
| 0.0278        | 27.42 | 60800 | 0.2230          | 0.1342 |
| 0.0283        | 27.6  | 61200 | 0.2233          | 0.1342 |
| 0.0292        | 27.79 | 61600 | 0.2238          | 0.1335 |
| 0.0286        | 27.97 | 62000 | 0.2218          | 0.1327 |
| 0.0262        | 28.15 | 62400 | 0.2220          | 0.1324 |
| 0.0274        | 28.33 | 62800 | 0.2182          | 0.1323 |
| 0.0279        | 28.51 | 63200 | 0.2170          | 0.1314 |
| 0.0269        | 28.69 | 63600 | 0.2228          | 0.1313 |
| 0.0264        | 28.87 | 64000 | 0.2209          | 0.1313 |
| 0.0254        | 29.05 | 64400 | 0.2224          | 0.1304 |
| 0.026         | 29.23 | 64800 | 0.2220          | 0.1302 |
| 0.0253        | 29.41 | 65200 | 0.2229          | 0.1304 |
| 0.0244        | 29.59 | 65600 | 0.2217          | 0.1298 |
| 0.025         | 29.77 | 66000 | 0.2223          | 0.1303 |
| 0.0255        | 29.95 | 66400 | 0.2220          | 0.1301 |


### Framework versions

- Transformers 4.11.3
- Pytorch 1.9.1+cu102
- Datasets 1.18.3
- Tokenizers 0.10.3
