"A linguagem tem pouca largura de banda: menos de 12 bytes/segundo. Comparando a capacidade de um modelo de linguagem atual com um humano, levaria cerca de 100.000 anos para uma pessoa ler (a 12 horas por dia) o que um modelo consegue "ler" na sua fase de treino. Assim, temos que: - uma pessoa pode ler 270 palavras/minuto, ou 4,5 palavras/segundo, o que equivale a 12 bytes/s (assumindo 2 bytes por token e 0,75 palavras por token). - um modelo de linguagem atual é normalmente treinado com 1x10^13 tokens de dois bytes, o que equivale a 2x10^13 bytes." Yann LeCun, 2024