Meta lança algoritmo autossupervisionado de alto desempenho
Primeiro algoritmo autossupervisionado de alto desempenho que funciona para várias modalidades
O aprendizado autossupervisionado, onde as máquinas aprendem observando diretamente o ambiente, em vez de serem ensinados explicitamente por meio de imagens rotuladas, texto, áudio e outras fontes de dados, impulsionou muitos avanços recentes significativos em Inteligências Artificiais (IA).
Embora as pessoas pareçam aprender de maneira semelhante, independentemente de como obtêm informações, se usam visão ou som, por exemplo, atualmente existem grandes diferenças na maneira como os algoritmos de aprendizado autossupervisionado aprendem com imagens, fala, texto e outras modalidades.
Essa barreira tem sido uma barreira significativa para a aplicação mais ampla dos avanços na aprendizagem autossupervisionada. Como um algoritmo poderoso projetado para entender imagens, não consegue aplicá-lo diretamente a outra modalidade, como o texto. Por isso fica difícil avançar várias modalidades na mesma velocidade.
Pensando nisso, a Meta desenvolveu o data2vec, o primeiro algoritmo autossupervisionado de alto desempenho que funciona para várias modalidades.
Conheça o data2vec, novo algoritmo da Meta
A meta informou recentemente que aplicou o data2vec separadamente para fala, imagens e texto e ele superou os melhores algoritmos que trabalham como esses elementos de forma única.
Essa novidade também representa um novo paradigma de aprendizagem auto-supervisionada, onde novas pesquisas melhoram várias modalidades em vez de apenas uma. Também não depende de aprendizado contrastivo ou reconstrução do exemplo de entrada.
Dessa forma, além de ajudar a acelerar o progresso em IA, o data2vec nos aproxima da construção de máquinas que aprendem sobre diferentes aspectos do mundo ao seu redor. Isso permitirá desenvolvimentos de IA mais adaptáveis, que poderão realizar tarefas além do que os sistemas atuais podem fazer.
Grande parte da IA ​​ainda baseia-se em aprendizado supervisionado, que funciona exclusivamente com dados rotulados. Portanto, não é possível coletar dados rotulados para todas as coisas que gostaríamos que as máquinas fizessem. Por exemplo, os pesquisadores fizeram a criação de conjuntos de dados programados para fala e texto em inglês, não é possível fazer isso para milhares de idiomas.
A autosupervisão permite que os computadores aprendam sobre o mundo apenas observando-o e, em seguida, descobrindo a estrutura de imagens, fala ou texto.
Além disso, os algoritmos também preveem unidades diferentes para cada modalidade. Pixels ou tokens visuais para imagens, palavras para texto e inventários aprendidos de sons para fala. Isso porque, uma coleção de pixels é muito diferente de uma forma de onda de áudio ou de uma passagem de texto. Por causa disso, o design do algoritmo está vinculado a uma modalidade específica. Isso significa que os algoritmos ainda estão funcionando de forma diferente em cada modalidade.