BDPI USP - Detalhe do registro: Rastreamento labial: aplicação em leitura labial
Negreiros, Tupã
USP affiliated authors: NEGREIROS, TUPÃ - EP
Subjects: LEITURA LABIAL; INTERFACE HOMEM-COMPUTADOR
Abstract: Novas interfaces homem-computador têm sido pesquisadas a fim de se tornar mais naturais e flexíveis. Algumas pessoas com limitações físicas não podem utilizar-se de algumas interfaces, como, por exemplo, deficientes auditivos ou de fala não podem utilizar interfaces de reconhecimento/geração de voz. Neste trabalho foi desenvolvida uma técnica de rastreamento de pontos labiais de um interlocutor, obtendo parâmetros que descrevem os pontos dos lábios e outros pontos da face ao longo do tempo. Esses parâmetros podem ser utilizados por um algoritmo de interpretação de leitura labial. Os algoritmos disponíveis na literatura foram comparados, mostrando os prós e contras de cada método. Finalmente foi escolhido desenvolver uma técnica baseada em Active Appearance Model (AAM). O AAM aprende com imagens treinadas a fim de fazer encaixar uma imagem sintetizada de lábios em uma imagem de teste. Um modelo com um banco de dados de imagens da face de uma única pessoa foi criado baseado em pontos marcados manualmente, imagens foram sintetizadas com o modelo variando parâmetros internos. Outro teste executado foi de convergência do modelo utilizando algoritmo genético, onde seus parâmetros foram analisados e ajustados, seus resultados são exibidos, na forma do erro residual da função custo, tempo de convergência, bem como erro de posição.