Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia - ppt carregar
Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia
Apresentação em tema: "Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia"— Transcrição da apresentação:
1 Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia
Congresso de Métodos Numéricos em Ingeniería 2005 Granada, Espanha, 4 – 7 Julho Seguimento de Objectos em Visão Computacional usando Métodos Estocásticos Seguimento Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de Óptica e Mecânica Experimental
3 Introdução A análise de movimento poderá subdividir-se em:
Detecção; Seguimento; Reconhecimento. O seguimento, geralmente, envolve o emparelhamento de características/entidades como pixels, pontos, áreas... Aplicações práticas do seguimento: análise do tráfego automóvel; previsão das condições atmosféricas através do movimento das nuvens; estudo do movimento dos lábios para permitir a sua leitura; análise das deformações que objectos sofrem devido à influência de forças; etc. A análise de movimento tem sido uma área em vasta expansão ao longo dos últimos anos, quer pela diversidade de aplicações, quer pela potenciação de recursos promovidos pelos desenvolvimentos tecnológicos, e poderá subdividir-se, por exemplo, nas fases de detecção, de seguimento e de reconhecimento ao longo de sequências de imagens. Neste trabalho daremos ênfase à fase de seguimento. Este processo, geralmente, envolve o emparelhamento de pixels, pontos, linhas, áreas, formas ou outra informação visual. Algumas das aplicações práticas, que exemplificam a utilização do seguimento de objectos por Visão Computacional, serão a análise do tráfego automóvel, a previsão das condições atmosféricas através do movimento das nuvens, o estudo do movimento dos lábios para permitir a sua leitura, ou a análise das deformações que objectos sofrem devido à influência de forças.
Complexidade dos objectos seguidos e das cenas: Múltiplos objectos; Variação topológica (por exemplo, divisão/fusão das entidades seguidas); Aparecimento/Desaparecimento total ou parcial dos objectos seguidos. A inexistência de modelos computacionais perfeitos: Construídos considerando aproximações; Existência de perturbações incontroláveis não modeláveis deterministicamente. As dificuldades inerentes à tarefa de seguimento, prendem-se com a complexidade dos objectos a seguir e do ambiente em que os mesmos estão inseridos. Como exemplos de complexidade podem ser citados: o seguimento simultâneo de vários objectos; a divisão dos objectos a seguir em novas entidades ou, pelo contrário, a fusão numa só entidade; o aparecimento de novos objectos ou, no sentido inverso, o desaparecimento total ou parcial de objectos, devido a problemas de oclusão, de ruído ou de alteração das condições de iluminação; etc. Por outro lado, para que se possa seguir o movimento de forma automática, deve-se atender a algumas dificuldades: não existem modelos computacionais perfeitos e, mesmo quando estes são adequados a certas aplicações, são baseados em aproximações simplificativas da realidade; existem perturbações que não podem ser controladas nem modeladas deterministicamente; os dados adquiridos pelos sensores considerados não são perfeitos. Desta forma, e dado que as abordagens determinísticas não ultrapassam as dificuldades mencionadas, os modelos estocásticos têm constituído uma boa alternativa. Utilização de Métodos Estocásticos
Mét. Estocásticos Métodos Estocásticos Adequados para dados multivariados; Obtêm melhores resultados dos que as metodologias baseadas em séries temporais; Modelos estocásticos são definidos por espaços de estados. Neste trabalho: Entidades: pontos; Método Estocástico: Filtro de Kalman; Vectores de Estados: Posição; Velocidade; Aceleração. Os métodos estocásticos mostram-se adequados no manuseamento de dados multivariados e processos não-lineares/não Gaussianos, melhorando significativamente os resultados obtidos por técnicas tradicionais de séries temporais. Os modelos estocásticos definidos por um espaço de estados, onde a evolução do sistema é feita por intermédio da inclusão de informação relevante no vector de estados. Essa informação acerca das várias entidades em movimento pode ser incorporada de diversas maneiras sob a forma de variáveis de estado. Neste trabalho as entidades cujo movimento se pretende seguir são pontos, e o vector de estados é composto pelas suas posições, velocidades e acelerações.
6 Mét. Estocásticos Métodos Estocásticos Seguimento, consiste no cálculo recursivo de grau de certeza associado a cada estado em determinado instante, tendo em consideração os dados obtidos até esse momento. Para tal utiliza: modelo do sistema; modelo de medição. São consideradas duas fases: Previsão - utiliza o sistema do modelo para prever a função de densidade de probabilidade do estado no instante seguinte; Correcção - utiliza a medição de forma a modificar a função densidade de probabilidade prevista. Sob uma perspectiva bayesiana, o seguimento consiste no cálculo recursivo de grau de certeza associado a cada estado em determinado instante, tendo em consideração os dados obtidos até esse momento. Para tal, é assumido que as técnicas de modelação produziram um sistema descritivo, sob a forma de uma equação diferencial estocástica para descrever a propagação de estados – o modelo do sistema. Também se considera que são disponibilizadas medições discretas no tempo (isto segundo uma perspectiva discreta) corrompidas por ruído, e que constituem o modelo de medições. Deste modo, pretende-se combinar as medições obtidas no sistema actual com a informação providenciada pelo modelo, e a descrição estatística das incertezas no sentido de obter estimativas óptimas dos estados do sistema. Os filtros deste tipo são compostos por duas fases: uma de previsão e outra de correcção. A previsão utiliza o sistema do modelo para prever a função de densidade de probabilidade do estado no instante seguinte. Por outro lado, a fase de correcção utiliza a medição mais actual de forma a modificar a função densidade de probabilidade prevista (pelo Teorema de Bayes).
7 Mét. Estocásticos Filtro de Kalman O filtro de Kalman assume que a função densidade de probabilidade em cada instante de tempo segue uma distribuição normal; Permite a estimativa do estado de um sistema de forma óptima caso: a transição entre estados seja linear; a função de probabilidade seja normal. O filtro de Kalman assume que a função densidade de probabilidade em cada instante de tempo segue uma distribuição normal. Este filtro permite a estimativa do estado de um sistema de forma a minimizar o quadrado da média do erro, consistindo, assim, numa solução óptima para o seguimento, caso sejam satisfeitas algumas restrições: -a transição entre estados deve ser linear; -e a função de probabilidade tem de ser normal. Caso não sejam satisfeitas as restrições mencionadas, os resultados obtidos nem sempre serão os melhores.
Mét. Estocásticos Alternativas ao filtro de Kalman (exemplos) Filtro de Kalman Estendido: Permite o seguimento de movimento não linear. Filtro de Condensação: Utiliza a amostragem factorizada com um modelo estocástico de movimento dos objectos; Propaga as amostras com pesos associados para formar o instante seguinte; Requer a utilização de um número relativamente elevado de amostras (porque não é paramétrico); Possibilidade de degeneração das partículas. No sentido de superar as dificuldades mencionadas conciliaram-se outras técnicas com o filtro de Kalman e desenvolveram-se algumas variantes do mesmo, nomeadamente, o filtro de Kalman estendido. Contudo, as referidas contrariedades não são passíveis de ser satisfatoriamente ultrapassadas em todos os casos. Assim, desenvolveram-se algoritmos alternativos para o seguimento por métodos estocásticos, no sentido de se poderem seguir, por exemplo, hipóteses múltiplas. O método mais usual é o de Condensação, um filtro de partículas, que utiliza a amostragem factorizada com um modelo estocástico de movimento dos objectos. Este método, baseia-se na amostragem ponderada da distribuição posterior estimada do instante anterior, e propaga essas amostras com pesos associados para formar o instante posterior. Um problema comum associado a este algoritmo é degeneração das partículas. Para resolver tal problema, têm surgido outros filtros de partículas que diferem na escolha da função de importância e/ou que modificam a etapa de reamostragem. Os filtros de partículas apresentam-se como uma alternativa interessante ao filtro de Kalman, contudo, uma vez que são não paramétricos, requerem a utilização de um número relativamente elevado de amostras, e existem usualmente problemas de degeneração das particulas. Assim, para problemas de maior dimensão, poderá ser necessário utilizar métodos mais eficientes.
Introdução de novas medições na fase de correcção requer o estabelecimento de correspondências entre as posições estimadas e as medidas (matching). No filtro de Kalman para a posição 2D, a área de pesquisa para o estabelecimento de correspondências é uma elipse. Dificuldades: Medições na área de pesquisa podem ser várias ou nenhuma; Usualmente, não há garantia de que se tenha obtido em termos globais o melhor emparelhamento. Para fazer a introdução de novas medições na fase de correcção do filtro de Kalman é necessário estabelecer correspondências entre as posições das entidades a seguir e as correspondentes novas posições. Quando as entidades seguidas são pontos e as medições consistem em posições das entidades, pela própria construção do filtro de Kalman a área de pesquisa sobre o plano de imagem para o estabelecimento de correspondências é uma elipse. Caso exista convergência do filtro, estas áreas de pesquisa vão diminuindo com as sucessivas iterações do filtro ao longo do tempo, dado que são obtidas estimativas cada vez mais adequadas, e desta forma o custo computacional associado à correspondência entre pontos é cada vez menor. Algumas dificuldades inerentes: as medições obtidas poderão não estar contidas no interior da área de pesquisa; ou pelo contrário, a existência de múltiplas entidades candidatas nessa mesma área. E, mesmo quando o emparelhamento é conseguido no interior da respectiva área de emparelhamento, com esta abordagem usual não há garantia de que se tenha obtido em termos globais, isto é para o sistema como um todo, o melhor conjunto de correspondências. Neste trabalho pretende-se superar tais dificuldades e para o fazer aplica-se um método de optimização global. Optimização + Mahalanobis
Com a consideração da optimização global pretende-se assegurar a obtenção do melhor conjunto de correspondências para todas as entidades envolvidas; O custo de cada emparelhamento é calculado usando a distância de Mahalanobis; O algoritmo Simplex é utilizado para minimizar o custo total do emparelhamento. Com a optimização global pretende-se assegurar a obtenção do melhor conjunto de correspondências para todas as entidades envolvidas no seguimento. Neste trabalho utilizamos o algoritmo Simplex no sentido minimizar o custo de emparelhamento global do conjunto previsão das posições dos pontos seguidos e as respectivas medições. Neste trabalho consideramos o custo do emparelhamento entre um par de coordenadas previsão/medição como sendo a respectiva distância de Mahalanobis.
...Pontos C e D invertem sentido de rotação: A B C D Na 8ª iteração do filtro, os pontos imobilizam-se mas o filtro continua a pressupor o movimento uniforme verificado até então, já que as previsões (a vermelho) se encontram distantes dos valores medidos (a verde), junto à posição que teriam se se mantivesse o movimento. Nas iterações seguintes, o filtro "reaprende" o movimento destes pontos até que à 11ª iteração, as previsões e medições são quase coincidentes. Previsões Área de Incerteza Medições Correspondências Resultados
15 Resultados Experimentais (Cont.)
- Imagens Reais: Vejamos agora um exemplo, que não consta no artigo, mas que resulta da aplicação da mesma abordagem em imagens reais. Neste caso temos um conjunto de quadros que foi retirado de uma sequência de video captada por uma câmara quando se aplicaram 5 marcadores sobre a parte inferior da perna de um homem. Notamos que ainda que a área de pesquisa para as novas medições não contém os pontos encontrados, mas que ainda assim a abordagem utilizada se revelou robusta no seguimento das marcas utilizadas. E isto é um caso de movimento não linear! Previsões Área de Incerteza Medições Correspondências Resultados
16 Conclusões e Trabalho Futuro
Na metodologia proposta para o seguimento de objectos, é utilizado: filtro de Kalman; um método de optimização global; Distância de Mahalanobis. O emparelhamento é possível mesmo quando as áreas de pesquisa definidas pelas elipses associadas à variância não o permitam. Abordagem apresentada revelou-se robusta (mesmo em casos de oclusão e com movimento não-linear). Na metodologia proposta para o seguimento de objectos, o filtro de Kalman foi utilizado em conjunto com um método de optimização global, que facilita o estabelecimento de correspondências entre as estimativas feitas e as medições introduzidas em cada iteração. Deste modo, o emparelhamento de dados é possível mesmo que as áreas de pesquisa determinadas pelas as elipses associadas à variância do método o não permitam. Assim, não é crucial a inicialização da matriz de covariância do ruído do processo de seguimento, já que o método de emparelhamento permite o usual seguimento das entidades determinadas com sucesso. No que concerne os resultados obtidos, nota-se que o filtro de Kalman com a optimização de correspondências tal como implementado neste trabalho, é um estimador robusto do movimento. De facto, este filtro revela-se capaz de resistir a casos de oclusão, assim como permite o movimento aleatório de entidades, e o seguimento de um conjunto de cerca de 30 pontos é conseguido em tempo real.
Este trabalho será considerado no desenvolvimento de uma aplicação específica de análise de movimento para o diagnóstico clínico da marcha e a análise do movimento em actividades desportivas. No futuro será interessante comparar os resultados obtidos pela metodologia proposta com os obtidos por outros métodos estocásticos (filtro de Kalman estendido, filtros de partículas, ..). Este artigo também contribui com uma descrição detalhada da inicialização do filtro de Kalman, já que são muito poucas são as informações usualmente disponíveis relativas à inicialização do mesmo, ainda que haja uma grande quantidade de informação disponível acerca da sua formulação. Analisando imagens reais com esta abordagem poder-se-á eventualmente evoluir para o desenvolvimento de uma aplicação específica de análise de movimento que permita, por exemplo, o diagnóstico clínico da marcha. No futuro, também se pretende comparar os resultados obtidos pela metodologia proposta com os obtidos por outros métodos estocásticos usualmente utilizados no seguimento de movimento, como o filtro de Kalman estendido ou os filtros de partículas.
18 Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia
Congresso de Métodos Numéricos em Ingeniería 2005 Granada, Espanha, 4 – 7 Julho Seguimento de Objectos em Visão Computacional usando Métodos Estocásticos Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Obrigado! Laboratório de Óptica e Mecânica Experimental
19 Agradecimentos O primeiro autor, agradece a Bolsa de Doutoramento concedida pela FCT, no âmbito do projecto POSI, sob a referência SFRH/BD/12834/2003.