Comparação entre medidas clássicas e robustas para identificação de outliers em regressão - PDF
Download "Comparação entre medidas clássicas e robustas para identificação de outliers em regressão"
Nicolas Estrela de Almeida
1 Comparação entre medidas clássicas e robustas para identificação de outliers em regressão Gabriela Isabel L. Alves (1), Verônica Maria C. Lima (2) (1) Curso de Graduação em Estatística (2) Departamento de Estatística Universidade Federal da Bahia Salvador/BA, , Brazil Resumo A técnica de análise de regressão linear não está completa sem o estudo dos resíduos para a identificação de possíveis outliers e de alguns outros diagnósticos. Outliers estão presentes em praticamente todos os conjuntos de dados, em qualquer domínio de aplicação. Pesquisas realizadas com grandes quantidades de observações tornam mais difíceis sua detecção visual. O objetivo deste trabalho é comparar as medidas clássicas com as medidas robustas para identificação de outliers. Entre as medidas clássicas foram consideradas: Leverage, DFBeta DFFit, Cook, Covratio e a distância de Mahalanobis. As medidas robustas consideradas foram Elipsóide de Volume Mínimo e Covariância de Determinante Mínimo. Através da análise de vários conjuntos de dados, os resultados revelaram que as medidas robustas, que utilizam estimadores resistentes a uma proporção de dados contaminados, mostraram-se mais eficientes na identificação de outliers. Palavras-Chaves: Outliers, diagnósticos clássicos, diagnósticos robustos. 1 Introdução Segundo Rousseeuw and van Zomeren (1990), outliers são observações que não seguem o padrão da maioria dos dados. Outliers estão presentes em praticamente todos os conjuntos de dados, em qualquer domínio de aplicação. A maioria das pesquisas em ciência, indústria e economia, lidam com grandes quantidades de observações, o que aumenta a possibilidade de se encontrar outliers (Todorov and Filzmoser (2009)). Em regressão, após o ajuste do modelo, é comum a utilização de várias medidas de diagnósticos para identificação de possíveis outliers no conjunto de dados. Várias medidas de diagnósticos foram planejadas para detectar observações individuais ou grupo de observações que diferem do restante dos dados. Muitas delas estão baseadas em resíduos de mínimos quadrados ordinários (MQO). Entretanto, como o método de MQO tenta evitar grandes resíduos, um outlier apenas pode comprometer completamente as estimativas dos parâmetros do modelo de regressão. Outras medidas de diagnóstico estão baseadas em deletar uma observação por vez, e observar a diferença nas estimativas dos parâmetros do modelo entre os valores ajustados com e sem a i-ésima observação. Pode acontecer que um subconjunto das observações seja altamente influente, mas não uma observação 1
2 individualmente (Rousseeuw and Leroy (1987)). Neste trabalho, vamos considerar as medidas de diagnósticos Leverage, DFBeta, DFFit, Cook, Covratio e a distância de Mahalanobis. Devido a fragilidade destas medidas na identificação de outliers, tem sido propostas na literatura diversas medidas robustas. Neste trabalho, vamos considerar as distâncias robustas Elipsóide de Volume Mínimo e Covariância de Determinante Mínimo. Ambas estas distâncias estão baseadas em estimadores robustos para o vetor de médias e matriz de covariâncias. O objetivo deste trabalho é realizar uma comparação entre as várias medidas, clássicas e robustas, para identificação de outliers. Este trabalho está organizado como segue. A Seção 2, descreve o modelo de regressão linear e o método de estimação de mínimos quadrados ordinários. As Seções 3 e 4, apresentam as medidas, clássicas e robustas, respectivamente, e a aplicação destas medidas a dados da literatura. Por fim, na Seção 5, conclui este trabalho. 2 Modelo de Regressão Linear O modelo de regressão linear tem o objetivo de descrever a relação existente entre as variáveis explanatórias X e a variável resposta y. Essa relação pode ser escrita como: y = Xβ + ɛ, em que y é um vetor (n 1) de respostas, X é uma matriz (n p) (p < n) de variáveis independentes, β é um vetor (p 1) de parâmetros desconhecidos e ɛ é um vetor (n 1) de erros aleatórios independentes, cada um com média zero e apresentando a propriedade de homocedasticidade, ou seja, variância constante. Os propósitos da regressão linear são: a descrição e controle dos dados, estimação dos parâmetros e predição (Montgomery and Peck (1992)). A estimação dos parâmetros do modelo é comumente realizada utilizando o método de mínimos quadrados ordinários (MQO). Este método consiste na minimização da soma dos quadrados dos erros e fornece estimadores com propriedades desejáveis como não viés, consistência e eficiência. O estimador de mínimos quadrados pode ser escrito na forma matricial como: ˆβ = (X X) 1 (X Y ). Os resíduos são definidos como a diferença entre os valores observados e os valores estimados pelo modelo em questão. Uma análise de regressão linear não está completa sem o estudo dos resíduos para a identificação de outliers e de alguns outros diagnósticos. Se o modelo for apropriado para amostra em questão, os resíduos devem refletir as características dos erros. 3 Diagnósticos Clássicos de Regressão Outliers ocorrem muito freqüentemente em dados reais e eles, muitas vezes, não são observados pelo usuário. Tanto a variável resposta como as variáveis explanatórias do modelo podem conter outliers. Neste último caso, eles são chamados de pontos de alavanca. Ambos os tipos de outliers podem afetar as estimativas de mínimos quadrados ordinários. Existem na literatura várias medidas para identificação de outliers (ver por ex. Montgomery and Peck (1992), Mendes (1999) e Rousseeuw and Leroy (1987)). Abaixo, descrevemos algumas delas. 1. Medida de Leverage (h ii ) A medida de leverage (h ii ) mede a importância da i-ésima observação na determinação do ajuste do modelo, em que h ii é o valor do i-ésimo elemento da diagonal principal da matriz H. Valores de h ii > 2p/n devem ser verificados, pois, podem ser pontos de alavanca. Além disso, podem ser consideradas observações não problemáticas aquelas com h ii menores que 0,2, enquanto que observações extremamente influentes seriam aquelas com h ii maiores que 0,5. 2. DFBeta j(i) Esta estatística mede a influência da i-ésima observação sobre o valor estimado do j-ésimo β, ou seja, avalia a influência de uma dada observação na estimação dos parâmetros. A estatística 2
3 é dada por: DFBeta (j)i = ˆβ j ˆβ j( i) Cjj QMRes ( i), em que C jj é o (jj)-ésimo elemento da diagonal da matriz (X X) 1. Os valores de DFBeta (j)i > 2/ n indicam que a observação pode ser considerada influente. 3. DFFit i O DFFit i mede a influência provocada no valor ajustado pela retirada da i-ésima observação. ŷ É definido por: DFFit i = i ŷ ( i) hii. Valores absolutos excedendo 2 p/n nos fornece QMRes ( i) indícios de observações influentes. 4. Distância de Cook (D i ) A distância de Cook, representada por D i mede o afastamento do vetor de estimativas dos coeficientes da regressão provocado pela retirada da i-ésima observação. A estatística é dada por D i = ( ˆβ (i) ˆβ ( i) ) X X( ˆβ (i) ˆβ ( i) ). Valores de D pqmres i > 1 sugerem a avaliação de observações influentes. Outra recomendação é comparar D i com a mediana da distribuição F com graus de liberdade p e n p (F 0.5,p,n p ). 5. COVRATIO i Uma medida que pode nos informar sobre a precisão geral da estimação é o COVRATIO. Esta mede o efeito da retirada da i-ésima observação no determinante da matriz de covariância das estimativas. É definida por COVRATIO i = det[qmres ( i) (X ( i) X ( i)) 1 ]. Valores de det[qmres(x X) 1 ] COV RAT IO i > 1 + 3p/n indicam que essas observações podem ser consideradas influentes. 6. Distância de Mahalanobis (MD i ) A distância de Mahalanobis é baseada na matriz de covariâncias amostrais e no vetor de médias amostrais. Ela é definida como MD i = (x i ˆµ) ˆ 1 (x i ˆµ), em que ˆµ representa a média amostral e ˆ é a matriz (p 1) (p 1) das covariâncias amostrais. Os valores de MD i devem ser comparados com a raiz quadrada do percentil de probabilidade de uma qui-quadrado com (p 1) graus de liberdade. 3.1 Análise de dados Vamos agora investigar o uso destas medidas em alguns conjuntos de dados. Exemplo 1: Oxidação de amônia em ácido nítrico. Rousseeuw and Leroy (1987) consideram um banco de dados referente ao funcionamento de uma fábrica para oxidação de amônia em ácido nítrico. Este conjunto de dados é composto por 21 observações com 3 variáveis independentes, sendo elas: a taxa de funcionamento, a temperatura de entrada da água de resfriamento e a concentração do ácido. Segundo Rousseeuw and van Zomeren (1990), as observações 1, 2, 3 e 21 são outliers. A Tabela 1 apresenta as medidas Leverage, DFBeta, DFFit, Cook, Covratio e Mahalanobis avaliando os pontos influentes. De acordo com a Tabela 1, a medida de Leverage identificou erroneamente a observação 17, enquanto o DFBeta identificou corretamente uma observação (21) e uma observação erroneamente (4). Com relação a medida de Covratio, esta identificou as observações 17 e 21 como pontos influentes sendo, uma observação identificada corretamente (21) e uma identificada erroneamente (17). Já o DFFit, Cook e Mahalanobis não consideraram nenhuma observação como sendo influente. Exemplo 2: Gravidade específica da madeira. Rousseeuw (1984) consideram os dados descritos em Draper and Smith (1966) sobre a influência de fatores anatômicos na gravidade es- 3
4 Tabela 1: Resultados da verificação das medidas influentes para os dados sobre oxidação de amônia em ácido nítrico. As observações 1, 2, 3 e 21 são outliers. Medidas Pontos detectados Resultados Leverage 17 O ponto identificado não é influente. DFbeta x1 21 O ponto identificado é influente. DFbeta x2 4 e 21 Identificou 1 ponto corretamente e 1 erroneamente. DFbeta x3 - Nenhum dos 4 pontos foram identificados. DFfit - Nenhum dos 4 pontos foram identificados. Cook - Nenhum dos 4 pontos foram identificados. Covratio 17 e 21 Identificou 1 ponto corretamente e 1 erroneamente. Mahalanobis - Nenhum dos 4 pontos foram identificados. MVE 1, 2 e 3 Todos os pontos identificados são influentes. MCD 1, 2, 3, 15, 16, 17, 18, 19 e 21 Identificou 4 pontos corretamente e 5 erroneamente. pecífica da madeira. Este conjunto de dados contém 20 observações com 5 variáveis independentes. As observações (4, 6, 8 e 19) foram substituídas por outliers. A Tabela 2 apresenta as medidas de Leverage, DFBeta, DFFit, Cook, Covratio e Mahalanobis avaliando os pontos influentes para esse banco de dados. De acordo com a Tabela 2, as medidas de Leverage, Cook e distância de Mahalanobis não consideram nenhum dos pontos como sendo influente. O DFFit, DFBeta e Covratio consideraram várias observações como influentes, entretanto nenhuma delas são outliers. Tabela 2: Resultados da verificação das medidas influentes para os dados sobre gravidade específica da madeira. As observações 4, 6, 8 e 19 são outliers. Medidas Pontos detectados Resultados Leverage - Nenhum dos 4 pontos influentes foram identificados. DFbeta x1 3, 7, 12 e 16 Todos os pontos identificados não são influentes. DFbeta x2 3, 5, 11 e 16 Todos os pontos identificados não são influentes. DFbeta x3 7, 11 e 12 Todos os pontos identificados não são influentes. DFbeta x4 16 O ponto identificado não é influente. DFbeta x5 3, 7 e 11 Todos os pontos identificados não são influentes. DFfit 7, 11 e 12 Todos os pontos identificados não são influentes. Cook - Nenhum dos 4 pontos influentes foram identificados. Covratio 10 e 16 Todos os pontos identificados não são influentes. Mahalanobis - Nenhum dos 4 pontos influentes foram identificados. MVE 4, 6, 8, 11, e 19 Identificou 1 ponto erroneamente. MCD 4, 6, 7, 8, 11, 16 e 19 Identificou 3 pontos erronemente. 4 Diagnósticos Robustos de Regressão. De acordo com os resultados descritos na seção anterior, é possível perceber a necessidade de se considerar outras medidas de diagnósticos para identificação de outliers. Neste trabalho, vamos considerar o Elipsóide de Volume Mínimo e a Covariância de Determinante Mínimo. 4
5 Para melhor compreensão dos estimadores robustos é necessário introduzir o conceito de ponto de ruptura, que é uma medida global de robustez. O ponto de ruptura de um estimador mede qual seria a maior porcentagem de contaminação que um estimador poderia suportar e ainda assim fornecer informação confiável sobre o parâmetro considerado. Quanto mais próximo de 0,5 é o ponto de ruptura, mais resistente é este estimador a outliers. 1. Elipsóide de Volume Mínimo Segundo Rousseeuw and van Zomeren (1990), o Elipsóide de Volume Mínimo (Minimum Volume Ellipsoid - MVE) é baseado no elipsóide de menor volume cobrindo pelo menos k pontos de X, em que k em geral é igual a parte inteira de [n/2] + 1. Este estimador possui ponto de ruptura 0,5 e é equivariante, ou seja, T (x 1 A + b,..., x n A + b) = T (x 1,..., x n )A + b e C(x 1 A + b,..., x n A + b) = A t C(x 1,..., x n )A. Este estimador robusto é definido pelo par (T, C) onde T é um vetor de dimensão p da média amostral, e C é a matriz de dimensão p p da matriz de covariância amostral. A distância robusta definida para o MVE é: RD i = (x i T (X))C(X) 1 (x i T (X)) t. Rousseeuw e van Zomeren (1990) apresentam dois algoritmos aproximados para o MVE, o algoritmo de reamostragem e o algoritmo de projeção. 2. Covariância de Determinante Mínimo De acordo com Rousseeuw (1985), o estimador Covariância de Determinante Mínimo (Minimum Covariance Determinant Estimator - MCD) para um conjunto de dados {x 1,..., x n } em R p é definido pelo subconjunto {x i1,..., x ik } de k observações, cuja matriz de covariância tem o menor determinante entre todos os subconjuntos possíveis de tamanho k. O estimador do vetor de locação é definido como a média aritmética dos k pontos de X para os quais o determinante da matriz de covariância é mínimo. O cálculo do estimador MCD está longe de ser trivial. Um algoritmo ingênuo continuaria investigando exaustivamente por todos os subconjuntos de tamanho k para encontrar o subconjunto com o menor determinante de sua matriz de covariância, mas, isso só será viável para conjuntos de dados muito pequenos. Segundo Todorov and Filzmoser (2009), o MCD foi negligenciado em favor do MVE porque o algoritmo de reamostragem simples foi mais eficiente para MVE. Entretanto, o ponto de ruptura deste estimador coincide com o do MVE (0,5) e tem baixa convergência, tornando-se mais eficiente estatisticamente. Ambas distâncias estão disponíveis no software R através dos pacotes robustbase e rrcov, desenvolvidos por Todorov and Filzmoser (2009). 4.1 Análise de Dados Vamos agora aplicar essas medidas robustas nos conjuntos de dados em que foram aplicados as medidas clássicas de identificação de outliers. Voltando ao exemplo do funcionamento da fábrica para oxidação de amônia em ácido nítrico, que apresenta as observações 1, 2, 3 e 21 como outliers. A Tabela 1 apresenta um resumo das medidas robustas avaliando os pontos influentes desse banco de dados. O MVE identificou as observações 1, 2 e 3, sendo que todos identificados são realmente outliers, porém, faltou identificar a observação 21. Já o MCD identificou as observações 1, 2, 3, 15, 16, 17, 18, 19 e 21, sendo quatro identificados corretamente (1, 2, 3 e 21) e cinco erroneamente (15, 16, 17, 18 e 19). Retomemos agora aos dados da Gravidade específica da madeira (Exemplo 2). De acordo com a Tabela 2, o MVE identificou as observações 4, 6, 8, 11 e 19, sendo quatro identificados corretamente (4, 6, 8 e 19) e uma erroneamente (11). O MCD identificou as observações 4, 6, 7, 8, 11, 16 e 19, 5
6 sendo quatro observações identificadas corretamente (4, 6, 8 e 19) e três identificadas erroneamente (7, 11 e 16). 5 Conclusões Com base nos resultados encontrados, observou-se que as medidas de Leverage, DFBeta, DFFit, Cook, Covratio e a distância de Mahalanobis não produzem resultados satisfatórios, deixando de identificar observações que são, de fato, outliers e, outras vezes, identificando observações como outliers quando na realidade não o são. Com relação aos diagnósticos robustos, MVE e MCD, estes apresentaram melhores resultados, pois, identificaram a maioria dos outliers. Entretanto, estas medidas também identificaram observações que não são outliers. O próximo passo deste trabalho será considerar outros diagnósticos robustos tais como os resíduos padronizados provenientes da regressão do estimador menor mediana dos quadrados dos resíduos, proposto por Rousseeuw (1984). Agradecimentos Este trabalho recebe apoio do CNPq através de bolsa de IC. Referências Draper, N. R. and Smith, H. (1966). Applied Regression Analysis. Wiley, New York. Mendes, B. V. M. (1999). Regressão Robusta: Conceitos, Aplicações e Aspectos Computacionais. Associação Brasileira de Estatística, São Paulo. Montgomery, D. C. and Peck, E. A. (1992). Introduction to linear regression analysis. J. Wiley, New York. Rousseeuw, P. J. (1984). Least median of squares regression. Journal of American Statistical Association, 79: Rousseeuw, P. J. (1985). Multivariate estimation with high breakdown point. In Grossmann, W., Pflug, G., Vincze, I., and Wetz, W., editors, Mathematical Statistics and Aplications, pages Reidel Publishing Company, Dordrecht. Rousseeuw, P. J. and Leroy, A. M. (1987). Robust Regression and Outlier Detection. Wiley, New York. Rousseeuw, P. J. and van Zomeren, B. C. (1990). Unmasking multivariate outliers and leverage points. Journal of American Statistical Association, 85: Todorov, V. and Filzmoser, P. (2009). An object-oriented framework for robust multivariate analysis. Journal of Statistical Software, 32:
Modelos de Regressão Quantílica Bruno Ramos dos Santos Dissertação apresentada ao Instituto de Matemática e Estatística da Universidade de São Paulo para obtenção do título de Mestre em Ciências Programa: