Sabbatini RME: Programa para Calculo deMedidas de Desempenho de Testes
Um Programa para o Cálculo da Acurácia, Especificidade e Sensibilidade de Testes Médicos
Revista Informédica, 2 (12): 19-21, 1995.
Quando um novo teste diagnóstico é desenvolvido em Medicina, é necessário avaliar de forma objetiva o seu poder discriminativo em relação à doença ou condição a que se destina detectar[1]. Essa avaliação é fundamental, pois o parâmetro de desempenho mais comumente utilizado, que é a porcentagem de testes cuja discriminação foi realizada corretamente (parâmetro esse denominado de acurácia) não é suficiente para descrever completamente como o método de decisão se comporta em relação aos falso-positivos (pacientes que não tem a condição patológica, mas que o método de decisão aponta como tendo), e aos falso-negativos (o oposto do anterior). Evidentemente, um teste com boa acurácia, mas que produz um número inaceitável de falso-positivos ou falso-negativos, pode causar problemas.
O método mais comum para avaliação de decisões de testes médicos com dois resultados possíveis (como presença ou ausência de um anticorpo, por e-xemplo) é ilustrado na Figura 1.
Figura 1: Tabela 2 x 2 para o Cálculo de Medidas de Desempenho
Os resultados previstos pelo método diagnóstico são comparados com os resultados reais, obtidos por outro método mais preciso, e uma tabela de contingência de 2 x 2 é construída a partir das estatísticas de esperado/obtido:
Acurácia: a proporção de predições corretas (soma de positivos verdadeiros e negativos verdadeiros);
Sensibilidade: a proporção de positivos verdadeiros, ou seja, a medida da capacidade do método de decisão de predizer a condição patológica para aqueles casos que realmente a apresentam;
Especificidade: a proporção de negativos verdadeiros, ou seja, a medida da capacidade do método de decisão de apontar ausência da condição para aqueles casos que realmente não a têm ;
Preditividade positiva: a proporção de positivos verdadeiros em relação a todas as predições positivas;
Preditividade negativa: a proporção de negativos verdadeiros em relação a todas as predições verdadeiras.
Geralmente, para qualquer tarefa de decisão médica, a sensibilidade e a especificidade variam em direções opostas, ou seja, quando o teste é muito sensível a positivos, isto tende a gerar muitos falso-positivos. Conseqüentemente, a especificidade diminui, porque o número de falso-negativos cai. O oposto acontece quando o teste tem uma baixa sensibilidade: a especificidade cai devido ao grande número de falso-negativos, às expensas de uma alta sensibilidade. Em conseqüência, um método de decisão perfeito (100 % de sensibilidade e especificidade) raramente é alcançado, e um balanço entre ambas medidas de desempenho deve ser atingido.
Como os resultados de testes médicos geralmente são contínuos, ou seja, eles produzem um valor situado em um determinado intervalo contínuo (por e-xemplo, um teste de glicemia em jejum), é necessário definir-se um ponto de corte para poder-se contar o número de diagnósticos verdadeiras e falsos (por e-xemplo, diagnóstico de diabetes mellitus), visando construir a tabela de contigência 2 x 2 mencionada. Como esta definição é essencialmente arbitrária, o melhor procedimento é estudar os efeitos de diversos pontos de corte sobre as estatísticas de desempenho (por exemplo, para valores de saída de 0,1, 0,2, 0,3, etc.) Para cada ponto de corte, a sensibilidade e a especificidade são calculadas e colocadas uma em cada eixo de um gráfico bidimensional (Fig. 2), produzindo uma curva chamada ROC (Receiver Operating Characteristics) [2]. Uma curva ROC perfeita corres-ponde a uma linha horizontal no topo do gráfico (0 % de especificidade e 100 % de sensibilidade), o qual percorre até o ponto de 100 % de especificidade e depois desce em direção ao eixo horizontal (100 % de especificidade e 0 % de sensibilidade). Curvas abaixo deste nível indicam métodos de decisão menos que perfeitos, mas qualquer curva situada acima da reta diagonal que atravessa o gráfico entre os pontos [0,0] e [100,100] pode ser considerada como boa (ela corresponde aos testes em que há igualdade entre sensibilidade e especificidade). A área sob a curva (AUC), obtida por integração, é outra medida normalmente usada para comparar diferentes curvas ROC entre si [3]. Neste contexto, a AUC pode ser interpretada matematicamente como a probabilidade que, dados dois indivíduos, um que apresenta a patologia, e outro que não a apresenta, a predição feita pelo teste será a maior possível para o indivíduo que tem a patologia.
O problema final é: dada uma curva ROC qualquer, como determinar o melhor ponto de corte ? Uma maneira simples de fazer isto é calcular uma nova medida, chamada eficiência, que é a média aritmética da sensibilidade e especificidade. O <F128>c<F255M>2calculado para a tabela de contingência 2 x 2 também pode ser utilizado como um indicador da significância estatística da melhor combinação de especificidade e sensibilidade ao longo da curva ROC.
O programa aqui apresentado calcula, a partir das tabelas de contingência, os valores de acurácia, especificidade, sensibilidade, preditividade positiva e negativa, eficiência e <F128>c<F255M>2e significância estatística deste. Para os quatro primeiros valores, são usadas as fórmulas especificadas na Figura 1. A eficiência é calculada pela média aritmética simples da especificidade e da sensibilidade. O <F128>c<F255>2 é calculado através da fórmula simplificada para tabelas de contingência de 2 x 2 (sem correção de Yates), e a sua significância testada para um alfa de 0.05. A utilização do programa é auto-explicativa. Foi utilizada a linguagem Turbo BASIC 1.1 (Borland International), mas pode ser usado também em Quick BASIC (Microsoft Corp.), para microcomputadores da linha IBM-PC.
Clique aqui para ver a listagem do código-fonte do programa.
Owens, D.K.; Sox Jr., H.C. - Medical decision making: probabilistic medical reasoning. In: Shortliffe, E.H.; Perreault, L.E.; Wiederhold, G.; Fagan, L.M. - Medical Informatics. Computer Applications in Health Care. New York: Addison & Wesley, p. 70-116, 1990.
Beck, J.R.; Schultz, E.K. - The use of relative operating characteristic (ROC) curves in test performance evaluation. Arch. Path. Lab. Med. 110: 13-20, 1986.
Hanley, J.A.; McNeil, R.J. - The meaning and use of the area under receiver operating characteristic (ROC) curve. Radiology, 143: 29-36, 1982.