Confiabilidade do diagnóstico final de dengue na epidemia 2001-2002 no Município do Rio de Janeiro, Brasil
https://doi.org/10.1590/S0102-311X2006000500006
Reliability of the final dengue diagnosis in the epidemic occurring in Rio de Janeiro, Brazil, 2001-2002
Ana Lucia Araujo de ToledoI; Claudia Caminha EscosteguyII; Roberto de Andrade MedronhoI; Flávia Coutinho de AndradeII
IIHospital dos Servidores do Estado, Ministério da Saúde, Rio de Janeiro, Brasil
Dengue; Vigilância Epidemiológica; Sistemas de Informação; Notificação de Doenças
Dengue; Epidemiologic Surveillance; Information Systems; Disease Notification
Atualmente, dentre as doenças de notificação compulsória, uma das que representam grave problema de saúde pública é o dengue, arbovirose mais distribuída entre os seres humanos 1. Segundo a Organização Mundial da Saúde (OMS) 2, dois terços da população mundial (2,5 bilhões de pessoas) estão sob risco de adquirir a doença, e mais de cem países registram a presença dos dois tipos de mosquitos causadores e casos da doença.
A doença tem sido descrita desde 1779/1780 3, é atualmente endêmica em regiões tropicais e subtropicais, com diversas epidemias relatadas em áreas afetadas, em maiores proporções na América, no sudeste da Ásia e nas ilhas do Pacífico 2,3. Nas Américas, a OMS cita alguns fatores como causadores de aumentos de casos da doença, como a descontinuidade dos programas de erradicação do Aedes aegypti, a urbanização não planejada e conseqüente aumento na densidade populacional, e o livre trânsito e comércio entre países.
Com o crescente número de casos de dengue no Brasil, o Estado do Rio de Janeiro tem sido responsável por uma grande parte dos casos registrados no país 4. A doença foi descrita pela primeira vez no estado em 1986, no Município de Nova Iguaçu, e neste mesmo ano o Município do Rio de Janeiro registrou sua primeira epidemia, com novas ocorrências em 1990 5 e em 1998. Nos anos de 2001 e 2002, o Município do Rio de Janeiro passou por grave epidemia de dengue tendo sido responsável pela maioria dos casos do estado.
O Sistema de Informações de Agravos de Notificação (SINAN) foi criado em 1990 pelo Ministério da Saúde (MS) com o objetivo de coletar e processar dados sobre agravos de notificação em todo o território nacional, fornecendo informações para a análise do perfil de morbidade, além de efetivar o processo de coleta e transferência de dados relacionados às doenças e agravos de notificação compulsória 6. O dengue é objeto deste sistema, que possibilita, portanto, obter um consolidado das informações sobre a doença.
A demanda de casos durante epidemia sobrecarregou os serviços de atendimento e de vigilância epidemiológica; o volume de dados a serem registrados poderia limitar a qualidade do SINAN e, conseqüentemente, a pertinência e utilidade do seu uso.
Diversos estudos trazem à tona a preocupação com a qualidade da informação, como por exemplo, em estatísticas de mortalidade, preenchimento dos dados sobre nascidos vivos, qualidade da informação de questionários, estudos sobre vigilância epidemiológica e sistemas de informação em saúde. Discute-se a idéia de que os sistemas de informações são essenciais para a modernização dos serviços de saúde, ao mesmo tempo lembrando a necessidade de controle da elevada proporção de informação ignorada. O controle dessa informação recebeu propostas como a avaliação periódica do sistema de informação utilizado e de treinamento dos profissionais de saúde que fornecem os dados 7,8,9,10,11,12.
Pela sua importância, o dengue tem sido objeto de interesse em diversos estudos epidemiológicos. Estudos sobre a qualidade do sistema de informações ajudam a questionar a validade dos instrumentos de coleta de dados/ investigação utilizados para sua vigilância e análise, podendo contribuir para avaliar melhor o perfil de morbidade da doença. O perfil do evento desejado só pode ser delineado com base em informações adequadas sobre os dados demográficos e a presença ou não de fatores de risco. Até o momento não foram encontrados estudos sobre a qualidade dos dados de dengue do SINAN.
Nesse sentido, este estudo teve como objetivo analisar a confiabilidade do diagnóstico final dos casos de dengue informados no SINAN, durante a epidemia 2001/2002 no Município do Rio de Janeiro.
Foram analisadas 155.242 notificações de dengue de residentes no Município do Rio de Janeiro, referentes à epidemia de dengue de 2001/ 2002 digitadas no banco de dados do SINAN/ dengue, no período de 2 de janeiro de 2001 a 27 de junho de 2002, fornecidas pela Secretaria Municipal de Saúde do Rio de Janeiro, que disponibilizou a base de dados para este estudo.
Entre 84 variáveis disponíveis no SINAN/ dengue, existe uma denominada "diagnóstico final" (DIAGFINT), que apresenta como opções de preenchimento: 1 (dengue clássico), 2 (febre hemorrágica do dengue ou dengue hemorrágico), 3 (caso descartado), 4 (inconclusivo) e 9 (código de ignorado). Esta variável é classificada na ficha específica de dengue pelo próprio investigador e o SINAN não dispõe de um sistema de crítica informatizada para tal classificação.
Neste estudo, o diagnóstico final de dengue (variável DIAGFINT) digitado no banco foi comparado aos critérios clínico-epidemiológicos e laboratoriais preconizados pelo MS 6, reconstruídos baseando-se em variáveis disponíveis no próprio banco de dados. Para permitir a confirmação dessa classificação, foi construída uma rotina em Epi Info (Centers for Disease Control and Prevention, Atlanta, Estados Unidos) segundo os critérios MS, para criar um diagnóstico final revisado, agrupando os casos em dengue clássico, dengue hemorrágico e inconclusivo (este incluindo ignorados) a partir da combinação de variáveis clínicas e epidemiológicas existentes no próprio banco de dados; e em descartado segundo critério laboratorial. Assim, a rotina de classificação dos casos permitiu a análise da confiabilidade do diagnóstico final digitado no sistema. A análise de confiabilidade foi feita por meio do coeficiente kappa (k), usando-se o módulo Epitable do programa Epi Info 6.0, com intervalo de confiança de 95% calculado segundo Fleiss 13.
Os critérios do MS para confirmação do caso de dengue utilizados na construção da rotina de classificação foram: critérios clínico-epidemiológicos e critério de confirmação laboratorial.
Critérios clínico-epidemiológicos
• Dengue clássico: febre (duração máxima de sete dias) e no mínimo mais dois sintomas (cefaléia, dor retroorbital, mialgia, artralgia, prostração e exantema).
• Dengue hemorrágico: dengue clássico + trombocitopenia (plaquetas a 100.000/mm3 ou menos) + tendências hemorrágicas (prova do laço positiva, petéquias, equimoses ou púrpuras, sangramentos de mucosas, do trato gastrointestinal e outros) + hemoconcentração (hematócrito em homens maior que 45%, em mulheres maior que 40% e em crianças maior que 38%, ou aumento de 20% sobre o hematócrito basal na admissão ou queda do hematócrito em 20%, após o tratamento).
• Além disso, o paciente deve ter estado, nos últimos 15 dias, em área com transmissão de dengue ou com presença de A. aegypti. Em curso de uma epidemia, a confirmação pode ser feita por meio de critérios clínico-epidemiológicos, exceto nos primeiros casos da área que deverão ter confirmação laboratorial.
Critério de confirmação laboratorial
O caso é confirmado laboratorialmente por meio de isolamento viral positivo ou exame sorológico MAC-ELISA positivo em qualquer de duas amostras coletadas. Na construção da rotina de classificação dos casos deste estudo, usamos ainda o critério de descarte laboratorial, com base em um resultado negativo de exame sorológico MAC-ELISA após o sexto dia do início da doença.
Foi analisada também a proporção de informação ignorada para as 84 variáveis disponíveis no banco de dados SINAN/dengue. Consideramos como caso ignorado aquele com campo em branco ou com dígito igual ao código de ignorado (geralmente 9) na descrição de suas variáveis.
A análise e processamento dos dados foram feitos usando-se o programa Epi Info 6.0.
A proporção de informação ignorada (abrangendo casos digitados com o código específico de ignorado ou simplesmente campo em branco) para a grande maioria das variáveis disponíveis no SINAN/dengue foi muito elevada, à exceção daqueles campos de preenchimento obrigatório como identificação (nome, sexo, idade, endereço) e data da notificação. Entre as variáveis relacionadas a manifestações clínicas da doença, a proporção de casos com dados ignorados variou de 50% (para febre) a 71,3% (para hepatomegalia); para exantema foi de 63,5%. Para variáveis relativas a dados laboratoriais a proporção de ignorado foi ainda maior: prova do laço (79,9%), hematócrito (83,9%), plaquetas (83,7%), isolamento viral (97%), sorologia (96,3%). Para história de dengue anterior a proporção de ignorado foi de 58,2%; presença de mosquito (61,2%); vacinação contra febre amarela (90,3%); evolução do caso atual (97,6%). Freqüentemente, o campo encontrava-se em branco no banco de dados.
Aproximadamente a metade das 155.242 notificações do banco de dados SINAN/dengue compreendia diagnóstico final ignorado, freqüentemente acompanhado de preenchimento precário das demais variáveis disponíveis no banco (à exceção daquelas obrigatórias). Optamos por juntar os casos com diagnóstico final digitado como inconclusivo (3.202 ou 2,1%) com aqueles ignorados (68.307 ou 44%), por considerarmos que na prática, ambos refletiam qualidade precária de informação.
A Tabela 1 mostra que após revisão do diagnóstico final segundo a rotina de classificação, aumentaram os casos classificados como dengue hemorrágico e inconclusivos/ignorados, reduzindo aqueles com critério para dengue clássico e descartados.
Confirmação do diagnóstico pelo critério laboratorial
Do total de casos, 2,6% foram confirmados laboratorialmente e 0,3% descartado laboratorialmente. A proporção de confirmação laboratorial segundo o diagnóstico final foi: dengue clássico (4,7%, 3.820 casos), dengue hemorrágico (10,2%, 98 casos), inconclusivo/ignorado (0,05%, 39 casos). Entre os casos digitados como descartados, 2 (0,1%) eram na realidade confirmados laboratorialmente. Houve critério para descarte laboratorial em 55 dengue clássico (0,07%), 2 dengue hemorrágico (0,2%) e 35 inconclusivo/ignorado (0,05%). Entre os 1.148 casos com diagnóstico final digitado como descartado, 306 (21,1%) apresentavam critério laboratorial para tal.
Confirmação e confiabilidade do diagnóstico SINAN
A Tabela 2 compara o diagnóstico final digitado no SINAN com aquele revisado por meio da rotina de classificação, observando-se que 78,3% dos casos de dengue clássico e 69% dos casos de dengue hemorrágico assim digitados preenchiam de fato os critérios do MS. Entre aqueles digitados como inconclusivo/ignorado, 8,7% apresentavam critérios de dengue clássico e 0,3% de dengue hemorrágico. Os casos digitados como descartados foram os que apresentaram maior discordância: 28,8% eram dengue clássico, 0,3% dengue hemorrágico e 49,7% inconclusivos. Apenas 21,1% dos casos com diagnóstico final digitado como descartado no SINAN apresentavam critério laboratorial para descarte informado no sistema.
Ressalta-se que entre os casos inconclusivos classificados pelo critério revisado, 1.986 (2,4% dos inconclusivos ou 1,3% do total de casos) apresentaram confirmação laboratorial de dengue, entretanto, a informação sobre o quadro clínico não permitiu classificá-los como clássico ou hemorrágico.
A confiabilidade da variável diagnóstico final digitada no SINAN comparada ao diagnóstico revisado por meio da rotina de classificação com base nos critérios do MS foi satisfatória, com k = 0,681 (IC95%: 0,685-0,677), mesmo quando a análise excluiu a grande proporção de ignorado e inconclusivo, com k = 0,645 (IC95%: 0,651-0,639).
Análise dos óbitos
Na avaliação dos sessenta óbitos registrados no SINAN/dengue no período estudado, observamos 23 (38,3%) informados com o diagnóstico final de dengue clássico, 31 como dengue hemorrágico (51,7%) e seis como descartado (10%). Não havia nenhum óbito digitado como inconclusivo/ignorado (Tabela 3).
A confirmação laboratorial entre os sessenta óbitos foi de 63,3% (38 confirmados). A confirmação ocorreu para 16 dos 23 óbitos digitados como dengue clássico (69,6%) e para 22 dos 31 digitados como dengue hemorrágico (71%). Havia critério laboratorial para descarte em dois dos seis óbitos digitados como descartado. Óbitos não confirmados nem descartados após a revisão foram: 7 dengue clássico (30,4%), 9 dengue hemorrágico (29%) e 4 descartado (66,6%).
A confirmação laboratorial entre os óbitos (63,3%) foi significativamente superior à observada entre os não-óbitos (2,5% ou 3.920 confirmados entre 155.182 não-óbitos), representando um risco relativo igual a 25,1 (IC95%: 20,6-30,5) e um p-valor = 0,0000001.
A Tabela 3 mostra a revisão do diagnóstico nos óbitos. Segundo o diagnóstico original do SINAN, não havia casos inconclusivos ou ignorados, porém, nossos resultados mostram que 40% dos óbitos não preencheram critérios clínicos do MS e eram na verdade inconclusivos quanto à forma clínica; 46% dos óbitos apresentavam critérios para dengue clássico, 10% para dengue hemorrágico e 3,3% para descartado. Entre os 24 óbitos que não fecharam critério clínico do MS, 66,7% (n = 16) puderam ser confirmados como dengue laboratorialmente. Entretanto, a classificação clínica ficou prejudicada pela informação precária de dados no SINAN.
A confiabilidade do diagnóstico final original do SINAN em relação ao diagnóstico por nós revisado foi muito baixa para os óbitos, com kappa = 0,152 (IC95%: 0,046-0,258).
Efeito dos problemas identificados no diagnóstico final do SINAN/dengue sobre a classificação e letalidade associadas às várias categorias de dengue
O maior efeito da correção do diagnóstico final ocorreu sobre a letalidade (Tabela 4) associada ao dengue hemorrágico, que segundo o diagnóstico final digitado no SINAN era de 3,24% e após o critério revisado caiu para 0,48%. Além disso, para 24 óbitos não havia dados no SINAN que permitissem a classificação clínica do caso; após a revisão, tais óbitos foram classificados como inconclusivos, associando-se à letalidade de 0,03%.
Ressalta-se ainda que 2,4% (n = 1.986) entre o total de casos revisados como inconclusivos e 66,7% (n = 16) dos óbitos inconclusivos puderam ser confirmados como dengue laboratorialmente. Entretanto, como já foi dito, a classificação clínica ficou prejudicada pela informação precária de dados no SINAN.
A vigilância epidemiológica possui como pressuposto que os dados de notificação forneçam informações sobre morbidade próximas à realidade vivida pela população. Precisamos de dados com qualidade e agilidade que possam justificar ações efetivas de controle e prevenção do dengue. Mesmo durante períodos de epidemia, quando a qualidade da assistência à população sofreu interferência da grande demanda de atendimento, fato que prejudicou a obtenção da informação e a tomada de decisões sobre a doença.
A variável diagnóstico final é digitada no SINAN sem nenhum mecanismo de crítica interna por parte do sistema quanto à inconsistência do diagnóstico em relação a variáveis clínicas e laboratoriais presentes no próprio banco de dados.
Observou-se a presença de altos percentuais de ignorados para grande parte das variáveis do banco de dados, inclusive as que determinam o diagnóstico (manifestações clínicas e dados laboratoriais). A elevada proporção de ignorado não permitiu um diagnóstico mais preciso, inclusive por meio de confirmação laboratorial, e o fechamento de maior número de casos de dengue. Em relação aos dados laboratoriais, tal fato pode traduzir a não realização propriamente dita do exame ou a ausência da informação sobre o exame no sistema, representando, neste último caso, possíveis falhas na coleta de dados por parte dos profissionais de saúde que investigam os casos, ou no próprio registro de atendimento, ou ainda no momento da digitação do SINAN. É possível que muitos casos em que os campos referentes a exames laboratoriais estavam em branco no SINAN correspondessem a pacientes nos quais não foi realizado o exame; não se pode, contudo, afirmar com certeza sem o devido registro de não-realizado.
A elevada proporção de ignorados tem impacto na qualidade do sistema de informações e na avaliação dos resultados, e acaba se refletindo na enorme proporção de casos inconclusivos e ignorados observada por meio do diagnóstico final original SINAN/dengue (46,1%). Ressalta-se que apenas uma minoria desses casos obteve confirmação laboratorial (menos que 2,4%).
Para fins de análise, a opção de juntar os casos com diagnóstico final digitado como inconclusivo (2,1%) com aqueles ignorados (44%), justifica-se porque na prática ambos refletiam qualidade precária de informação. Segundo a lógica de sua definição, um caso inconclusivo indica que não foi possível diagnosticar ou descartar um caso, após a investigação; na prática, possivelmente houve falta de informações neste sentido. O mesmo ocorre com um caso ignorado, que pressupõe não haver dados disponíveis.
A informação sobre dados laboratoriais foi digitada no sistema de forma precária, e mesmo que a confirmação laboratorial tenha possibilitado fechar como dengue cerca de 2 mil casos classificados clinicamente como inconclusivos, a rigor a classificação da forma clínica ­ dengue clássico ou hemorrágico ­ não seria possível. Assumir como dengue clássico pode implicar viés de aferição. Foi avaliado ainda o acompanhamento dos pacientes nos casos em que houve registro de sangramento, observando-se possíveis problemas de atendimento ou registro das informações, pois mais da metade dos resultados de plaquetas destes pacientes teve registro ignorado.
Com relação ao acompanhamento (visualizado pela variável EVOLUÇÃO), possivelmente a variável foi preenchida basicamente para os casos com óbitos conhecidos. A possível cura é apenas presumível para a grande maioria dos casos, já que a proporção de ignorados para este campo foi elevadíssima (97,6%).
A análise dos casos descartados foi dificultada por não ser conhecido o critério utilizado pelo investigador que preencheu a ficha de investigação do SINAN e considerou determinado caso como descartado. O banco de dados possibilita apenas resgatar a classificação do caso descartado laboratorialmente; eventualmente, alguns casos podem ter sido descartados por critérios clínicos não contemplados na ficha de investigação, adotados pelo investigador.
Como a grande maioria dos casos não pôde ser confirmada por critérios laboratoriais, procedeu-se a análise da confiabilidade do diagnóstico final digitado no SINAN/dengue a partir da confrontação com os critérios do MS. A confiabilidade analisada neste estudo dá conta da consistência interna do banco, ou seja, se a conclusão do caso é consistente com as variáveis clínicas e laboratoriais digitadas no banco. Foi realizada uma análise da concordância entre o diagnóstico final registrado e as informações contidas no próprio sistema de informações. O ideal seria avaliar a consistência com base na análise do prontuário correspondente, o que é difícil frente à epidemia e qualidade dos registros médicos, sobretudo porque para a maioria dos casos houve atendimento de emergência ou ambulatorial, sem internação.
Os termos precisão e validade, e seus inúmeros sinônimos, trazem algumas interpretações diferentes na literatura, merecendo discussão ao avaliarmos a qualidade de um sistema de informações em saúde. MacMahon & Trichopoulos 14 associam validade ao controle de confundimento e precisão à redução do erro padrão. Pereira 15 fez uma revisão dos vários termos encontrados na literatura. Precisão ou reprodutibilidade ou confiabilidade (precision or reproductibility or reliability) reflete a consistência ou concordância de resultados quando o exame é repetido. É a capacidade do teste produzir resultados semelhantes ou próximos quando ele é repetido, em condições semelhantes e dado que o pesquisador desconheça os resultados anteriores.
Como medida da confiabilidade, utilizou-se o coeficiente de correlação intraclasse kappa, que tem a vantagem, em relação à simples medida da proporção de concordâncias, de descontar as concordâncias ao acaso. Algumas classificações têm sido propostas para a interpretação de um determinado valor de kappa, sendo a de Landis & Koch 16 uma das mais difundidas. Segundo esta classificação, valores acima de 0,81 indicariam uma concordância ótima ou quase perfeita; de 0,61 a 0,80 substancial ou boa; de 0,41 a 0,60 moderada ou regular; de 0,21 a 0,40 sofrível; abaixo de 0,21 fraca.
De um modo geral, considerando-se o volume da epidemia 2001/2002, consideramos o diagnóstico final de dengue clássico e dengue hemorrágico satisfatório. Entretanto, a proporção de casos com forma clínica inconclusiva ou ignorada foi excessivamente elevada, o que certamente interfere no conhecimento do verdadeiro perfil clínico-epidemiológico da epidemia. Ressalta-se ainda que a confiabilidade do diagnóstico final nos casos que foram a óbito mostrou-se mais precária, sobretudo às custas de uma proporção maior de casos de óbitos inconclusivos em que as informações disponíveis não permitiram o fechamento da forma clínica.
O estudo de um sistema de informações deve considerar a possível subnotificação de casos de uma doença 17. Em relação ao presente estudo, soma-se ainda o problema de um grande volume de casos que apesar de notificados pelos serviços de atendimento, não foram digitados no SINAN. A Secretaria Municipal de Saúde do Rio de Janeiro informa que somente em janeiro e fevereiro de 2002 havia um total de 53.923 notificações de dengue ainda não-digitadas e, portanto, não constando do banco de dados informatizado objeto deste estudo. Fora questões operacionais, este fato é curioso em termos de informação. Há notificações preenchidas sem utilidade real. Além dos dados não-preenchidos, a subnotificação também interfere na conclusão dos achados deste estudo, possivelmente implicando novos resultados, com o uso pleno do SINAN, se estas questões fossem solucionadas. Entretanto, deve ser enfatizado que é exatamente utilizando-se esta base informatizada que o sistema de saúde e a vigilância epidemiológica fazem suas análises.
F. C. Andrade participou da criação da rotina diagnóstica. A. L. A. Toledo, C. C. Escosteguy e R. A. Medronho contribuíram em todo o processo de elaboração do artigo.
Os autores agradecem à Dra. Cecília Carmem Araujo Nicolai e à Dra. Meri Baran, da Secretaria Municipal de Saúde do Rio de Janeiro, pela cessão dos dados e colaboração com o estudo.
1. Solomon T, Mallewa M. Dengue and other emerging flaviviruses. J Infect 2001; 42:104-15. [ Links ]
2. World Health Organization. Report on global surveillance of epidemic-prone infectious diseases. Dengue and dengue haemorrhagic fever. http://www.who.int/emcdocuments/surveillance/docs/whocdscsrisr2001.html/dengue/ dengue.htm (acessado em 23/Out/2002). [ Links ]
3. Guzmán MG, Kourí G. Dengue: an update. Lancet Infect Dis 2002; 2:33-42. [ Links ]
4. Nogueira RM, Miagostovich MP, Schatzmayr HG, Santos FB, Araujo ES, Filippis AM, et al. Dengue in the State of Rio de Janeiro, Brasil, 1986-1998. Mem Inst Oswaldo Cruz 1999; 94:297-304. [ Links ]
5. Medronho RA. Geoprocessamento e saúde: uma nova abordagem do espaço no processo saúde doença. Rio de Janeiro: Editora Fiocruz; 1995. [ Links ]
6. Ministério da Saúde. Guia de vigilância epidemiológica. http://www.funasa.gov.br/pub/GVE/PDF/GVE_GERAL.pdf (acessado em Set/2003). [ Links ]
7. Rattner D. A epidemiologia na avaliação da qualidade: uma proposta. Cad Saúde Pública 1996; 12 Suppl 2:21-32. [ Links ]
8. Paes A, Albuquerque ME. Avaliação da qualidade dos dados populacionais e cobertura dos registros de óbitos para as regiões brasileiras. Rev Saúde Pública 1999; 33:33-43. [ Links ]
9. Mishima FC, Scochi CGS, Ferro MAR, Lima RAG, Costa IAR. Declaração de nascido vivo: análise do seu preenchimento no Município de Ribeirão Preto, São Paulo: Brasil. Cad Saúde Pública 1999; 15:387-95. [ Links ]
10. Wakimoto MD. Avaliação da qualidade do sistema de vigilância epidemiológica no Município do Rio de Janeiro ­ 1994 a 1996 [Dissertação de Mestrado]. Rio de Janeiro: Escola Nacional de Saúde Pública, Fundação Oswaldo Cruz; 1997. [ Links ]
11. Pontes RJS, Ruffino-Netto A. Vigilância e busca ativa de casos suspeitos de dengue hemorrágico em Ribeirão Preto, São Paulo. Rev Panam Salud Publica 1997; 1:186-92. [ Links ]
12. Mello-Jorge MHP, Gawryszewski VP, Latorre MRDO. I ­ Análise dos dados de mortalidade. Rev Saúde Pública 1997; 31:5-25. [ Links ]
13. Fleiss JL. Statistical methods for rate and proportions. New York: John Wiley & Sons; 1981. [ Links ]
14. MacMahon B, Trichopoulos D. Epidemiology: principles and methods. Boston: Little, Brown and Company; 1996. [ Links ]
15. Pereira MG. Epidemiologia: teoria e prática. Rio de Janeiro: Editora Guanabara Koogan; 1995. [ Links ]
16. Szklo M, Javier Nieto F. Quality assurance and control. In: Szklo M, Javier Nieto F, editors. Epidemiology: beyond the basics. Frederick: Aspen Publishers; 2000. p. 343-401. [ Links ]
17. Ferreira VMB. Análise da subnotificação de casos de Aids no contexto da assistência hospitalar coberta pelo SUS: implicações e intervenções potenciais [Dissertação de Mestrado]. Rio de Janeiro: Escola Nacional de Saúde Pública, Fundação Oswaldo Cruz; 1999. [ Links ]