MINISTÉRIO DA SAÚDE Secretaria de Ciência, Tecnologia e Insumos Estratégicos Departamento de Ciência e Tecnologia DIRETRIZES METODOLÓGICAS - PDF
MINISTÉRIO DA SAÚDE Secretaria de Ciência, Tecnologia e Insumos Estratégicos Departamento de Ciência e Tecnologia DIRETRIZES METODOLÓGICAS
Download "MINISTÉRIO DA SAÚDE Secretaria de Ciência, Tecnologia e Insumos Estratégicos Departamento de Ciência e Tecnologia DIRETRIZES METODOLÓGICAS"
Maria Clara Estrela Borges
2 MINISTÉRIO DA SAÚDE Secretaria de Ciência, Tecnologia e Insumos Estratégicos Departamento de Ciência e Tecnologia DIRETRIZES METODOLÓGICAS Brasília DF 2014
4 MINISTÉRIO DA SAÚDE Secretaria de Ciência, Tecnologia e Insumos Estratégicos Departamento de Ciência e Tecnologia DIRETRIZES METODOLÓGICAS Brasília DF 2014
5 2014 Ministério da Saúde. Todos os direitos reservados. A coleção institucional do Ministério da Saúde pode ser acessada, na íntegra, na Biblioteca Virtual em Saúde do Ministério da Saúde: < gov.br/bvs>. O conteúdo desta e de outras obras da Editora do Ministério da Saúde pode ser acessado na página: < Esta obra é disponibilizada nos termos da Licença Creative Commons Atribuição Não Comercial Sem Derivações 4.0 Internacional. É permitida a reprodução parcial ou total desta obra, desde que citada a fonte. Este trabalho foi desenvolvido no âmbito do termo de cooperação nº 47 entre o Departamento de Ciência e Tecnologia e a Organização Panamericana da Saúde Tiragem: 1ª edição exemplares Elaboração, distribuição e informações: MINISTÉRIO DA SAÚDE Secretaria de Ciência, Tecnologia e Insumos Estratégicos Departamento Ciência e Tecnologia Coordenação-Geral de Gestão do Conhecimento SQN Quadra 2 Projeção C, térreo sala 03 CEP: Brasília/DF Tel: (61) Site: Supervisão Geral: Carlos Augusto Gabrois Gadelha (SCTIE/MS) Antônio Carlos Campos de Carvalho (Decit/SCTIE/MS) Jorge Otávio Maia Barreto (Decit/SCTIE/MS) Organização: Nashira Campos Vieira (Anvisa) Roberta Moreira Wichmann (Decit/SCTIE/MS) Elaboração de texto: Anna Maria Buehler (Hcor) Mabel Figueiró (Hcor) Frederico Rafael Moreira (Hcor) Alexandre Biasi Cavalcanti (Hcor) André Sasse (Hcor) Otávio Berwanger (Hcor) Revisão Técnica: Cláudia Cristina de Aguiar Pereira (ENSP/Fiocruz) Gabriela Vilela de Brito (Decit/SCTIE/MS) Marina Gonçalves de Freitas (Decit/SCTIE/MS) Nashira Campos Vieira (Anvisa) Roberta Moreira Wichmann (Decit/SCTIE/MS) Editoração: Eliana Carlan (Decit/SCTIE/MS) Jessica Rippel (Decit/SCTIE/MS) Gustavo Veiga e Lins (Decit/SCTIE/MS) Normalização: Francisca Martins Pereira (CGDI/ Editora MS) Impresso no Brasil/Printed in Brazil Brasil. Ministério da Saúde. Secretaria de Ciência, Tecnologia e Insumos Estratégicos. Departamento de Ciência e Tecnologia. Ministério da Saúde, Secretaria de Ciência, Tecnologia e Insumos Estratégicos, Departamento de Ciência e Tecnologia. Brasília : Editora do Ministério da Saúde, p. : il. ISBN CDU 614 Catalogação na fonte Coordenação-Geral de Documentação e Informação Editora MS OS 2014/0211 Títulos para indexação
6 LISTA DE QUADROS Quadro 1 Exemplo de questão de pesquisa de estudos de testes extração dos dados 24 38
8 LISTA DE TABELAS Tabela 3 Fatores que diminuem a qualidade da evidência de estudos
10 LISTA DE FIGURAS Figura 1 Apresentação tabular dos resultados do QUADAS-2 para os estudos incluídos estudos incluídos Figura 3 Resultado da busca na LILACS
12 LISTA DE SIGLAS E ABREVIATURAS ARIF Aggressive Research Intelligence Facility BVS Biblioteca Virtual em Saúde CAPES Coordenação de Aperfeiçoamento de Pessoal de Nível Superior C-EBLM Evidence-Based Laboratory Medicine CENTRAL The Cochrane Central Register of Controlled Trials DeCS Descritores em Ciências da Saúde Decit Departamento de Ciência e Tecnologia MEDLINE Medical Literature Analysis and Retrieval System Online Rebrats Rede Brasileira de Avaliação de Tecnologia em Saúde Rebec Registro Brasileiro de Ensaios Clínicos SUS Sistema Único de Saúde UKSU Regional Support Unit USA United States of America
14 SUMÁRIO APRESENTAÇÃO 1 INTRODUÇÃO ÀS REVISÕES SISTEMÁTICAS 1.5 Recursos necessários ETAPAS FUNDAMENTAIS DE UMA REVISÃO SISTEMÁTICA 2 PLANEJAMENTO DA REVISÃO SISTEMÁTICA 2.4 Documentação da metodologia: redação de protocolo 3 CONDUÇÃO DA REVISÃO SISTEMÁTICA 3.1 Busca de potenciais estudos elegíveis 3.2 Fontes de evidências 3.3 Pesquisa em fontes de dados não publicados, em andamento e literatura cinzenta 3.4 Elaboração da estratégia de busca nas várias bases de dados Seleção dos termos para a busca 3.6 Relatando o processo de busca 3.7 Avaliação da elegibilidade dos estudos e resumo Avaliação da elegibilidade pela leitura do manuscrito em texto 3.8 Extração de dados Processo de extração de dados Avaliação do risco de viés dos estudos incluídos 3.9 Resultados Sumário dos efeitos do tratamento nos estudos, cálculo e apresentação da metanálise Tipos de variáveis e medidas de desempenho em Modelos de Análise
15 Metanálises individuais de sensibilidade e Programas para cálculo de metanálise Avaliando o viés de publicação 4 RELATO E APLICABILIDADE DOS RESULTADOS 4.1 Estruturando a discussão e conclusão Estruturando a discussão Estruturando a conclusão 5 ETAPAS OPCIONAIS: 5.1 Avaliação da qualidade da evidência 6 CONCLUSÕES DA DIRETRIZ REFERÊNCIAS APÊNDICES APÊNDICE 1: Construção da estratégia de busca: símbolos e operadores booleanos APÊNDICE 2: Gerenciadores de referências: o que são e como ANEXOS ANEXO E: Principais fontes de viés e variabilidade nos estudos de ANEXO F: QUADAS
18 Diretrizes Diretrizes Metodológicas: Metodológicas: Elaboração Elaboração de de revisão revisão sistemática sistemática e metanálise metanálise de de estudos estudos de de acurácia acurácia diagnóstica diagnóstica 1 APRESENTAÇÃO padrão para encontrar, avaliar e interpretar todas as pesquisas relevantes disponíveis para 17 realizada em março em 2006, foi estabelecido que as diretrizes metodológicas eram inclusive para atender as demandas do Ministério da Saúde. Grupo de Trabalho de Desenvolvimento e Padronização Metodológica da Rebrats, técnicos de secretarias e departamentos do Ministério da Saúde. A diretriz apresentada neste documento foi baseada no manual especializado da Cochrane 1 questão no processo da revisão e não esgota todos os mecanismos necessários para entender e realizar uma metanálise. O detalhamento de alguns conceitos fundamentais é apresentado em forma de apêndices.
19 Ministério da Saúde pesquisa seus resultados Seção 5 apresenta etapas opcionais que complementam os dados da revisão A importância dessa diretriz é orientar e padronizar a elaboração e condução de uma Por outro lado, cada vez mais estudos com esse delineamento têm sido conduzidos
20 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica 1 INTRODUÇÃO ÀS REVISÕES SISTEMÁTICAS provenientes de estudos primários conduzidos para responder uma questão da intervenção referência, a escolha do método de metanálise vai depender de como as medidas de desempenho são apresentadas entre os estudos 4 realizar a metanálise está diretamente relacionada ao grau de heterogeneidade entre dos estudos em torno dessa média. Ainda, permite descrever como a acurácia varia quais diferenças são reais, quais são explicadas pelo acaso e quais podem ser explicadas detectar diferenças reais na acurácia entre testes de estudos individuais e podendo 1. deve ser considerada apenas quando os estudos são similares, tanto em relação ao entre os estudos que torne inapropriado sumarizar o desempenho dos testes em uma 5. Nesse caso, apenas se apresenta o desempenho dos testes
21 Ministério da Saúde 20 realizados em amostras pequenas de casos, especialmente quando a doença é rara. a consistência do desempenho do teste entre diferentes delineamentos de estudos aprofundados ao longo desse manual. enviesadas acerca da acurácia do teste. A depender do espectro da doença e da maneira como os pacientes foram incluídos necessário, o contato com o autor do estudo deve ser realizado, o que nem sempre é Adicionalmente, por haver mais de uma opção de método para o cálculo de determinar as medidas de desempenho do teste. Tais desfechos não podem ser
22 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica surrogate outcomes nos resultados de exames. Nesses casos, o delineamento de estudo preferencial é o intervenção e controle. O ensaio clínico randomizado difere do delineamento clássico Recursos necessários extração e análise dos dados, etc. Adicionalmente, deve-se prever no cronograma um dados essenciais que podem não estar relatados no manuscrito. Devem ser considerados os seguintes recursos: Recursos Financeiros: além de gastos previsíveis de materiais de consumo e escritório, papel e impressora, alguns outros gastos devem ser programados. Por exemplo, Ainda, pode haver a necessidade de contratar um professor de idioma, para tradução Recursos Humanos: devem ser discriminadas quantas pessoas irão compor a equipe da revisão, em quais etapas, quem será o coordenador principal da revisão, a necessidade
23 Ministério da Saúde 22 Recursos Materiais: computadores, internet, materiais de escritório, telefone, fax, condução da revisão, como os gerenciadores de referência, os programas que geram a metanálise, as peculiaridades de busca nas várias bases de dados, além de habilidades de redação de protocolo e do manuscrito. Eventualmente algumas dessas habilidades podem não ser dominadas pelo grupo que conduzirá a revisão sistemática. Portanto, pode ser necessário recorrer a uma consultoria externa, com especialistas, e esse investimento deve estar previsto em orçamento.
24 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica ETAPAS FUNDAMENTAIS DE UMA REVISÃO SISTEMÁTICA 2 PLANEJAMENTO DA REVISÃO SISTEMÁTICA 23 da questão: P = população; I = intervenção; C = controle e O = desfecho, tradução do termo em inglês outcome P População: 6. Adicionalmente, variam com o espectro da doença, com o cenário clínico ou de acordo com a interpretação dos resultados. Portanto, é importante o grau de severidade da doença, se dependente de idade, sexo, raça, nível sócioeducacional, bem como o cenário clínico de interesse, se cirúrgico, hospitalar, na comunidade ou outros. I Teste índice (index test): O teste índice é o teste que terá o desempenho avaliado. melhorando a acurácia do padrão atual. Frequentemente o conceito tradicional da acurácia de um teste implica na R Padrão de referência (reference standard): o equivalente do controle para referência. Ele é o melhor teste disponível na atualidade e com quem o teste índice será comparado. Entretanto, o padrão de referência não está restrito a um único
25 Ministério da Saúde 24 O Desfecho (outcome): ser muitos, a depender da intenção do teste. Em termos de importância, idealmente índice ou ao padrão de referência e as estratégias seriam comparadas em termos de ou qualidade de vida. Outros desfechos possíveis seriam os que envolvem respostas é apresentar as medidas de desempenho do teste entre os diferentes estudos que o avaliaram e, portanto, os desfechos são limitados aos parâmetros que avaliam esse desempenho. Se realizado o cálculo de metanálise, aumenta-se a precisão destas tabela descreve a relação entre os resultados do teste índice em um determinado dos estudos. versus vasculares agudas em pacientes com sintomas de Acidente Vascular Cerebral: P = Pacientes com sintomas de Acidente Vascular Cerebral I R O Fonte: elaboração própria.
26 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica Assim como para inclusão e exclusão de pacientes nos estudos clínicos primários, os a priori 25 Os critérios de elegibilidade complementam a questão de pesquisa estruturada. Pode-se estabelecer, por exemplo, a inclusão de pacientes que tenham certo grau estabelecida de doença. Assim, deve-se fazer uma breve busca na literatura. Para isto, pode-se recorrer ao site 7 8 e na Biblioteca Cochrane, disponível na BVS 9 e do Caribe de Informação em Ciências da Saúde, além de fontes adicionais como o CRD 10 Outra fonte essencial é a busca no PubMed/MEDLINE 11 por meio do Clinical Queries, que é uma ferramenta da base, apresentada na parte média-inferior da página inicial. No Clinical Queries Recomendamos também a busca no Sisrebrats 12, que é o banco de estudos da Rede de prioridade do SUS. Adicionalmente, outras fontes como o Sumsearch e o TripDatabase, são úteis na busca de evidências prévias. 2.4 Documentação da metodologia: redação de protocolo Assim como em qualquer estudo clínico primário, o protocolo de uma revisão a priori
27 Ministério da Saúde 26 O protocolo descreve as etapas realizadas na revisão e pode ser estruturado em e as análises de sensibilidade de interesse. O relato dos resultados, discussão e estudos. Entretanto, todos os parâmetros possíveis devem ser determinados. Uma sugestão de modelo de protocolo é o disponível no programa Review Manager, para publicação da revisão na Cochrane Library. O protocolo da revisão deve idealmente ser elaborado por um grupo de revisores com experiência tanto na área do conhecimento clínico, quanto técnico em metodologia de anunciaram que recusariam publicar pesquisas patrocinadas por companhias antes de iniciados 13 do protocolo da revisão. Entretanto, esse registro ainda não é exigido pelos principais Reviews desde 22 de fevereiro de Além do registro do protocolo, essa base permite pesquisar quais estudos estão em andamento. DIRETRIZ: PLANEJAMENTO DA REVISÃO SISTEMÁTICA:
28 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica 3 CONDUÇÃO DA REVISÃO SISTEMÁTICA 3.1 Busca de potenciais estudos elegíveis 27 ser escolhidos em função da questão de pesquisa estruturada. A busca deve ser feita em fontes de dados publicados como MEDLINE, Embase, e também em fontes de dados não publicados, literatura cinzenta e estudos em ¹ Accuracy 14 (Cochrane Segundo Golder 15 16, a busca somente pelo MEDLINE não é considerada de estudos não contemplados pela base. Recomendamos também que os autores pesquisem em outras fontes de registro 17 Meta- 18 Evidence-Based Laboratory Medicine 19 Aggressive Research Intelligence Facility 20 Health Technology Assessment Database, DARE 21 Database of Abstracts of Reviews of autores reduzam o risco para vieses como o de publicação. Existem menos evidências 22. Pesquisas recentes relatam que para minimizar possíveis viés de publicação é 16, como citado, e também usar outros métodos como lista de referências, especialistas na área, busca manual e fontes de literatura cinzenta. 23
29 Ministério da Saúde 3.2 Fontes de evidências 28 A busca por potenciais estudos sempre se inicia pelas grandes bases de dados 16,24,25 que MEDLINE e Index, Chinese Biomedical Literature Database, outras bases de dados especializadas nacionais e regionais, anais de congressos, bancos de teses, etc. The Cochrane Central Register of Controlled Trials Test Accuracy Studies sempre garantem o acesso ao manuscrito em forma de texto completo. Normalmente O MEDLINE é uma das mais importantes bases de dados internacionais. Contém mais biomedicina, ciências da vida e áreas correlatas, disponíveis pelo PubMed, um serviço 26. Realizar a busca na base de dados Embase é fundamental. Jadad e col. 27 demonstraram A LILACS, coordenada pela Bireme, é o mais importante e abrangente índice da 28. dados publicados. Normalmente não estão indexadas nas grandes bases de dados
30 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica exemplo, a 29. A busca na internet muitas vezes se faz necessária, mas os revisores precisam estar O TRIP database 31 também é uma ferramenta O Medion database estudos. A base é estruturada em três partes: O Evidence-Based Laboratory Medicine o trabalho do comitê, 18. A ARIF databases ARIF Methodology database Pesquisa em fontes de dados não publicados, em andamento e literatura cinzenta menos explorados. Uma possível maneira é por meio da busca em bases de dados temos o Clinical Trials e, no Brasil, o Registro Brasileiro de Ensaios Clínicos Rebec
31 Ministério da Saúde 30 protocolos de estudo priorizam os estudos de intervenção, principalmente os ensaios Cochrane Register of A literatura cinzenta é aquela que não é publicada formalmente em fontes como livros e periódicos. Segundo o da Cochrane 32 cinzenta também deve ser considerada no processo de busca das evidências. Anais de Conference Proceedings conter dados de estudos que não foram incluídos e que podem alterar os resultados da 32. estão indexadas nas grandes bases de dados e, também, pela presença dos revisores ISI Web of Knowledge, o Library Inside, o BMC Abstracts. cinzenta Européia e o aos resultados de pesquisas governamentais e não governamentais dos EUA e estão disponíveis via internet 33. O contato com colegas pesquisadores, especialistas no assunto da revisão, autores renomados e que se destacam em estudos que foram selecionados, indústrias de estudos não publicados. pela estratégia de busca. é uma boa opção para busca. 3.4 Elaboração da estratégia de busca nas várias bases de dados A elaboração da estratégia de busca é a componente chave de qualquer revisão
32 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica conhecimento dos mecanismos de busca nas várias bases de dados se faz necessário, estudos relevantes em razão de alguns fatores, como a inconsistência na indexação, São eles: o fevereiro de 2007 e o 33. questão de pesquisa estruturada no formato PIRO. Entretanto, é importante ressaltar se não estabelecer termos para os componentes do desfecho, sob o risco de excluir a busca muito sensível, a ponto de recuperar um grande número de referências que possa inviabilizar a triagem. Portanto, é preciso ter em mente que não existe uma regra Seleção dos termos para a busca Medical Subject Headings
33 Ministério da Saúde 32 no Emtree. Entretanto, dependendo do termo, o Embase referencia o Emtree Abaixo, um exemplo de como o mesmo termo descritor de assunto pode variar nas bases: Ex.: Termo no Emtree: deve ser a mais sensível possível e deve englobar também o vocabulário não controlado, booleano OR nas três línguas que predominam na base: português, espanhol e inglês. Uma estratégia que permite aumentar a sensibilidade da busca na base MEDLINE é entry terms No Anexo B encontra-se um exemplo desta estratégia de sensibilização da busca. operadores booleanos encontra-se no Apêndice 1. for DTA Reviews disponibilizam que é um excelente guia.
34 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica está pautado na possibilidade de haver diversos delineamentos de estudo com o 33 como o Subgroup Health, da. Temos um movimento mundial em esforços para melhorar vários aspectos dos Standards for editores liderados por Bossuyt 34 publicados ainda é incerto. ainda não é um consenso entre os estudiosos da área. A recomendação para os autores 3.6 Relatando o processo de busca Deve-se descrever em protocolo e relatar na seção de metodologia do manuscrito como literatura cinzenta, contatos, busca manual, etc, também devem estar relatadas. apresentação dos resultados.
35 Ministério da Saúde 34 elegíveis. 3.7 Avaliação da elegibilidade dos estudos O processo de avaliação da elegibilidade passa por uma etapa de triagem As etapas estão descritas abaixo: A busca de estudos em todas as possíveis fontes de dados gera um número estabelecidos. Isto ocorre porque a estratégia de busca é elaborada preconizando a referências e descartar um grande número de referências que não se enquadram nos critérios de elegibilidade estabelecidos pela revisão. sobre essas ferramentas. O somatório dos artigos recuperados em todas as bases de dados deve ser registrado para constar na elaboração do fluxo de seleção dos artigos, que faz parte da apresentação dos resultados. Ainda, um mesmo artigo pode estar indexado
36 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica em mais de uma base de dados, de modo que teremos referências duplicadas no arquivo. O número de artigos em duplicata também deve ser apresentado que claramente não preencham os critérios de elegibilidade e mantendo os possivelmente incluídos. 35 de maneira independente. Muitas vezes o resumo não está disponível e, nesse caso, seguinte, de avaliação da elegibilidade pela leitura do texto completo. As discordâncias entre os revisores devem ser resolvidas por consenso. Em alguns casos, pequenas divergências entre os revisores podem ser desconsideradas, visto outro lado, se o resultado entre a dupla for muito divergente, vale a pena que os revisores resolvam as discordâncias, para não gastar tempo de forma desnecessária, decisão acerca do modo como as discordâncias devem ser resolvidas deve estar Cohen 35 entre os revisores. clínica padronizada por uma dupla de revisores, de modo independente. padronizada, que contém basicamente os critérios de elegibilidade estabelecidos.
37 Ministério da Saúde DIRETRIZ: AVALIAÇÃO DA ELEGIBILIDADE DOS ARTIGOS elegibilidade. independente. As discordâncias podem ser resolvidas por consenso. forma independente. entre os revisores. 3.8 Extração de dados Processo de extração de dados reportados 36, 37, ou estão incompletos. Os dados da tabela 2x2 podem precisar ser necessárias para derivar os demais cálculos podem não estar relatadas e, nestes casos, será necessário contatar os autores do estudo primário, o que nem sempre é uma tarefa concluída com sucesso, além de demandar tempo. consenso entre a dupla ou por consulta de um terceiro revisor.
38 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica Para extração correta e padronizada dos dados, sugere-se o agendamento de um 37 um especialista na área. extração de dados deve possuir uma folha de rosto no mesmo formato. Com a coleta de a comparabilidade das variáveis entre os estudos que podem afetar a magnitude do validação externa dos resultados. entre os estudos é chamada de diversidade clínico-metodológica e pode ser fonte de inconsistência entre os achados. Em metanálises de ensaios clínicos randomizados, não se indica realizar metanálise de estudos com diversidades importantes, se as apresentem boa qualidade metodológica versus qualidade inadequada, ou de acordo com o delineamento do estudo. Se forem realizadas análises de sensibilidade, as mesmas devem estar previstas a priori, em protocolo.
39 Ministério da Saúde do teste e, portanto, devem ser avaliadas. 38 Número de pacientes no estudo Média de idade Proporção de homens e mulheres Comorbidades Métodos Delineamento dos estudos incluídos Espectro da doença da população incluída Método de aplicação do teste índice e padrão de referência Metodologia do teste Resultados Para cada desfecho: coleta de variáveis categóricas e/ou numéricas. Número de pacientes excluídos por conta de resultados inconclusivos/ indeterminados. Padrão de referência necessidade de seguimento ou sinais e sintomas, se o padrão de referência for Fonte: elaboração própria.
40 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica em termos de desenho que são diferentes da abordagem de estudos de intervenção. 39 crossseccional suspeita da doença ou condição-alvo é submetida ao teste índice. Então, todos esses pacientes devem, também, ser submetidos ao mesmo padrão de referência. A ordem da aplicação dos testes índice e padrão de referência podem ou não ser randomizada. O teste índice e o padrão de referência devem ser interpretados várias medidas de concordância são calculadas, como por exemplo, sensibilidade, especificidade, razão de verossimilhança, razão de chances diagnóstica, curvas ROC, entre outras. Adicionalmente, o tempo decorrente entre a aplicação dos testes não pode se extender a ponto de alterar o grau de gravidade da doença. os pacientes são selecionados para o estudo, de como são interpretados os testes índices e padrão de referência, a natureza prospectiva ou retrospectiva da coleta dos resultados, entre outras. Algumas dessas diferenças enviesam os resultados do estudo, enquanto outras limitam a aplicabilidade dos resultados em diferentes perfis de pacientes. O Apêndice 3 descreve melhor os desenhos de estudos de acurácia diagnóstica mais utilizados. diferem do seu valor real. Por outro lado, variabilidades surgem de diferenças entre os estudos, por exemplo, em termos de população incluída, cenário, protocolo de 34 avaliação estruturada da qualidade metodológica é chave na validade interna dos
41 Ministério da Saúde 40 referências entre os estudos complica ainda mais essa questão. work-up bias): padrão de referência 6. Essa situação é comum de ocorrer quando o teste padrão de referência envolve algum procedimento invasivo, como biópsia, por exemplo. Viés de Incorporação: Ocorre quando o teste índice faz parte do padrão de referência, 38 o padrão de referência é composto de informação clínica ou por uma bateria de outros testes Viés de Inspeção: Ocorre quando o conhecimento prévio do resultado de um dos Desenho do estudo: incluir uma população sob o risco de apresentar a situação clínica e, portanto, de estudo pode ter a terminologia de estudos de coorte, porque os indivíduos
42 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica status da doença é previamente conhecido antes do controle em epidemiologia. Um detalhamento dos diferentes desenhos de estudos encontra-se no Apêndice Outros exemplos de fontes de viés e variabilidade entre os estudos são apresentados no Anexo E. as etapas de como o estudo foi elaborado e conduzido 41. Escores de avaliação da itens que são fontes de viés e variabilidade entre os estudos envolvidos 42. Assim, acabam por não ser adequados para avaliar o risco de viés nos estudos, visto que a importância dos itens e a direção do potencial viés associado a esses geralmente variam de acordo com o contexto em que são aplicados, mas são ignorados pela maioria dos scores de qualidade 43, Accuracy Studies seguimento, por exemplo. Adicionalmente, o grupo de trabalho da Cochrane
43 Ministério da Saúde 42 O QUADAS-2 atual está estruturado em quatro domínios-chave, que representam revisão, em termos de população, exames e condição-alvo. em cada um dos domínios, a depender do desenho primário do estudo. Os critérios inclusão, a necessidade de alguma questão norteadora que não está coberta no A sumarização dos resultados pode ser representada em formas tabulares resultados do QUADAS-2. A tradução não validada do QUADAS-2 encontra-se no Anexo F.
44 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica Figura 1 Apresentação tabular dos resultados do QUADAS-2 para os estudos incluídos 43 Fonte: elaboração própria. Fonte: QUADAS-2 Acesso em: out Como principais vantagens da ferramenta, podemos citar a transparência no
45 Ministério da Saúde 44 A acurácia pode ser apresentada de diferentes maneiras. As medidas de desempenho pós-teste de doença. Se possível, as tabelas 2x2 devem ser construídas para todos os subgrupos relevantes. apresentados na seção de resultados a seguir. DIRETRIZ: EXTRAÇÃO DE DADOS independente. 3.9 Resultados dos estudos em consenso. padrão de referência, período de tempo entre a aplicação do teste índice e do padrão de referência, metodologia dos testes índices e referência, dados de prevalência, etc.
46 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica Uma vez que esses dados estiverem compilados em forma de tabelas, é possível ter uma ideia qualitativa acerca da diversidade clínico-metodológica entre os estudos. Entretanto, conforme será discutido mais adiante, essa é apenas uma das fontes para heterogeneidade entre os estudos, de forma que ela deve ser investigada mais formalmente Sumário dos efeitos do tratamento nos estudos, cálculo e apresentação da metanálise A abordagem para o cálculo da metanálise e avaliação da heterogeneidade agrupadas em três categorias, de acordo com a maneira que elas tratam a natureza binária dos dados da acurácia do teste: Métodos que consideram independentes as análises de cada aspecto de desempenho do teste; Métodos que sumarizam as medidas de desempenho do teste em uma única A avaliação da acurácia de um teste requer conhecimento de duas grandezas, do ponto de corte, se existente, e da heterogeneidade entre os estudos. de desempenho do teste e como elas se relacionam, para depois entender os métodos
47 Ministério da Saúde 46 clínica é desenvolvido, seu desempenho deve ser testado perante o melhor teste que verdadeira presença ou ausência da doença. Portanto, os resultados do teste a ser um teste em detectar a presença de uma doença. O verdadeiro status de doença de Entretanto, nem sempre os resultados são apresentados como variáveis Dados ordinais: os resultados dos testes de imagem geralmente são reportados normal; 2=resumidamente normal; 3=incerto 4=presumidamente anormal; Dados discretos: contagem, como o número de eventos observados; A maioria da categorização ordinal ou binária emerge pela aplicação de limiares tabela, conforme representação abaixo.
48 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica Teste índice Teste índice Total Verdadeiros Verdadeiros Total Fonte: elaboração própria. 47 aplicação do padrão de referência. Nas linhas dessa tabela estariam os casos em que dada a presença da doença. dada a ausência da doença. teste índice. do teste índice.
49 Ministério da Saúde 48 Quando a razão de verossimilhança se aproxima de um, isso quer dizer que o teste menores do que um diminuem a chance pós-teste de doença quando o resultado do como um único número que descreve quantas vezes maiores são as chances de se sem a doença. Tem pouca relevância clínica direta, mas é muito importante para apresentam uma curva ROC. Essa curva analisa a acurácia de um único teste em uma única versus detalhamento desses conceitos estão apresentados no Apêndice 4. Assim como nas metanálises de ensaios clínicos randomizados, há dois modelos aleatória de um grande estudo comum, e que eventuais diferenças nos desfechos e essencialmente consiste em calcular uma média ponderada do resultado de cada estudo. O peso de cada estudo representa o inverso da variância do parâmetro
50 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica avaliados. O fator para calcular o peso de cada estudo na metanálise é mais complexo matematicamente, e inclui a variância intra e inter-estudos. Logo, é utilizado para alguns dos parâmetros dos dois modelos hieráquicos de metanálise 49 A heterogeneidade é esperada nos resultados dos estudos de acurácia de testes variabilidade da acurácia do teste entre os estudos. Existem várias fontes de diversidade clínico-metodológica entre os estudos, além o mesmo teste índice. Se os diferentes estudos incluídos reportaram o mesmo ponto de corte para o está correto. Por outro lado, se existe um efeito do ponto de corte explícito teste, pois consideram a variabilidade nos estudos e entre os estudos. Podem ou não considerar covariáveis adicionais no modelo. Entretanto, a necessidade de programas summary considerando suas médias ponderadas pelo inverso da variância, tanto pelo modelo
51 Ministério da Saúde 46 DerSimonian and Laird independentes e podem ser calculadas metanálises para cada um desses parâmetros, se diferentes estudos reportem o mesmo ponto de corte. Isso porque, além do erro aleatório, existem diversos outros parâmetros que podem diferir, como diferenças inter-observadores, etc. Um teste para heterogeneidade pode ser aplicado. Em caso sumária é o método preferido em relação a esta abordagem Curva ROC sumária (SROC) curva ROC, os estudos ou derivam uma medida de acurácia do teste, baseado no
52 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica nova curva ROC. Esse método de cálculo de metanálise é chamado de curva ROC sumária ou SROC. 48, 49. Inicialmente, cada estudo contribui com um ponto de corte na curva, que corresponde de ROC plot ilustração abaixo: 51 Fonte: elaboração própria. estudo: um representado por D e outro por S. O parâmetro D é a variável dependente do modelo e representa o logaritmo natural da O parâmetro S é a variável independente do modelo e representa uma medida da
53 Ministério da Saúde linear simples é calculado, com esses parâmetros se correlacionando conforme: 52 considera cada estudo pelo inverso da variância do lnrcd. A SROC é produzida para calcular a sensibilidade esperada ao longo de um intervalo que a curva será desenhada, é geralmente restrito ao intervalo observado nos dados pode ser ilustrada conforme: Fonte: elaboração própria.
54 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica Modelos hierárquicos são preferíveis para o cálculo de metanálise de estudos e o modelo 51. primeiro nível, modelam as contagens das células da tabela 2x2, extraídas de cada com a variabilidade amostral no primeiro nível. O modelo bivariado e o modelo desses modelos. Esses dados são basicamente as contagens das células da tabela No primeiro nível, assume-
55 Ministério da Saúde 54 O primeiro nível é então correlacionado com o segundo por meio de um modelo binomial único, que considera ambos os níveis, construído em função de cinco permitem, por meio de alguns cálculos adicionais, obter a metanálise da sensibilidade e curva ROC também pode ser construída e o ponto que sumariza o par sensibilidade- Fonte: elaboração própria. nos estudos e outra entre os estudos 51. são assumidas como de distribuição binomial. Ao contrário do modelo bivariado, que
56 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica transformação logarítmica. 55 Fonte: elaboração própria. Assim como em metanálises de ensaios clínicos randomizados, existem programas Manager disponibilizado pela Colaboração Cochrane, pois ele tem uma interface de ele permite redigir o protocolo da revisão de acordo com o padrão de publicação da Cochrane, acessa o risco de viés dos estudos incluídos apresentando em forma
57 Ministério da Saúde 56 método SROC. 52, de download gratuito para uso acadêmico. Esse programa também apresenta uma interface metadisc_en.htm Dentre suas funcionalidades, é possível descrever os resultados primários dos estudos e explorar a heterogeneidade. forest plot resultados dos estudos individuais em curvas ROC, com ou sem uma curva SROC. e o I 2 49 de 20 MB de disco rígido.
58 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica parametrização dos modelos e não são estendidos para inclusão de outras variáveis que representem as diversidades clínicas, por exemplo. Pacotes comerciais permitem rodar modelos estendidos do modelo bivariado ou NLMIXED, pode ser encontrado por meio da publicação dessa MACRO para o SAS Conforme comentado ao longo deste manual, a diversidade clínico-metodológica Essas diferenças podem ser resultantes do acaso, de erros no cálculo dos índices de acurácia ou da verdadeira diversidade clínico-metodológica 54. Estas são decorrentes 5,55. efeito do ponto de corte 5 teste índice. Quando há suspeita de heterogeneidade entre os estudos incluídos na metanálise, 2 2 alto aponta a presença de heterogeneidade. Nesses casos, análises exploratórias podem para fazer inferências. Ainda, quando poucos estudos são incluídos na metanálise, de tamanho de amostra e geração de resultados muito imprecisos. disposição dos estudos nos ROC plots
59 Ministério da Saúde 58 análises de sensibilidade/subgrupos. Uma análise de sensibilidade bastante comum outliers O único método que permite explorar formalmente a heterogeneidade dos estudos 52, publicada pelo várias maneiras no processo de seleção dos estudos. Outros vieses são introduzidos no evitados, para que os resultados da revisão possam ser validados. recuperação de todas essas evidências. diversos periódicos. Se estas n n vezes, comprometendo a metanálise.
60 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica de forma independente, garante a obtenção mais acurada dos dados, menos 59 interna dos achados Avaliando o viés de publicação Por isso a importância de pesquisar fontes de dados não publicados e reunir a totalidade da evidência. 58. tamanho de amostra ou alguma medida de precisão. A medida indireta do formato na ausência de viés de publicação, os estudos estarão dispersos em formato de presença de viés de publicação. 2. O manual 32.
61 Ministério da Saúde 60 viés de publicação são diferentes dos aplicados para ensaios clínicos randomizados. p 59,60. úteis para detectar efeito de tamanho de amostra porque tais parâmetros irão variar em função dos valores de corte e erro aleatório. A interpretação simultânea lnrcd como parâmetro para o eixo X e com parâmetros relacionados ao tamanho da 58. Os testes para assimetria do funil seriam baseados em testes de regressão e de correlação de postos, sendo os de regressão aqueles que para assimetria do funil e representa, consequentemente, a presença de publicação DIRETRIZ: RESULTADOS para o cálculo.
62 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica 4 RELATO E APLICABILIDADE DOS RESULTADOS 4.1 Estruturando a discussão e conclusão 32 e literatura 62 auxiliam nessa estruturação Estruturando a discussão Na discussão, resumem-se os principais achados e as incertezas pendentes, Outro componente importante na discussão é apresentar os pontos fortes e as Adicionalmente, devem-se comparar os achados da revisão com os resultados divergem entre os estudos. Resumir os principais resultados Destacar os pontos fortes da revisão Fonte: elaboração própria Estruturando a conclusão A conclusão sumariza as ideias principais desenvolvidas na discussão, podendo ser inequívoco quanto possível. Não devem ir além da evidência que foi revisada e ser
63 Ministério da Saúde 62 Por outro lado, metanálises que demonstram não haver diferenças entre os grupos
64 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica 5 ETAPAS OPCIONAIS 5.1 Avaliação da qualidade da evidência Em estudos de intervenção, a qualidade da evidência proveniente da metanálise pode ser graduada de acordo com o sistema GRADE 2,62, proposto pelo grupo, graduar a qualidade da evidência da metanálise por meio de critérios padronizados que permitem rebaixar e aumentar a qualidade dessa evidência. Ainda, permite inserir essa evidência no contexto da aplicabilidade clínica, através da força da da Saúde, e a Cochrane. 63 As categorias do GRADE para qualidade da evidência implicam no gradiente de considerados importantes para o paciente 63. Evidências de alta qualidade provêm de ensaios clínicos randomizados que nos ensaios clínicos randomizados de alta qualidade, frequentemente a qualidade da evidência assim se mantém 64. Isso porque a evidência deve ser rebaixada no quesito indirecteness Portanto, principalmente no contexto da força da recomendação, é necessário se fazer inferências sobre o impacto do teste em desfechos que são importantes para o paciente, o que reduz a qualidade da evidência e força da recomendação. Esse é Para a graduação da evidência considerando os demais quesitos, os conceitos são bastante similares e podem ser resumidos de acordo com a tabela abaixo, que descreve os fatores que rebaixam a qualidade da evidência para os estudos de acurácia
65 Ministério da Saúde 64 Tabela 3 Fatores que diminuem a qualidade da evidência de estudos de acurácia intervenções. Fatores que determinam e podem diminuir a qualidade da evidência do estudo Evidência indireta indirecteness Critérios diferentes para estudos de acurácia: estudos diretas dos resultados do teste com um apropriado padrão de referência são considerados como de alta qualidade e pode mover-se para moderada, baixa ou muito baixa qualidade dependendo de outros fatores. Adicionalmente, para não perder pontos nesse quesito, doença; a seleção e o processo de encaminhamento devem estar claramente descritos; os testes devem ser realizados em todos os pacientes da mesma população; o novo teste e o padrão de referência devem estar bem descritos; os avaliadores dos resultados devem estar cegos em relação aos resultados do teste índice e do padrão de referência. Em nível de desfecho, a limitação intrínseca ao estudo de acurácia é a ausência de evidência direta sobre o impacto do teste em desfechos importantes para o paciente. Os autores acabam tendo que presumida do teste nos desfechos importantes de quaisquer diferenças nos verdadeiros e falsos estudos de acurácia fornecem baixa qualidade evidência indireta para os desfechos, de forma similar tratamento.
66 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica Conclusão Fatores que determinam e podem diminuir a qualidade da evidência Evidência indireta indirecteness Inconsistência Viés de publicação Fonte: Schünemann e cols. 64 ser rebaixada nesse quesito se diferenças importantes qual o teste seria recomendado. Em relação aos testes estudados, a qualidade da mesmo se comparados com um terceiro teste comum, considerado como padrão de referência. Inconsistências inexplicáveis na sensibilidade, reduzir a qualidade da evidência. evidência nesse quesito. O risco é provável quando a fonte de evidências é apenas de estudos muito pequenos ou como resultado 65
68 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica 6 CONCLUSÕES DA DIRETRIZ 67 Deve-se ressaltar que esta diretriz não esgota de forma alguma o assunto, de modo que o pesquisador que pretende realizar uma revisão deverá se aprofundar nos tópicos necessários, da necessidade de consultoria, entre outros, são os fatores que irão
70 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica REFERÊNCIAS 1. Handbook for DTA reviews em: maio BRASIL. Ministério da Saúde. Secretaria de Ciência, Tecnologia e Insumos Estratégicos. Diretrizes metodológicas: metanálise de ensaios clínicos randomizados. Brasilia: Ministério da Saúde p. 3. evidence for clinical decisions. Annals of Internal Medicine, Philadelphia, v. 126, n. 5, p , Annals of Internal Medicine, Philadelphia, v. 120, n. 8, p , , London, v. 323, n. 7305, p , The New England Journal of Medicine, Waltham, v. 299, n. 17, p , Acesso em: maio The Cochrane Library UNIVERSITY OF YORK.. Disponível BRASIL. Ministério da Saúde. Secretaria de CIência, Tecnologia e Insumos Estratégicos. Rede Brasileira de Avaliação de Tecnologias em Saúde - Sisrebrats.
71 Ministério da Saúde The Washington Post 14. Studies - CRDTAS 15. Journal, Malden, v. 23, n. 1, p. 3-12, Journal of Clinical Epidemiology, Maryland, v. 61, n. 4, p , MEDICINE. Evidence-Based Laboratory Medicine (C-EBLM) Base. Disponível em: 19. ARIF databases 20. Health Technology Assessment Database (HTA 21. Database of 22. Epidemiology, Oxford, v. 31, n. 1, p , Medical Journal, London, v. 331, n. 1, p , 2005.
72 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica 24. : pushing 25. FRASER, C. et al Oct 23-26; Dublin, Ireland: ELSEVIER EMBASE TEAM. Access 24 million records with Embase.[mensagem 27. p , LILACS 29. PROQUEST , Zagreb, v. 44, n. 5, p , , Washington, v. 70, n. 4, p , 1968.
73 Ministério da Saúde 36. Clinical Chemistry, Washington, v. 50, n. 3, p , Radiology, 38. COLE, M. G. Impact of geriatric home screening services on mental state: a, Cambridge, v. 10, n. 1, p , , 40. imperfect reference standards. Journal of Clinical Epidemiology, Maryland 41. BMC Medical Research Methodology, London, p. 5-19, Journal of General Internal Medicine, Bethesda, v. 4, n. 4, p , JUNI, P. et al. The hazards of scoring the quality of clinical trials for meta-analysis., Chicago, v. 282, n. 11, p , the quality of controlled clinical trials., London, v. 323, n. 7303, p , BMC Medical Research Methodology, London, p. 3:25, heterogeneity and combining results from several studies in meta-analysis. In: meta-analysis in context. London: BMJ Publishing Group, 2001, p DERSIMONIAN, R.; LAIRD, N. Meta-analysis in clinical trials. Controlled Clinical Trials
74 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica 48. Medical Decision Making Jersey, v. 13, n. 4, p , , Malden, v. 12, n. 14, p , Journal of Clinical Epidemiology 51. RUTTER, C. M.; GATSONIS, C. A. A hierarchical regression approach to meta-, Malden, v. 20, n. 19, p , BMC Medical Research Methodology, London, p. 6:31, TAKWOINGI, Y.; DEEKS, J. J. MetaDAS: 54., Malden, v. 21, n. 11, p , , Malden, v. 21, n. 11, p , Controlled Clinical Trials, 57. The Lancet, London, v. 337, n. 8746, p , guidelines on choice of axis. Journal of Clinical Epidemiology v. 54, n. 10, p , Journal of Clinical Epidemiology 58, n. 9, p , 2005.
75 Ministério da Saúde , Oxford, v. 31, n. 1, p , papers., London, v. 318, n. 7193, p , , London, v. 328, n. 7454, p. 1490, , London, v. 336, n. 7653, p , , London, v. 336, n. 7651, p , The Cancer, v. 1, n. 3, p , Journal of Clinical Epidemiology 56, n. 11, p , The Journal of Urology, Philadelphia, v. 169, n. 6, p , LIJMER, J. G. et al. Empirical evidence of design-related bias in studies of, Chicago, v. 282, n. 11, p , Annals of Internal Medicine, Philadelphia, v. 140, n. 3, p , studies. Clinical Chemestry, Washington, v. 51, n. 8, p , Medical Journal, London, v. 324, n. 7336, p , 2002.
76 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica 75 APÊNDICES
78 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica APÊNDICE 1: Construção da estratégia de busca: símbolos e operadores booleanos diagnose diagnoses diagnosed 77 woman women AND: AND entre os termos que caracterizam esses dois testes. A ordem dos termos não altera os resultados, ou seja, recuperaremos a mesma resonance imaging AND brain ischemia ou brain ischemia AND resonance imaging Figura 1 Operador booleano AND Fonte: elaboração própria.
79 Ministério da Saúde 78 OR: resonance resonance que avaliaram qualquer intervenção na isquemia cerebral. Também espera-se recuperar os estudos que relacionaram ambos os termos. A ordem dos termos também não altera os resultados. Figura 2 Operador booleano OR Fonte: elaboração própria. NOT: brain ischemia brain
80 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica Figura 3 Operador booleano NOT 79 Fonte: elaboração própria. Elaborar uma única versão de uma estratégia de busca geralmente não é possível. O operadores booleanos. Os termos podem ser copiados em arquivo Word para que, sempre que necessário rodar uma nova estratégia, possam ser adicionados na caixa de pesquisa da
82 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica APÊNDICE 2: Gerenciadores de referências: o que são e como utilizá-los único arquivo, bem como referências advindas da busca manual, gerando uma biblioteca. 81 para os sistemas operacionais. Programa Acesso Mac OS X Linux Aigaion Gratuito Sim Sim Sim Bebop Gratuito Sim Sim Sim Gratuito Não Sim Não Biblioscape Comercial Sim Não Não Bibus Gratuito Sim Em teste Sim Comercial Não Sim Não Citavi Comercial Sim Não Não Connotea Gratuito Sim Sim Sim Docear Gratuito Sim Sim Sim EndNote Comercial Sim Sim Não JabRef Gratuito Sim Sim Sim Jumper 2.0 Gratuito Sim Sim Sim KBibTeX Gratuito Em teste Em teste Sim Mendeley Gratuito versão básica Sim Sim Sim Papers Comercial Sim Sim Não
83 Ministério da Saúde 82 Pybliographer Gratuito Parcial Parcial Sim Qiqqa Gratuito Sim Não Não Gratuito Sim Sim Sim RefDB Gratuito Sim Sim Sim Reference Manager Comercial Sim Não Não Referencer Gratuito Não Não Sim Comercial Sim Sim N/A Scholar's Aid Gratuito na versão básica Sim Não Não Sente Comercial Não Sim Não Gratuito Sim Sim Sim WizFolio Zotero Gratuito versão básica Gratuito versão básica Sim Sim Sim Sim Sim Sim Fonte: elaboração própria. Cada gerenciador de referências tem suas peculiaridades, que devem ser exploradas na a maioria das etapas fundamentais para a criação de uma biblioteca única são de fácil entendimento e execução. send to Creat
84 Diretrizes Metodológicas: Elaboração de revisão sistemática e metanálise de estudos de acurácia diagnóstica Figura 4 Tela do PubMed para criar o arquivo da busca 83 Fonte: PUBMED, export na barra azul superior da tela de resultados. Então, escolhe-se o formato de exportação Plain text Full record export Figura 5 Tela do Embase com resultado da busca e opção para exportar Fonte: EMBASE, 2013.