Peer review – o lado bom e o lado ruim – Foca na Ciência
fmneto julho 7, 2016 novembro 27, 2017 Nenhum comentário em Peer review – o lado bom e o lado ruim
Peer-review é o nome usualmente dado ao processo de seleção de artigos utilizado pelas principais revistas científicas do mundo. Em poucas palavras, trata-se de avaliar os trabalhos submetidos para publicação com o auxílio da própria comunidade científica. Quando um pesquisador envia seu trabalho para uma revista científica, esse trabalho será enviado a outros cientistas da área para que eles o revisem e apontem possíveis problemas no texto, garantindo assim que o artigo publicado atenda aos critérios da revista.
Em primeira análise, é um sistema desejável; ele parte do princípio da autocrítica da ciência, isto é, da suposição de que uma idéia deve resistir ao escrutínio alheio para ser aceita.
A princípio, parece um sistema fácil de se gerenciar. No entanto, existem vários problemas cuja solução não é nada trivial. Um dos principais é o fator humano: esse sistema é executado e gerenciado por seres humanos, e portanto está sujeito a falhas, vícios e desvios de caráter.
Quando um artigo é submetido, por definição ele envolve informações novas e conclusões inéditas. Quando essas informações são enviadas aos revisores, qualquer um deles pode simplesmente usar essas informações e submetê-las a outro jornal, como se fossem suas, enquanto "sequestra" o artigo em revisão, que não pode ser aprovado nem reprovado sem que ele se manifeste. Até Albert Einstein teria encontrado um artigo seu sendo submetido a um periódico norte-americano.
Outro problema é que não existe um procedimento unificado de revisão. Cada editor aplica o que considera a melhor prática, mas isso varia entre as diferentes companhias que detêm a maior fatia do mercado editorial científico. Como boa parte das revistas científicas pertence a grupos comerciais, o lucro acaba sendo um fator levado em conta nas decisões editoriais. Pior ainda, o viés de confirmação acaba sendo reforçado por isso, especialmente em estudos que são patrocinados por grandes companhias.
Outra dificuldade é o volume de informações disponível atualmente. Com o aumento no número de pessoas trabalhando com pesquisa é natural que o número de trabalhos seja maior, e isso torna muito difícil para qualquer um se manter completamente atualizado sobre áreas de estudos que não sejam muito restritas. Com tanta informação, é de se esperar que alguns desvios passem despercebidos pelo "referee". Ocasionalmente surgem casos de artigos que são retirados por causa de "problemas de referenciamento" – que podem ou não ser intencionais.
O sistema atual é falho, e muitas vezes um artigo nem sequer chega a ser considerado para publicação, sem nem mesmo ser enviado para revisão. Isso torna o processo de seleção ainda menos eficiente, pois sem revisão não há maneira de determinar se um trabalho é ou não relevante. De fato, ele têm falhas desde seu surgimento, há quase trezentos anos.
No entanto, um método de seleção se faz necessário. Simplesmente publicar tudo que aparece não é uma opção, pois isso daria uma certa validação a trabalhos que não a merecem, seja porque não apresentam nada de construtivo ou porque não podem nem mesmo ser classificados como trabalho científico.
Na Era da Informação o grande desafio é justamente selecionar o que vale a pena do que não vale. Mais que nunca, quantidade não é sinônimo de qualidade.
Que o sistema de peer review não é perfeito não é novidade – e os editores sabem disso. Há pelo menos trinta anos existem congressos dedicados exclusivamente a debater o processo. A oitava edição do Peer Review Congress deve ocorrer no ano que vem, em Chicago.
Existem atualmente pelo menos seis métodos diferentes para o processo de revisão de trabalhos, que variam desde o processo totalmente fechado, em que revisores e autores são totalmente anônimos entre si, até processos totalmente abertos, onde autores e revisores são identificados e podem ser citados livremente. Para saber mais sobre esses métodos, veja este artigo.
Somente agindo de maneira sistemática e diligente – como é de se esperar de cientistas – é que será possível separar o bom trabalho do mau trabalho, e o avanço científico legítimo da enganação predatória.