Práticas de pesquisa questionáveis são abundantes em psicologia - SimplesMente
27 de setembro de 2017 10 de dezembro de 2017 Jerônimo Gregolini Pucci
Práticas de pesquisa questionáveis, incluindo a testagem de um número cada vez maior de participantes até que um resultado seja encontrado, são os "esteroides da competição científica, que aumentam a performance artificialmente" – de acordo com Leslie John e seus colaboradores, que encontraram evidências de que tais práticas são preocupantemente comuns entre psicólogos americanos. Os resultados desta pesquisa estão sendo publicados na revista Psychological Science e eles chegarão em um momento em que a comunidade psicológica ainda está se recuperando da fraude de um importante psicólogo social na Holanda. A psicologia não está sozinha. Estudos anteriores levantaram problemas similares quanto à integridade da pesquisa médica.
O grupo de pesquisadores de John interrogou 6.000 psicólogos acadêmicos nos Estados Unidos via uma pesquisa eletrônica e anônima sobre o uso de 10 práticas de pesquisa questionáveis, incluindo: deixar de declarar todas as medidas dependentes; coletar mais dados após checar se os resultados eram significantes; reportar seletivamente estudos que "funcionaram"; e falsificar dados.
Assim como declararam o seu próprio uso de práticas de pesquisa questionáveis e a defesa das mesmas, também foi pedido aos participantes para que estimassem a proporção de outros psicólogos envolvidos com estas práticas e a proporção destes psicólogos que, caso perguntados, provavelmente admitiriam seu envolvimento com tais práticas.
Pela primeira vez neste contexto, a pesquisa também incorporou um incentivo para que os participantes dissessem a verdade. Foi dito a alguns participantes que uma doação maior para instituições de caridade seria feita pelos pesquisadores caso eles respondessem honestamente (baseado em uma comparação entre as confessas práticas de pesquisa de um participante, a média de confissão e a média estimativas de tais práticas por outros psicólogos). Mais de dois mil psicólogos completaram o questionário. Ao se comparar os dados colhidos de psicólogos que receberam o incentivo vs. aqueles que não o receberam, fica claro que o incentivo promoveu maiores taxas de admissão.
Dentre as declarações quanto aos comportamentos próprios e de outros psicólogos, os resultados alarmantes sugerem que, em média, um dentre dez psicólogos falsificaram dados de pesquisa, enquanto a maioria: reportou seletivamente estudos que "funcionaram" (67%); não declarou todas as medidas dependentes (74%); continuou a coletar dados para alcançar um resultado significante (71%); reportou descobertas inesperadas como esperadas (54%); e excluiu dados post-hoc (58%). Participantes que admitiram mais práticas questionáveis tenderam a alegar que elas eram mais defensáveis. Trinta e cinco por cento dos participantes disseram que eles tiveram dúvidas sobre a integridade de sua própria pesquisa. Ao separar os resultados por subdisciplinas, taxas relativamente maiores de práticas questionáveis foram encontradas entre psicólogos cognitivos e sociais, além de neuropsicólogos. Menos transgressões foram encontradas entre psicólogos clínicos.
John e seus colaboradores disseram que muito dos métodos duvidosos que eles investigaram estavam em uma "zona-cinza" de práticas aceitáveis. "A ambiguidade inerente à defensibilidade de práticas de pesquisa pode levar pesquisadores a, ainda que inadvertidamente, usar esta ambiguidade para se iludirem que suas próprias práticas de pesquisa duvidosas são 'defensáveis'". É revelador que um questionário de follow-up que abordou psicólogos sobre a defensibilidade das práticas questionáveis, mas sem perguntar sobre o próprio envolvimento com estas práticas, levou a taxas de defensibilidade muito menores.
O conjunto de pesquisadores de John pensam que as descobertas desta pesquisa podem ajudar a explicar o "efeito do declínio" na psicologia e em outras ciências – isto é, a tendência de declínio do tamanho do efeito graças a replicações de resultados prévios. Talvez este efeito se dá porque o tamanho do efeito original, maior, foi obtido através de práticas questionáveis.
O atual estudo também complementa um artigo recente publicado na Psychological Science por Joseph Simons e colaboradores, que usou simulações e um experimento real para mostrar como brincar com variáveis dependentes, tamanhos de amostra e outros fatores (o tipo de práticas explorados no atual estudo) pode aumentar enormemente o risco de uma descoberta falso-positivo – isto é, alegar um efeito positivo onde não há nenhum.
"[Práticas de pesquisa questionáveis] … ameaçam a integridade da pesquisa e produzem resultados irrealisticamente elegantes que podem ser difíceis de reproduzir sem que se envolva em tais práticas", John e seus colaboradores concluíram. "Isto pode levar a uma 'corrida para o fundo', com pesquisas questionáveis gerando ainda mais pesquisas questionáveis."
Artigo original disponível no Research Digest da BPS.
Leslie John, George Loewentstein, Drazen Prelec (no prelo). Measuring the prevalence of questionable research practices with incentives for truth-telling. Psychological Science.