retratação de estudo de reprodutibilidade de alto perfil leva a um exame de consciência

A retração de um papel de alto perfil¹ que testou maneiras de melhorar a solidez dos estudos científicos destacou os desafios dessa pesquisa de “reprodutibilidade”. Os autores do artigo retratado incluem alguns dos titãs da área.

No estudo, publicado em Natureza Comportamento Humano em novembro passado, os autores descreveram um protocolo de pesquisa rigoroso envolvendo características como amostras grandes, com o objetivo de garantir a solidez dos experimentos psicológicos. Os autores aplicaram seu protocolo a dezenas de projetos de pesquisa. Eles relataram que, como resultado, 86% das tentativas de replicação confirmaram os resultados esperados – uma das mais altas “taxas de replicação” já registradas por tais estudos. Mas os editores da revista retiraram o artigo em 23 de setembro, afirmando no aviso de retratação² que “já não têm confiança na fiabilidade dos resultados e conclusões”.

Os autores concordam com apenas uma das preocupações da revista, que os autores atribuem a um descuido inocente. Um dos autores, Jonathan Schooler, psicólogo da Universidade da Califórnia, em Santa Bárbara, disse Natureza que o grupo está trabalhando em uma nova versão do manuscrito para reapresentação.

Os pesquisadores que acompanham o caso dizem que ele destaca os problemas com um princípio de ciência aberta: pré-registro, a prática de especificar, por escrito, os detalhes de um estudo, incluindo as hipóteses e análises planejadas, antes da pesquisa ser realizada, em uma tentativa de eliminar os dados. manipulação e relato seletivo de resultados.

“O que isto mostra é que efetuar boa ciência é difícil, muito mais difícil do que a maioria das pessoas parece pensar”, diz Sam Schwarzkopf, neurocientista visual da Universidade de Auckland, na Nova Zelândia. “Na maioria das vezes, o pré-registro faz as pessoas perceberem que seus planos bem pensados ​​não dão certo quando confrontados com a dura e fria realidade da coleta de dados.”

Quatro equipes e 64 esforços de replicação

O artigo descreveu um esforço complexo e extenso: quatro equipes de pesquisa realizaram, cada uma, estudos piloto pré-registrados nas ciências sócio-comportamentais. Um dos estudos, por exemplo, examinou se a pressão do tempo distorcia a tomada de decisões³. Se o estudo piloto descobrisse algum efeito, a equipe tentaria confirmar os resultados em uma amostra de pelo menos 1.500 pessoas. Todas as quatro equipes tentaram replicar os experimentos selecionados para confirmação, para ver se obteriam os mesmos resultados. Cada equipe tentou replicar quatro de seus próprios experimentos e quatro de cada uma das outras três equipes.

O modelo de replicação entre pares visa abordar a 'crise de reprodutibilidade' da ciência

Dos 64 esforços de replicação, 86% foram bem-sucedidos — ou seja, produziram os resultados esperados e esses resultados foram estatisticamente significativos. Em contraste, outros estudos de replicação nas ciências sociais e comportamentais relataram taxas de replicação de 50%, em média.

Os autores do estudo retratado atribuíram sua alta taxa de replicação a “práticas que aumentam o rigor”, como amostras grandes, pré-registro e transparência sobre os métodos. A adoção de tais práticas poderia ajudar a tornar os estudos mais confiáveis, escreveram os autores.

Pouco depois da publicação do artigo, Joseph Bak-Coleman, cientista social da Universidade de Konstanz, na Alemanha, e Berna Devezer, que estuda marketing na Universidade de Idaho, em Moscou, questionaram sua validade em uma pré-impressão⁴ que foi carregado no servidor PsyArXiv. Observaram que os autores não haviam pré-registrado alguns elementos do artigo, inclusive sua questão central: o protocolo dos autores aumentaria a reprodutibilidade? Separadamente, Bak-Coleman enviou páginas de análise aos editores do Natureza Comportamento Humanoque iniciou uma investigação que acabou levando à retratação.

Em um comentário⁵ acompanhando a retratação, Bak-Coleman e Devezer escreveram que “a replicabilidade não era o resultado original de interesse no projeto, e as análises associadas à replicabilidade não foram pré-registradas conforme alegado”. O aviso de retratação ecoou essas declarações. (Natureza Comportamento Humano é publicado pela Springer Nature, que assim como publica Natureza. NaturezaA equipe de notícias é editorialmente independente de seu editor.)

Uma admissão autoral

No dia da retratação, seis dos Natureza Comportamento Humano autores publicaram um relato de seu lado da história⁶. Nele, admitem que algumas análises do estudo não foram pré-registradas. Mas eles chamam outras afirmações do aviso de retratação de “imprecisas”, como a constatação da revista de que os autores tinham conhecimento dos dados ao realizar as análises. A revista discorda que o aviso de retratação contenha imprecisões.

Brian Nosek, diretor executivo do Center for Open Science em Charlottesville, Virgínia, e coautor do estudo retratado, diz que foi chocante descobrir que o erro no pré-registo tinha escapado aos seus processos de gestão de projetos. “Não sei quantas vezes li aquele jornal com essas afirmações errôneas sobre tudo estar pré-registrado e perdi. Foi só uma bagunça”, diz ele.

Nosek, considerado pioneiro no pré-registro, diz ainda que, desde o início, o objetivo do projeto era a replicabilidade, contrariando a crítica de Bak-Coleman e Devezer.

Desafios de pré-registro

A saga ilustra as deficiências do pré-registro, diz Yoel Inbar, psicólogo da Universidade de Toronto, no Canadá. “Já vi muitos pré-registros vagos, que não foram seguidos à risca ou onde o trabalho final meio que misturava as análises pré-registradas e não pré-registradas”, diz ele.

Teste de reprodutibilidade: 246 biólogos obtêm resultados diferentes dos mesmos conjuntos de dados

A Inbar está cada vez mais convencida de que a melhor opção é o formato de pré-registro denominado relatórios registrados, no qual os pesquisadores submetem seu protocolo de estudo, incluindo seus fundamentos e métodos, a um periódico para revisão por pares antes da coleta de dados. Os editores decidem se aceitam o estudo com base na destaque da questão de pesquisa e no rigor dos métodos, e comprometem-se a publicar os resultados se o trabalho for realizado conforme descrito.

Outros dizem que a revista é parte do problema. Anne Scheel, metacientista da Universidade de Utrecht, na Holanda, diz que embora os autores tenham errado, os editores deveriam ter notado a falta do pré-registro. Os revisores nem sempre verificam o pré-registro, e grandes periódicos como Natureza Comportamento Humano “precisam de processos para realmente revisar o pré-registro”, diz ela.

Um porta-voz da revista diz que está investigando mudanças em suas práticas. “A revista está procurando maneiras de melhorar a transparência, a padronização e os requisitos de relatórios para o pré-registro nas ciências sociais e comportamentais, o que fortalecerá os esforços para monitorar o cumprimento do pré-registro”, acrescenta o porta-voz.

Tempo gasto para todos

Projetos extensos em que vários grupos de pesquisa tentam os mesmos experimentos são difíceis de gerenciar, diz Olavo Amaral, pesquisador de reprodutibilidade da Universidade Federal do Rio de Janeiro, no Brasil. Ele fala por experiência própria: dirige o Projeto Brasileiro de Reprodutibilidade, uma tentativa de reproduzir resultados de dezenas de estudos biomédicos realizados em laboratórios do país. “Continuamos encontrando erros”, diz ele.

Ele diz que as críticas ao artigo retratado devem ser abordadas, mas os problemas não abalam sua opinião sobre a obra. “Os resultados parecem bastante replicáveis”, diz ele. “Não acho que as críticas ao pré-registro mudem muito minha opinião sobre o jornal.”