Meu artigo estava errado. Depois de uma noite sem dormir, aqui está o que fiz a seguir

Como estatístico com 20 anos de experiência na área de ecologia, enfrentei recentemente um momento desafiador. Em agosto, alguns colegas no Canadá publicaram uma resposta¹ a um artigo que co-escrevi há uma década, mostrando que o método que meus coautores e eu propusemos naquela época é fundamentalmente falho.

O método em questão é um modelo estatístico² que combina diversas fontes de dados sobre animais individuais, bem como dados em nível de espécie, para melhorar a estimativa da abundância animal em um ambiente específico. Isto é superior porque ter uma estimativa fiável da abundância é crucial para orientar os esforços de gestão para proteger as espécies em risco, estabelecer quotas de caça e regular as espécies invasoras. Estimativas de abundância incorrectas ou tendenciosas podem levar ao desperdício de recursos e a estratégias de gestão mal informadas.

Por exemplo, imagine que você gerencia uma reserva de caça que abriga exatamente 1.000 aves de caça. Se uma cota de caça for fixada em 20% da população total, mas um modelo superestimar a população em 10%, colocando-a em 1.100 aves, você acabou de autorizar a caça de mais 20 aves do que deveria.

Dinheiro por erros: projeto oferece recompensa por detectar erros em artigos publicados

Jack Thomas, da Universidade de Victoria, no Canadá, Simon Bonner, da Western University, em Londres, no Canadá, e Laura Cowen, da mesma forma em Victoria, mostraram que o modelo que desenvolvemos faz o oposto disso: subestima sistematicamente a abundância. A principal razão para isto é que não levamos em conta como os animais ocupam o espaço durante uma pesquisa. Se os animais se moverem lentamente ou tiverem áreas de vida pequenas, poderão ser detectados apenas num local por período de amostragem, levando a uma subestimação da sua verdadeira abundância. Por outro lado, se eles se moverem rapidamente ou tiverem grandes alcances, poderão ser detectados em vários locais, distorcendo potencialmente os dados. Laetitia Blanc, a primeira autora do nosso artigo, era candidata a doutoramento na altura, mas desde então deixou a academia para se tornar professora do ensino secundário. Ela não teve nada a ver com a falha do método, nem meus coautores. Como estatístico do nosso grupo, bem como autor sênior, vejo isso como um erro meu e somente meu.

Tempo de pesadelo

Recebi a notícia de que nosso jornal foi desmascarado tarde da noite, quando eu estava prestes a dormir. Fridolin Zimmermann, biólogo da vida selvagem na fundação de conservação KORA em Ittigen, Suíça, e coautor do nosso artigo, partilhou por e-mail um link para a nova resposta ao nosso trabalho, e a princípio tentei ignorá-lo. Tentei dormir, mas não consegui. Levantei-me, abri meu laptop e comecei a ler. E percebi rapidamente que os autores estavam certos sobre nossos erros.

Passei por uma mistura inebriante de emoções e me fiz uma longa série de perguntas tarde da noite. Por que não vi o problema? O que devo dizer aos meus colegas? Alguém realmente usou o modelo para informar estratégias de conservação? E se todas as outras ideias que tive e terei da mesma forma forem quebradas? O que a comunidade vai pensar de mim?

Na esperança de uma catarse, decidi compartilhar como respondi à experiência.

Como posso publicar em acesso aberto quando não posso pagar as taxas?

Minha primeira ação foi enviar um e-mail aos autores do documento de resposta e parabenizá-los pelo trabalho. Similarmente compartilhei minha surpresa por não ter sido notificado antes da publicação do artigo. Eles pediram desculpas por esquecer de me informar. Sem ressentimentos: agradeço aos autores por identificarem nossos erros e por dedicarem seu tempo para explicá-los e abordá-los em um artigo. Eles corrigiram o registro científico e estou profundamente grato por isso.

Minha segunda ação foi divulgar o novo artigo e o que ele significou para o nosso trabalho anterior, de uma forma tópico curto em X. O feedback da comunidade ecológica tem sido positivo, o que tem sido um grande alívio, e me fez sentir bem conosco como um coletivo de pessoas. Meus coautores da mesma forma me apoiaram muito.

Aqui estão alguns conselhos que tenho para outras pessoas que se encontram em circunstâncias semelhantes.

Não leve isso (muito) para o lado pessoal

Existe uma problema real em responder a tal situação, e este desafio é provavelmente maior para os investigadores em início de carreira do que para os investigadores seniores. Acho que o segredo é não levar para o lado pessoal. Agora que minha carreira está consolidada, isso é muito mais fácil para mim, porque já vivi fracassos e tenho conquistas que os compensam.

Há vinte anos, quando tinha acabado de terminar o meu doutoramento, teria encarado um momento como este de forma muito mais pessoal. Gostaria de ter percebido mais cedo, como jovem investigador, que a coisa mais superior a estabelecer no início da sua carreira – e a reavaliar continuamente à medida que cresce, tanto pessoal como profissionalmente – é um equilíbrio entre trabalho e vida pessoal. É tão fácil ser engolido pelo trabalho quando é algo que você adora realizar ou simplesmente porque está sob pressão para ter sucesso ou conseguir um cargo permanente.

Um erro na ciência é incômodo, mas, no final das contas, é apenas parte do trabalho: manter um senso de perspectiva torna os contratempos mais administráveis. Sou grato por estar cercado por uma comunidade de colegas com quem posso conversar, especialmente quando estou enfrentando erros. No geral, penso que se nós, como investigadores, começarmos a partilhar os nossos fracassos de forma mais aberta, será mais fácil enfrentá-los juntos, como uma comunidade. Dessa forma, podemos consertar as coisas sem culpar ninguém.

Tudo em prol da ciência aberta e reproduzível

Em nosso artigo original, meus coautores e eu disponibilizamos o código, o que permitiu que nossos colegas reproduzissem nossos resultados (falhos). Isto enfatiza a relevância de tornar a pesquisa reproduzível e aberta. Normalmente, trabalho com uma combinação da linguagem de programação Markdown em R (R Markdown) para escrever textos, incluindo equações via Latex, e analisar dados em um único documento reproduzível. Similarmente uso o Git/GitHub para rastrear alterações de código, geralmente em colaboração com colegas, e compartilho meu código GitHub no artigo final.

No final das contas, é um alívio que, apesar de compartilharmos o código, o método não tenha sido usado a não ser para refutá-lo. Uma coisa que poderíamos ter feito para detectar esse problema mais cedo – e algo que o documento de resposta usou – são simulações. Normalmente, os pesquisadores ajustam um modelo estatístico a dados reais para estimar os parâmetros do modelo. Nas simulações, as coisas invertem: os parâmetros são definidos primeiro e o modelo é então usado para gerar dados falsos.

Isso permite que os pesquisadores vejam o desempenho de seu modelo sob diversas condições, mesmo quando suas suposições não são atendidas. Em outras palavras, dá-lhes a oportunidade de verificar um modelo: se o usarem para gerar dados, deverão acabar com estimativas de parâmetros bastante próximas dos valores com os quais começaram. Esta abordagem é mais comum agora, inclusive na ecologia estatística, do que era quando meus coautores e eu publicamos nosso artigo de 2014.

A ciência funciona em incrementos

Há muito valor na sequência de eventos em que estive envolvido. Um artigo é publicado e é seguido por uma resposta e, às vezes, por uma tréplica. É daquela maneira que a ciência deve funcionar: de forma incremental, invalidando hipóteses ou métodos, seja num único artigo ou em vários artigos, à medida que os investigadores avançam lentamente em direcção a uma compreensão mais profunda e completa do mundo.

Esta abordagem destaca a natureza iterativa e autocorretiva da ciência.

O que aprendi executando um bootcamp de codificação

No entanto, o negócio de publicação de artigos tornou-se inadequado para este ideal. Apesar de ser crucial para a forma como a ciência é divulgada, o ato de revisar artigos é subvalorizado nas carreiras de pesquisa. E o acto de corrigir ou retratar um artigo pode ser prejudicial para a reputação e pessoalmente embaraçoso: muitas vezes, estes avisos estão associados a fraude ou engano, em vez de serem vistos como um sinal de progresso científico saudável. Além disso, os documentos de resposta e os comentários muitas vezes carecem do reconhecimento e da visibilidade que merecem.

Para preencher a lacuna entre as atuais práticas de publicação e o verdadeiro propósito da investigação científica, são necessárias várias mudanças. Em primeiro lugar, na minha opinião, deveríamos elevar o papel da revisão por pares, reconhecendo a sua relevância na manutenção da integridade da ciência. Isto pode envolver a introdução de incentivos, tais como a valorização das revisões como contribuições científicas, a sua incorporação em critérios de estabilidade e promoção, ou mesmo o fornecimento de compensação financeira. Em segundo lugar, devemos mudar a percepção das correcções e retratações escritas, encarando-as como componentes essenciais do progresso científico e não como sinais de fracasso. Os periódicos deveriam promover o diálogo entre os autores, e os editores poderiam facilitar todo o processo, sugerindo rotineiramente que os autores escrevessem réplicas e relaxando as restrições de extensão e tempo de envio.

Eu sugeriria a outros cientistas que se encontrem numa situação semelhante que tomem medidas proactivas para defender estas mudanças - seja por dentro de de conselhos editoriais, sociedades profissionais ou nas suas próprias instituições - para ajudar a realinhar o processo de publicação com o verdadeiro espírito da ciência científica. descoberta.

A ciência é um empreendimento humano

Cometer erros é uma parte fundamental do ser humano e, como a ciência é conduzida por humanos, os erros acontecem à medida que as linhas de pesquisa são prosseguidas. Contudo, este aspecto da ciência raramente é enfatizado; muitas vezes não gostamos de reconhecer nossas imperfeições.

Aceitar nossos erros é crucial para o crescimento pessoal e profissional. Na verdade, deveríamos ir mais longe e mostrar nossos erros aos nossos alunos e ao público. Poderá ajudar a reparar a actual crise de confiança na ciência. Uma maneira é por dentro de de um currículo de fracassos, ou um currículo sombra. Acho que preciso adicionar outra linha à minha.