In the Scientific American journal (https://www.scientificamerican.com/article/to-qualify-as-scientific-
evidence-has-to-be-reproducible/), published in March 2021, Avi Loeb proposes a comparison with
the story of Abraham and Isaac in the bible. Abraham hears the voice of God asking him to sacrifice
his only son. Nowadays, Abraham might have recorded the voice to use it to convince the world that
the experience was real. In science, however, that would not be enough. The keyword here is
reproducibility. In other words, the strength of scientific results must be verified by you and confirmed
by others. Experiments and measurements must be repeated as many times as needed to
guarantee that the observed results are true!
Going over the innumerable unread e-mails received in 2022, I found some missed gems. Presenting
neither bombastic scientific results nor great novelties, some of these maybe didn´t call your
attention. More specifically, some of them tracked, analyzed, and discussed lack of reproducibility,
misconduct, and failures in following good practices in research. Another newsletter from The
Scientist, printed on January 25, 2022 (https://www.the-scientist.com/news-opinion/study-finds-
reproducibility-issues-in-high-impact-cancer-papers-
69490?utm_campaign=TS_DAILY_NEWSLETTE%E2%80%A6) reports on a project launched in
2013 by the non-profit organization COS (Center for Open Science) in collaboration with Science
Exchange Marketplace ( www.scienceexchange.com ).
This work tried to reproduce the major results
of 53 studies (193 experiments) on cancer published in the high impact journals Nature, Cell, and
Science during the three preceding years. To make a long story short, only 23 studies (50
experiments) could be replicated due to a variety of reasons. These included lack of details in
methods or sufficient information for adequate reproduction, and even missing original reagents.
Worse, only part of the experiments yielded the same results. The authors point out that that doesn´t
necessarily equate with false results, but only that those conditions varied or results weren´t robust
enough. Therefore, not a case of misconduct or deliberate fraud, but the portrait of the true nature of
the largely publicized reproducibility crisis.
And, news in end of 2022 from Vox (https://www.vox.com/future-perfect/23489211/replication-crisis-
project-meta-science-psychology) informs of another study, this time in the area of Psychology,
organized by Clearer Thinking, which intends to replicate all studies published in Nature and
Science, when not too complex. Other examples include revising genome screening and genetic
studies. In Brazil, a team led by Prof. Olavo Amaral from UFRJ, funded by the Serrapilheira Institute
is developing the Brazilian Initiative for Reproducibility. A great undertaking, wouldn´t you agree?
Revisitando, a reprodutibilidade na ciência ainda é uma questão super atual!
Em matéria publicada em março de 2021, na revista Scientific American (https://www.scientificamerican.com/article/to-qualify-as-scientific-evidence-has-to-be-reproducible/) , Avi Loeb faz uma comparação com a história bíblica de Abrão e Isaac. Abrão escuta a a voz de Deus pedindo que sacrifique seu único filho. Nos dias atuais, Abrão poderia gravar a voz e eventualmente usar isso para convencer o mundo da realidade de sua experiência. Para a ciência, no entanto, isso não seria suficiente. A palavra-chave aqui é reprodutibilidade, ou seja, a verificação da robustez dos resultados por você e por outros pesquisadores. Experimentos e mensurações precisam ser repetidos um número suficiente de vezes para garantir que os resultados são verdadeiros!
Passando pelos inúmeros e-mails que deixei de ler durante o ano de 2022, deparei com algumas jóias que, por não tratarem de achados científicos bombásticos ou grandes novidades, talvez deixaram de chamar a atenção. Especificamente, alguns destes artigos tratam de rastrear, avaliar e debater a falta de reprodutibilidade, a má-conduta e falhas nas boas práticas na pesquisa científica.
Em 25 de janeiro de 2022, matéria na newsletter do The Scientist (https://www.the-scientist.com/news-opinion/study-finds-reproducibility-issues-in-high-impact-cancer-papers-69490?utm_campaign=TS_DAILY_NEWSLETTE%E2%80%A6) traz a notícia de um projeto lançado em 2013 pela organização sem fins lucrativos, Centro para Ciência Aberta (em inglês, COS) em colaboração com a empresa de mercado de pesquisa Science Exchange. Este projeto tentou reproduzir o resultado mais importante de 53 estudos (193 experimentos) publicados em revistas de alto impacto (Nature, Cell, Science) na área de câncer, nos 3 anos anteriores. Resultado, apenas 23 estudos (50 experimentos) puderam ser replicados, por uma variedade de motivos, incluindo a ausência de dados suficientes que permitisse a replicação adequada, falta de métodos detalhados e mesmo falta dos reagentes originais. Pior, apenas uma parte destes forneceram os mesmos resultados.
Os autores apontam que isso não necessariamente significa que os resultados são falsos, apenas que as condições variaram ou que os resultados não eram suficientemente robustos. Ou seja, não se trata de má-fé, na grande maioria das vezes, mas, sim, de um retrato da verdadeira natureza da tão falada crise de reprodutibilidade na pesquisa. E agora no final do ano, noticia na Vox (https://www.vox.com/future-perfect/23489211/replication-crisis-project-meta-science-psychology) fala do lançamento de outro projeto, desta vez na área da psicologia, organizado pela empresa Clearer Thinking, que pretende replicar todos os estudos da área publicados nas revistas Nature e Science, desde que não sejam complexos demais. E há vários outros exemplos, inclusive na área de estudos genéticos e de varredura genômica. Aqui no Brasil, o grupo do Prof. Olavo Amaral da UFRJ, em projeto financiado pelo Instituto Serrapilheira, desenvolve a Iniciativa Brasileira de Reprodutibilidade. Uma bela empreitada, não acham?
Comments