A sessão plenária do fim da tarde, a Mayer-Steneck Conference foi dada por John Ioannidis, o " homem da reprodutibilidade". Originalmente, pesquisador clínico e epidemiologista, é professor da Stanford University e cofundador do Metrics Center (https://metrics.stanford.edu) voltada para melhor validação e transparência da pesquisa científica.
Ele discutiu questões voltadas para o viés: viés de publicação de resultados positivos (verdadeiros ou falsos!), viés invertido quando é melhor não haver diferenças entre grupos, etc., viés de julgamento do pesquisador que é visto como fazendo uma ciência mal-feita (sloppy science) pelos colegas, mas obviamente não por ele mesmo. Ponderou sobre os mega-journals (ex: grupo PLoS) que publicam milhares de artigos a cada ano gerando um viés de visibilidade dos artigos publicados nas revistas mais clássicas. Comentou sobre revistas predatórias e paper mills que publicam artigos fabricados e falsos e criam um viés sério no conhecimento.
A IA deverá ajudar a detectar esses artigos e tirar eles do sistema e já há uma série de ferramentas para isso em desenvolvimento. Há cálculos que põem os artigos falsos gerados por paper mills ultrapassando o milhão (uma em sete submissões) apenas nas revistas da Wiley! Artigos de ensaios clínicos randomizados falsos agora recebem o apelido de artigos zumbis e existem por aí aos milhares. Mesmo com a melhor das intenções, estudos sem poder estatístico geram resultados falso positivos e falso negativos.
Há ainda os problemas bem conhecidos em torno da disponibilidade de dados originais, usabilidade das bases de dados e isso inclui as bases de Big Data. Nesse último caso a hipótese é gerada post hoc, isto é, após a coleta de dados e as próprias hipóteses geradas terão viés pela subjetividade na escolha do tema pelo usuário. Mesmo nos artigos publicados que alegam seus dados estarem disponíveis, na prática isso não acontece. Ausência de dados é igualmente grave, pois é extremamente comum que as startups e grupos nascentes não mostram seus dados.
A reprodutibilidade também é uma questão essencial. Para além de repetir experimentos, os pesquisadores que tentam fazer isso, na maioria dos casos falham por falta de informações, acesso, conversibilidade, etc. Ioannidis propôs uma série de aperfeiçoamentos e discorreu sobre muitas visões e opiniões pessoais, numa conferência extremamente rica e detalhada.
Querem saber mais sobre o Prof. Ioannidis? Leiam matéria em
https://www.scientificamerican.com/article/the-ioannidis-affair-a-tale-of-major-scientific-overreaction/ . E há inúmeros artigos para ler digitando as palavras reproducibility science, ou reproducibility nature. Podem escolher à vontade!
Comments