IA: a imprevisibilidade e os efeitos imprevistos

Recentemente, fiz contato com Rafael Cardoso Sampaio, Professor de Ciências Políticas da Federal do Paraná, a propósito da matéria que ele publicou (9 de outubro de 2025) num blog muito interessante, baseado na Alemanha (Alexander von Humboldt Institute for Internet and Society) com o instigante nome de The Elephant in the lab (About the blog journal – Elephant in the Lab). Sampaio discorre sobre os efeitos imprevistos do uso de LLMs como o Chat-GPT, no caso a versão 5, que pode afetar de forma irreparável a reprodutibilidade de dados.

No seu artigo: The invisible orchestrator: How ChatGPT-5 redefines scientific reproducibility, fica claro o porquê dessa declaração bombástica. Um exemplo: Um pesquisador usa a versão 3 do Chat-GPT para fazer uma análise. Essa análise não pode ser refeita porque essa versão simplesmente não existe mais. E mesmo usando uma versão corrente, ao refazer uma análise qualquer é provável que o resultado seja outro, porque esses modelos estão sendo continuamente atualizados e modificados, sem que o usuário sequer fique sabendo! Softwares de análise tradicionalmente tem sua versão informada, incluindo as modificações que foram feitas. Então, por exemplo, se numa análise foi utilizada o pacote estatístico SPSS 3.2, os mesmos dados deverão fornecer a mesma resposta. O mesmo não acontece usando as LLMs, e, por extensão, pacotes de análise estatística que agora usam a IA em suas análises.  Sampaio coloca as profundas mudanças em 3 eixos.

1) Transparência: se havia uma certa falta de transparência nos pacotes de análise estatística anteriores, a situação agora ficou pior, pois os próprios softwares não são mais estáveis (imutáveis em sua versão oficial), o que ele chama de falta dinâmica de transparência. A sua análise publicada hoje, já será diferente amanhã.

2) Escolha: No caso em tela, quem decide qual modelo aplicar ou ferramenta usar na análise é a nova versão do ChatGPT. É a própria plataforma que decide. Ou seja, você pode usar os mesmos dados e obter resultados diferentes porque o seu pacote de análise decidiu optar por uma ferramenta diferente, sem te avisar, é claro! e

3) Titularidade: quem agora define a qualidade das suas análises são as grandes empresas (Open-AI, por exemplo) e o pesquisador não tem mais o controle sobre os seus dados.

Por fim, o artigo propõe formas de contornar esse problema, tornando o seu “workflow” explícito, garantindo a anotação de todos os passos efetuados e não simplesmente entregando a responsabilidade ao Chat-GPT. Sampaio fecha seu excelente artigo com um parágrafo lapidar que transcrevo aqui na íntegra:

In sum, something has changed. We have moved from a regime where replication was difficult in practice to one where it is impossible in principle. The gain in usability for the general public has been purchased at the cost of methodological control for the scientific community. The question, then, transforms from “has nothing changed?” to “how will the scientific community adapt to ensure research integrity in this new regime?”.