A replicação dos resultados de um experimento é uma das características mais importantes da ciência, pois é uma das principais formas de validar novas descobertas. Mas aplicá-la em larga escala é caro, demorado e impraticável para a grande maioria dos estudos científicos. Por isso, há quem defenda que, em vez de se concentrar tanto na validade dos estudos anteriores, os pesquisadores devem ter uma noção mais clara dos processos que influenciam a confiabilidade dos seus resultados.
É o caso do psicólogo Jonathan Schooler, da Universidade da Califórnia em Santa Barbara, nos Estados Unidos, que vem defendendo essa ideia há algum tempo. Ele teve uma experiência em que um artigo seu foi investigado por colegas de 22 laboratórios de todo o mundo. Tratava de sua descoberta do efeito chamado “ofuscamento verbal”, que diz que, depois que uma testemunha descreve a aparência física de um criminoso, é mais difícil para ela identificá-lo entre outros suspeitos.
Ao longo dos anos, outros pesquisadores, inclusive o próprio Schooler, tiveram sucesso apenas parcial ao replicar o experimento. O trabalho chamou tanto a atenção que foi usado como um exemplo da “crise de replicação” que vem sendo discutida há alguns anos no meio científico, quando se percebeu que, em várias áreas da ciência, os resultados de muitos estudos não eram tão robustos como pareciam a princípio.
Ne caso específico do trabalho de Schooler, os resultados agrupados das 22 equipes confirmaram a descoberta, embora o tamanho do efeito tenha sido menor do que o da sua pesquisa original. Mesmo assim, para ele, foi uma vitória genuína para o campo da metaciência, “uma abordagem na qual a ciência volta as lentes do escrutínio para si mesma”.
Não se deve confundir, no entanto, metaciência como meta-análise. A primeira é o estudo da forma de fazer ciência, visando melhorar sua eficiência, enquanto a segunda é uma reanálise de dados gerados previamente por diversos estudos a respeito de um mesmo tema – a eficácia e um medicamento, por exemplo. “Em resumo, metaciência é um campo de conhecimento científico e meta-análise é uma ferramenta investigativa”, explica o oceanógrafo Agnaldo Martins, da Universidade Federal do Espírito Santo (UFES).
Para o físico André Timpanaro, do Centro de Matemática, Computação e Cognição da Universidade Federal do ABC (UFABC), a metaciência pode mostrar o que está sendo feito de errado e, a partir daí, tornar possível mudar a maneira como a ciência é praticada, visando diminuir as chances de resultados não replicáveis acabarem sendo publicados. “Algumas iniciativas já estão em curso para isso, como a criação de jornais para a publicação de resultados negativos, o que remove parte do incentivo ao p-hacking”, diz.
No modelo atual, a barreira contra a publicação de resultados errados é a revisão por pares. Mas ela falha. A razão disso é que na maior parte das vezes o trabalho não contém todas as informações necessárias para o julgamento adequado dos seus méritos. “No caso de haver viés de publicação, os revisores não conhecem os resultados negativos, pois eles nunca foram publicados”, explica Timpanaro. “No caso de haver p-hacking, o artigo é escrito dando a entender que a correlação testada era o que estava sendo investigado desde o princípio, mas não é assim que ocorre”.
Martins vê pouco caso da comunidade acadêmica em relação à metaciência. “Falta interesse no meio científico de se autoestudar ou autoavaliar, e a prova disso é o fato de a filosofia da ciência ser pouco difundida e estudada entre os próprios cientistas, que muitas vezes julgam que já sabem de tudo sobre como fazer pesquisa”, critica. “Não se preocupam em pensar nessas coisas, tornando-se extremamente tecnicistas e arrogantes”.
Em seu artigo, Schooler diz que um dos fatores que podem influenciar o resultado de um estudo é o quanto os pesquisadores “investiram” na sua hipóteses original, que pode levar ao “viés de confirmação”. “Mesmo de boa-fé, o cientista pode desconsiderar dados que contradizem a sua ‘hipótese do coração’ e encontrar justificativas para isso, que soam plausíveis aos pares”, diz o físico Peter Alexander Bleinroth Schulz, da Universidade Estadual de Campinas (Unicamp).
Para encontrar uma solução para isso, Schooler e laboratórios de três outras universidades inventaram, em conjunto, um modo de testar a reprodutibilidade da ciência que fazem. Em vez de reexaminar estudos publicados, cada laboratório concordou em permitir que os outros três produzissem novas descobertas, replicassem os experimentos uns dos outros e comparassem os resultados antes de serem publicados.
Eles puderam, então, julgar diferenças entre as conclusões obtidas pelo laboratório originador do experimento com as dos que apenas seguiram a ideia e, portanto, teoricamente, investiram menos nos resultados. Embora reconheça que a prática não é viável para todos os pesquisadores em seu trabalho de rotina, Schooler acredita que ela oferece um exercício acadêmico valioso para examinar os fatores que afetam a reprodutibilidade, à medida que surgem durante o curso da pesquisa.
De certa forma, isso já vem sendo feito no meio científico e cada vez com mais frequência. O filósofo e doutor em Ciências Naturais Vitor Vieira Vasconcelos, da UFABC, diz que, cada vez mais, grupos de pesquisa em universidades têm disponibilizado os dados dos experimentos de maneira aberta, o que torna possível acessá-los e analisá-los. “Se grande parte dos estudos leva para os mesmos resultados, então temos mais certeza sobre uma hipótese ou teoria”, explica. “Isso pode ser uma estratégia, em alguns casos, para garantir a confiabilidade dos resultados”.
Para sua colega filósofa Suze Piza, professora de Epistemologia no Programa de Economia Política da mesma universidade, a metaciência é um campo tão importante quanto o das ciências especializadas, e um não funciona sem o outro. “Especificamente, em relação à crise da replicação, a metaciência é quem vai avaliar as práticas científicas, qual sua validade para produção de um conhecimento seguro para o contexto que é produzido”, diz.
Ela acrescenta que a validação de uma nova descoberta tem a ver com a capacidade daquele conhecimento resolver o problema a que se propôs. “Não são os estudos anteriores o ponto central, e sim o problema que precisa ser resolvido”, explica. “Se formos pensar em processos, o pré-registro e o registro de todos os aspectos de novos estudos científicos e depois, repetidamente, replicá-los, permitem a descrição de um caminho seguro. Mas, insisto, ciências e não ciência se fazem também com metodologias qualitativas, que têm especificidades. A ‘repetição’, nesse caso, muitas vezes só é conseguida por aproximação. Isso não significa que ali, naquela pesquisa, não haja verdade”.
Evanildo da Silveira é jornalista