Ciência rápida e mal feita não vai nos salvar

Apocalipse Now
4 abr 2020
Autor
Imagem
nutty professor

Tenho poucas memórias de meu avô paterno mas, segundo o folclore da família, tratava-se de uma figura sui generis: cartógrafo, poeta, calígrafo, arquiteto e marceneiro autodidata, maçom. Segundo meu pai, declamava A Ceia dos Cardeais de cor.

A impessão mais duradoura que tenho dele vem dos livros, centenas, que ficaram na casa de meus pais após sua morte – um número estonteante de antologias de poesia pré-modernista e dos primeiros modernos (incluindo um volume autografado de Menotti del Picchia), romances históricos de Paulo Setúbal e contos de Affonso Schmidt.

Lembro-me de ficar especialmente impressionado por uma edição, em vários volumes com capas art-decô, do folhetim O Judeu Errante, de Eugene Sué, que ocupava uma bela porção de praleteira – e que nunca abri.

Vovô tinha uma queda por aforismos, vários dos quais são, até hoje, citados como parte do patrimônio de sabedoria acumulada da família. Um deles era o que ele chamava, com ironia britânica, de “Lema da Cavalaria”: “Rápido, ainda que mal feito”.  Na atual crise sanitária global, corremos um grave risco de esse se tornar também o lema da ciência. E estaremos todos em sérios apuros, se isso acontecer.

 

Astrologia e premonição

Meu exemplos favoritos de quatro das principais armadilhas da “ciência estilo cavalaria” são, em si, bem inócuos, mas não deixam de ter valor didático – dois envolvem astrologia e um, parapsicologia. O primeiro é o trabalho conduzido por Carl G. Jung (1875-1961) sobre a compatibilidade astrológica de casais: o psicanalista começou a reunir dados do nascimento de casais para ver se os mapas astrais revelavam compatibilidade. E, inicialmente, o resultado foi positivo!

Os números “imitaram, acidentalmente, a resposta ideal segundo a astrologia”, escreveu ele, embora o efeito tenha desaparecido com o aprofundamento do trabalho e a inclusão de cada vez mais casais. Esta é a primeira lição: estudos rápidos tendem a ter amostras pequenas, e amostras pequenas trazem um risco elevado de apresentar efeitos ilusórios. A segunda lição vem do que Jung fez a seguir, a saber: bateu o pé e insistiu que o resultado positivo inicial era sinal de que “alguma coisa” estaria acontecendo, para além do mero acaso. Efeitos ilusórios podem gerar impressões duradouras.

A terceira lição é que estudos feitos às pressas tendem a ter amostras viciadas – o pesquisador pega quem está à mão – e a controlar muito mal para os chamados “fatores de confusão”, isto é, interferências externas ao escopo do trabalho, mas que influem nos resultados.

Em 1978, o periódico “Journal of Social Psychology” publicou artigo que contava, entre seus autores, com Hans Eysenck (1916-1997), um dos mais importantes psicólogos do século 20. O trabalho mostrava uma correlação significativa entre signos astrológicos e os resultados de testes de personalidade.

No entanto, mais tarde descobriu-se que os “voluntários” que haviam preenchido os testes eram alunos de uma escola de astrologia, e, portanto, sabiam quais as respostas “certas” que deveriam dar, para que seus perfis psicológicos batessem com os signos. Novos testes, agora com o cuidado de isolar os crentes dos ignorantes em astrologia, desmentiram os resultados iniciais.

A quarta lição: estudos feitos para detectar “qualquer coisa”, sem especificar claramente o que se está buscando, sempre vão encontrar “qualquer coisa”. Só que isso não significa nada.

Em 2011, o psicólogo Daryl Bem causou sensação ao publicar um estudo que, aparentemente, demonstrava que algumas pessoas são capazes de “sentir” o futuro – no caso do teste, de prever a natureza da imagem que vai aparecer na tela do computador (se será uma foto erótica, por exemplo). O resultado foi apresentado sob a forma de um índice de significância estatística: em outras palavras, Bem havia realizado testes estatísticos que, em princípio, mostravam que algumas pessoas conseguiam “antecipar” certas imagens com frequência maior que a esperada pelo acaso.

O problema, rapidamente apontado por críticos, é que Bem havia realizado uma quantidade enorme de testes estatísticos nos resultados de seus voluntários, medindo um sem-número de hipóteses experimentais ao mesmo tempo. Isso simplesmente infla a chance de um dos testes voltar com um resultado interessante – mas por puro acaso! Mesmo o jogador de basquete mais inepto do mundo vai conseguir uma sequência ininterrupta de dez cestas se tentar, digamos, mil arremessos consecutivos.

 

A situação atual

As razões que levam muita gente a querer que se descubra qualquer coisa, e depressa, que possa ser usada contra a COVID-19 são fáceis de entender: vivemos uma emergência planetária, em escala sem precedentes, e a pressão por respostas e soluções rápidas é esmagadora. Com o número de mortes quadruplicando a cada semana, a diferença entre ter um remédio correto em mãos hoje, ou amanhã, pode ser enorme.

O que se esquece aí, muitas vezes, é de dar o peso devido ao adjetivo correto: porque o potencial de estrago de um remédio errado, ou mesmo apenas inútil, é enorme, se não por outro motivo, pelo desperdício de recursos escassos que acarreta.

O momento presente traz o risco de não só estimular a multiplicação das instâncias de falhas e ilusões como as descritas na seção anterior, como também de agravar algumas outras tendências perversas presentes há décadas na cultura científica, fruto da política de publish or perish: a valorização do volume em detrimento da qualidade, a “salamização” (isto é, a divisão de um resultado científico que deveria ser apresentado de modo integral em uma série de publicações menores), a proliferação de resultados preliminares que, em si, não dizem nada (efeito da “salamização”).

Além do caos que condições assim podem desencadear na resposta à crise da COVID-19, os impactos na credibilidade pública da ciência – que pode vir numa versão mais feroz e ressentida da velha observação de que “os cientistas mudam de ideia toda hora sobre se pode comer ovo” – e no próprio fazer científico.

 

Colesterol e SARS-CoV2

Não é novidade, para ninguém que já tenha se debruçado sobre o assunto, que a literatura biomédica está atulhada de resultados falsos, trabalhos de qualidade suspeita e experimentos irreprodutíveis. Parte desse entulho é inevitável e compreensível: seres humanos cometem erros, afinal, e parte da atividade científica é a apresentação e o confronto de ideias, incluindo ideias que acabarão se mostrando erradas.

Mas outra parte – possivelmente, a maior parte – é escória gerada pelo “modo cavalaria” de fazer ciência, e pelo jogo do publish or perish. O trabalho de limpar a literatura científica desse material é imenso. E interminável: já na virada do século, a revista “Nature” alertava que estudos científicos retratados – isto é, oficialmente declarados inválidos – continuavam a ser usados como referência em outros trabalhos. Em 2018, o site Retraction Watch voltou a chama atenção para o problema.

A pandemia de SARS-CoV2 está em vias de tornar-se, se é que já não se tornou, também uma pandemia de “ciência de cavalaria”. O trabalho execrável do grupo de Didier Raoult, na França, com hidroxicloroquina, provavelmente é apenas a ponta do iceberg.

Em breve, a literatura será inundada por estudos chineses dos mais variados graus de qualidade. Ensaios clínicos com drogas supostamente promissoras, com desenhos dignos de uma Carga da Brigada Ligeira (ao ponto em que os versos de Tennyson, “Into the valley of Death/Rode the six hundred” soam quase otimistas), são conduzidos 24 horas, em todas as partes do mundo. A confusão entre os formuladores de políticas públicas será uma fonte constante de tensão, como já vemos nas hesitações quanto à forma do isolamento social e na corrida a medicamentos de eficácia duvidosa (para dizer o mínimo).

Abrir caminho em meio ao matagal de falsas promessas e falsas esperanças que vai brotar daí será uma tarefa que sobreviverá ao próprio vírus, se a desinformação não der cabo de todos nós antes. Manterá cientistas e divulgadores de ciência ocupados por décadas. Ainda vamos ter saudade das perguntas sobre o colesterol do ovo e os efeitos do cafezinho na saúde.

 

Carlos Orsi é jornalista e editor-chefe da Revista Questão de Ciência

Sua Questão

Envie suas dúvidas, sugestões, críticas, elogios e também perguntas para o "Questionador Questionado" no formulário abaixo:

CAPTCHA de imagem
Digite o texto conforme a imagem

Atendimento à imprensa

11 95142-8998 - Jéssica Almassi

11 95142-7899 - André Mascarenhas