Em sua tese de doutorado defendida na USP, o sociólogo Lenin Bicudo Bárbara mostra como a comunidade homeopática acabou, historicamente, dividida em duas “tribos” (expressão minha, não dele), uma afirmando que a homeopatia existe sob uma “episteme” diferente da medicina, digamos, “normal”, e por isso estaria isenta das regras usuais que regem a produção científica da área; e outra que sustenta que a homeopatia pode ser bem defendida e demonstrada dentro dessas regras.
Pondo de lado, por um momento, a constatação mais geral de que essa conversa de “diferentes epistemes” é incoerente, vale notar que a homeopatia nasceu no seio da medicina europeia, foi criada por um médico e debatida por médicos com base nos conhecimentos e conceitos disponíveis na sua época (fim do século 18, início do 19). Portanto, mesmo se “outra episteme” fosse uma desculpa válida em alguns cenários, certamente não seria no caso específico da medicina homeopática.
Essa divisão ideológica do universo homeopático me veio à mente, na última semana, com a publicação de artigo no periódico científico BMJ Evidence Based Medicine mostrando que mesmo aquela homeopatia que diz “jogar o jogo” da ciência, na verdade, não o faz, ou faz muito mal. Antes de ver exatamente o porquê, vamos dar uma espiada num problema de fundo que afeta as ciências biomédicas em geral.
Hipótese
Uma das várias revelações desagradáveis trazidas pela pandemia foi a de que muita gente, dentro da profissão médica e, mesmo, nos universos da pesquisa biomédica e das ciências exatas, tem uma dificuldade enorme para entender o que significa, afinal, o “valor p” de um estudo ou, de modo mais amplo, para que serve o chamado Teste de Significância de Hipótese Nula, ou TSHN, para encurtar.
Nas trincheiras da guerra ideológica em que se converteu a divulgação e o debate público de resultados experimentais de possíveis terapias para COVID-19, ganharam circulação ampla a expressão “valor p” e a ideia geral do teste de hipótese, usado como modo de validar descobertas científicas e legitimar tratamentos. Tudo indica, porém, que a maioria do pessoal que adotou a terminologia como munição de Twitter não faz a menor ideia do que está falando. Vamos a um resumo, portanto.
Por uma série de razões históricas e de natureza prática, o teste de hipótese, TSHN, acabou se tornando, em muitas áreas, o “modo normal” de apresentar resultados de estudos científicos que envolvem comparações entre grupos, ou entre o resultado de um experimento e uma expectativa predefinida (digamos, entre os resultados de lances de um dado arremessado por alguém que está tentando controlar, com o poder da mente, o número que sai e a distribuição estatística esperada na ausência de forças paranormais).
Pesquisa biomédica, é claro, envolve comparação entre grupos — o tratamento e o controle. O resultado gerado pelo TSHN, chamado “valor p”, é uma medida da diferença entre os resultados obtidos em cada grupo. Quanto menor o valor p, maior a diferença.
Se a diferença for grande o suficiente (de novo, por razões históricas e de natureza prática, esse “suficiente” costuma traduzir-se em um valor p menor do que 0,05), presume-se que ela foi causada por alguma coisa. Isto é, a diferença não deve ser mero produto do acaso, requer uma explicação. Em seguida (e aqui há um salto indutivo que rende volumes de filosofia) presume-se que essa “alguma coisa” é o efeito específico do tratamento testado.
Presumindo muito
O problema é que essas duas pressuposições — a diferença requer uma explicação e a explicação é que o tratamento funciona — dependem, elas mesmas, de uma série de outras pressuposições.
As mais evidentes são as de que o estudo foi bem planejado, teve controles suficientes, adequados e foi conduzido de forma competente e honesta. Satisfazer esses critérios pode ser bem mais difícil do que parece. Envolve sutilezas que vão muito além da mera possibilidade de incompetência grosseira ou fraude deliberada, mas certamente incluem esses fatores.
Há, por exemplo, a questão do poder estatístico, definido como a capacidade do estudo de detectar uma diferença real entre os grupos. Um estudo de baixo poder tem dois riscos elevados: o de deixar passar uma diferença importante e, o que pode ser muito mais perigoso, o de acusar uma diferença inexistente. O poder estatístico depende do número de indivíduos que compõem os grupos estudados. Por questões de custos, logística, dificuldades de recrutamento de voluntários e incentivos perversos na academia, uma quantidade enorme de estudos acaba tendo poder inadequado.
Outros pontos salientes são o das comparações múltiplas e seu irmão gêmeo, os graus de liberdade do pesquisador. Sobre o primeiro: dados dois grupos de pessoas, é possível compará-los em um sem-número de dimensões diferentes — altura, peso, cor dos olhos, da pele, do cabelo, pressão arterial, glicemia, frequência cardíaca… — e cada nova comparação oferece uma nova chance de encontrar uma diferença que parece “exigir explicação”.
Aí surge a tentação de ignorar os fatos de que grandes diferenças podem aparecer ao acaso e de que nem todas as diferenças são relevantes para, ou necessariamente têm alguma conexão lógica com, o tratamento em estudo.
Livres demais
Os graus de liberdade do pesquisador incluem o número de comparações feitas, quais comparações serão informadas na publicação formal do resultado (e quais serão omitidas) e ainda como os números serão tratados — semana passada eu estava preparando um relatório sobre a evolução desta Revista Questão de Ciência e descobri que, fazendo a média mensal do número de leitores desde o lançamento, em novembro de 2018, somos lidos por 77,7 mil pessoas/mês. Mas 77,7 é quase 78, não é não? E de 78 mil para 80 mil é menos de 3%, quem vai ligar…?
Enfim, acho que deu para entender. E a todos esses problemas vêm se somar o efeito gaveta e o viés de publicação. “Efeito gaveta” é tendência do cientista de não tentar publicar — “deixar na gaveta” — estudos que “deram errado”, isto é, frustraram a expectativa de um resultado positivo. Esse fenômeno, já ruim em si, assume características perversas ao se converter no chamado viés de patrocinador, quando interesses comerciais suprimem a publicação de resultados frustrantes, ou interferem na edição do material para que as comparações positivas tenham mais destaque do que as neutras ou negativas.
O viés de publicação é a contraparte disso: a resistência das revistas científicas em publicar estudos com resultados negativos.
Todos esses fenômenos, efeitos, vieses (“gaveta”, “grande liberdade”, “baixo poder”, “patrocinador”, etc.) têm nomes já consagrados na literatura científica por uma razão muito simples — foram diagnosticados há tempos, e há muito tempo vêm sendo combatidos. A ciência luta para reconhecer seus erros e lançar luz em seus pontos cegos, ainda que alguns cientistas, teimosos, arrogantes e falíveis como todo Homo sapiens, precisem ser arrastados, esperneando.
Registro e transparência
Duas das principais armas nesse combate são o registro prévio e a transparência de dados. Os nomes são bem autoexplicativos, mas vamos lá: registro prévio é deixar registrado, numa base pública, o plano do estudo, o que vai ser medido, que testes serão realizados e qual o resultado mais importante que está sendo buscado. Isso inibe o abuso das comparações múltiplas, dos graus de liberdade do pesquisador e permite estimar o tamanho do efeito gaveta, do viés de patrocinador e do viés de publicação — comparando o número de estudos registrados ao de trabalhos efetivamente publicados.
Já a transparência pede que todos os dados gerados pelo estudo sejam disponibilizados. Isso permite que pesquisadores independentes conduzam suas próprias análises, refaçam os testes estatísticos e vejam se o artigo científico publicado realmente se sustenta com base no que foi levantado durante a realização do experimento.
Nem o registro prévio, nem a transparência são universalmente obrigatórios — há quem os exija, há quem faça vista grossa —, mas são considerados boas práticas. E é aí que, como mostra o artigo publicado no BMJ Evidence Based Medicine, a pesquisa em homeopatia se comporta como o que há de pior na pesquisa médica em geral: a maioria (53%) dos testes de homeopatia em seres humanos não é registrada, e parcela importante dos que são registrados ou acaba não sendo publicada (38%) ou muda o resultado principal no meio do caminho (25%).
Muito do marketing da chamada “medicina integrativa e complementar”, categoria em que a homeopatia costuma ser classificada, gira em torno da alegação de que essas modalidades estariam, supostamente, livres dos vícios da medicina de base científica, atrelada aos produtos da indústria farmacêutica. O retrato que o artigo no BMJ Evidence Based Medicine pinta, no entanto, mostra não uma figura livre de vícios, mas uma decidida a ignorá-los.
Relembrando
No agregado dos testes científicos bem conduzidos sobre o assunto, fica claro que a homeopatia não oferece ao paciente nenhum benefício superior ao efeito placebo – em suma, ao que se pode esperar que venha da expectativa positiva de cura, da atenção afetuosa do médico e do curso natural dos problemas tradicionalmente tratados com preparados homeopáticos.
Já tratamos disso em inúmeras publicações aqui na revista, e consolidamos tudo neste dossiê. Seguimos, neste ano, com a Campanha 10^23: Homeopatia é feita de nada.
Carlos Orsi é jornalista, editor-chefe da Revista Questão de Ciência, autor de "O Livro dos Milagres" (Editora da Unesp), "O Livro da Astrologia" (KDP) e coautor de "Ciência no Cotidiano" (Editora Contexto), ganhador do Prêmio Jabuti, e "Contra a Realidade" (Papirus 7 Mares)