A pesquisa médica e em saúde visa o progresso da medicina baseada em evidências, mas as decisões sobre quais projetos financiar não são fundamentadas em evidências. A frase, que aparece nas conclusões de um artigo publicado em 2011, continua atual, vale para qualquer área e retrata uma situação que cada vez mais vem gerando debate e preocupação na comunidade científica: como evitar vieses na escolha dos trabalhos a serem financiados. Uma das propostas que vem ganhando força ultimamente é o sorteio entre projetos que “empatam” em outros critérios, como a qualidade da metodologia e do desenho de estudo, por exemplo.
É o que vem fazendo a Swiss National Science Foundation (SNSF), a maior agência governamental de financiamento de pesquisas da Suíça, que, em março de 2021, passou a usar um processo de seleção aleatória como critério de desempate para conceder subsídios. Entre 2018 e 2020, o órgão executou um esquema piloto para testar a nova abordagem para financiamento de bolsas de mobilidade de pós-doutorado.
A partir de março de 2021, o novo esquema passou a ser usado em todos os programas de subvenções, quando os avaliadores não conseguem decidir a classificação de dois ou mais projetos usando critérios objetivos. Eles dão então um número a cada proposta concorrente. Pedaços de papel com esses números são postos em cápsulas opacas, derramadas numa tigela. Alguém da SNSF tira uma de cada vez, e a ordem decide sua classificação.
No início de setembro, foi a vez da British Academy, a academia nacional de ciências humanas e sociais do Reino Unido, começar a adotar um procedimento semelhante. Trata-se de uma espécie de loteria, usada para decidir quais pedidos de financiamento, que seus painéis de avaliação de subsídios consideram iguais em outros critérios, receberão os recursos.
Além da SNSF e da British Academy, a Fundação Volkswagen na Alemanha, o Fundo de Ciência Austríaco e o Conselho de Pesquisa em Saúde da Nova Zelândia também estão usando a randomização para escolher os projetos que serão financiados. Embora a solução seja relativamente nova, já há estudos que sugerem que é a maneira mais justa de conceder subsídios, quando os pedidos estão muito próximos em outros critérios.
Para seus defensores, fazer isso ajudaria a amenizar as preocupações, especialmente de pesquisadores em início de carreira e aqueles de comunidades historicamente marginalizadas, sobre a falta de justiça quando os recursos são alocados usando revisão por pares. Há trabalhos que mostram que ainda existem vieses durante a avaliação. Os painéis estão sujeitos a preconceitos humanos, que podem influenciar a decisão final, quando os projetos são de qualidade equivalente. Como, por exemplo, escolher cientistas mais experientes, pessoas com nomes reconhecíveis ou instituições mais conhecidas.
O oceanógrafo Agnaldo Martins, da Universidade Federal do Espírito Santo (UFES), que avalia dezenas de projetos científicos anualmente para órgãos financiadores como o Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), a Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp), a Fundação de Amparo à Pesquisa e Inovação do Espírito Santos (Fapes) e a Fundação de Amparo à Ciência e Tecnologia do Estado de Pernambuco (Facepe), dentre outros, explica que há três critérios principais para julgar um projeto: a relevância e a capacidade de inovação científica, a qualificação do pesquisador e o quanto a proposta se insere no contexto de um objetivo estratégico da gestão pública ou de um governo que financia a ciência.
Dos três, a avaliação do pesquisador é o que mais pode gerar distorções. “Esse critério pode dar vantagens aos mais experientes e conhecidos e ofuscar uma ideia muito boa e inovadora, tirar pontos dos mais inexperientes”, diz Martins. “E sabemos que as teorias e descobertas científicas mais importante são de cientistas jovens. Einstein, por exemplo, elaborou a da Relatividade aos 26 anos. Então, as melhores ideias surgem de cientistas em início de carreira, e esse sistema de julgamento pode impedir e sufocar isso”.
O biólogo e doutor em imunologia Ramon Kaneno, professor aposentado Instituto de Biociências de Botucatu, da Universidade Estadual Paulista (Unesp), avaliador de projetos de pesquisa e pedidos de bolsas submetidos ao CNPq, diz ser importante levar em consideração o histórico do proponente, não apenas como medida da sua produtividade, mas principalmente, porque revela a capacidade de entrega de resultados concretos.
Ou seja, um critério de desempate razoável seria a quantificação de artigos vinculados a projetos financiados por diferentes instituições. “Muitas vezes, a proposta apresentada é inovadora e coerente com o estado da arte do tema, mas a inexperiência do proponente na condução de estudos científicos (ainda que mais simples) e na coordenação do trabalho em equipe reduzem a possibilidade de aprovação da proposta”, explica.
Kaneno reconhece, no entanto, que essa forma de análise traz um certo vício, de maneira a “favorecer sempre os mesmos”, embora “seja inegável” que quanto mais um grupo produz, mais eficiente ele se torna e mais relevantes tendem a ser as perguntas. “Justiça e coerência é o que todo avaliador deveria buscar, mas é difícil afirmar o quanto estamos acertando”, diz. “Por exemplo, os projetos de maior porte são analisados por três ou mais relatores. Alguns enxergam a proposta de modo muito positivo, enquanto outros detectam problemas ou fazem questionamentos que sequer são citados pelos primeiros”.
Para o engenheiro agrônomo Antonio Figueira, da Escola Superior de Agricultura Luiz de Queiroz (ESALQ), da Universidade de São Paulo (USP), os critérios de análise usados hoje são apenas parcialmente justos, pois consideram o histórico de publicações e produtividade acadêmica. “Um fator dominante é o tamanho da nossa comunidade”, diz. “Alguns colegas, por serem bem relacionados e às vezes influentes, têm a tendência de serem bem sucedidos nos seus pleitos independente do mérito. A comunidade de consultores (que participa dos comitês de avaliação) tende a ser corporativa e muito influenciada por relações interpessoais”.
Como forma de evitar todos esses vieses, Martins defende mudanças no atual sistema de avaliação de projetos, que incluiriam a análise cega numa primeira fase e depois o sorteio. Primeiro seria necessário julgar a equivalência das propostas. “Para evitar distorções, os consultores deveriam julgar a qualificação do projeto sem ver o currículo e a experiência do pesquisador”, explica.
Além disso, em vez de dar uma nota, o avaliador deveria apenas dizer se o projeto é recomendável ou não. “Dar nota é complicado”, diz Martins. “Eu não sei se estou errando muito quando dou 8,5 para um e 9,3 para outro, mas consigo dizer com segurança se projeto é bom ou ruim. Na fase seguinte, os recomendados seriam randomizados, ou seja, escolhidos por sorteio”.
Há também quem veja os sorteios com restrições. Kaneno, por exemplo, considera interessante essa forma de escolha, caso seja mesmo um modo de desempate. O mais difícil para ele é que os projetos sejam igualmente avaliados pelos pares, visto que são pessoas diferentes. “A análise prévia tem que ser muito objetiva para que as propostas cheguem ao ponto de sorteio em igualdade de condições”, ressalva.
O impacto positivo mais evidente seria a possibilidade de ter uma decisão justa, não influenciada pelos apadrinhamentos. Em contrapartida, o conceito de que tudo depende de sorte pode diminuir o interesse pela submissão de propostas. “Para evitar tal situação, considero que os critérios de avaliação do projeto devem estar bem claros para o proponente”, defende Kaneno.
O biomédico Ricardo Fujiwara, da Universidade Federal de Minas Gerais (UFMG), avaliador em diversas agências de fomento no Brasil (Fundação de Amparo à Pesquisa do Estado de Minas Gerais - Fapemig, Fundação de Amparo à Pesquisa do Estado da Bahia - Fapesb, Fapesp, CNPq, Capes, entre outras) e no exterior (Suíça, México, Argentina, Estados Unidos, Alemanha, Holanda, entre outros), joga no time dos que são contra a loteria para escolher um projeto a ser contemplado com financiamento. “Em teoria, a SNSF só aplica o critério de randomização quando dois processos atingem a mesma nota de qualificação”, explica. “No entanto, é raro isso acontecer, dadas as múltiplas dimensões de análise”.
Por isso, obviamente, só seria aplicável para projetos que atendam aos critérios mínimos (incluindo nota de avaliação) que permitam o financiamento. “Em minha opinião, a adoção apenas de sorteio seria um critério muito injusto, já que deixaria ao cargo da sorte ser financiado ou não”, justifica. “Devem haver critérios específicos como potencial contribuição da pesquisa para a área, a qualificação do proponente e equipe, adequação metodológica, adequação de cronograma e orçamento, entre outros”.
Como são muitos critérios, acrescenta, pode-se perceber que é difícil o “empate”. Nesses casos, “talvez o sorteio, na base proposta pelo SNSF” poderia ser uma medida a ser adotada. “Mas a loteria, como base de seleção, seria minimizar também a capacidade do proponente em sintetizar o projeto e adequá-lo, para que os pares e a sociedade entendam a importância de sua solicitação”, considera.
Evanildo da Silveira é jornalista