Num mundo com um número cada vez maior de pesquisadores lutando por verbas e cargos a cada dia mais escassos, leva a melhor não aquele que desenvolve o trabalho mais importante ou revolucionário, mas quem publica a maior quantidade de artigos em periódicos prestigiados e consegue mais citações. A avaliação da produção científica passou a ser feita muito mais por números do que pelo julgamento de seus méritos por especialistas, pelos pares. Com isso, a publicação de artigos passou a ser um fim em si mesmo.
Para o físico Peter Alexander Bleinroth Schulz, da Faculdade de Ciências Aplicadas (FCA) da Universidade Estadual de Campinas (Unicamp), em Limeira, a avaliação da produção científica vem se precarizando por causa do exorbitante aumento do número de artigos publicados, bem como de projetos de pesquisa em busca de financiamento. “O valor dado às métricas, baseadas não apenas no número de publicações e suas citações, mas também em indicadores que são ainda piores para apontar a qualidade de um trabalho, como o fator de impacto da revista em que foi veiculado, levou a uma situação em que a análise da qualidade, seja do artigo ou do projeto, é substituída pelo ‘capital de indicadores’ do proponente”, critica.
Como o objetivo passa a ser aumentar esse capital, “que é mais fácil fazendo mais do mesmo em vez de se arriscar em novas direções”, surge um cenário em que aumenta o número de artigos publicados, sem que as contribuições cientificamente relevantes cresçam na mesma proporção. “A publicação do paper vira um fim em si mesmo”, diz Schulz. “Em algumas áreas isso significa o que é levantado pela campanha REWARD, da revista Lancet: estudos mal desenvolvidos. Em várias áreas, temos o fenômeno de pesquisas feitas apenas porque não foram feitas ainda”.
Ainda de acordo com ele, relevância e novidade como critérios para delinear projetos são substituídos pela originalidade, no sentido de que é original porque ainda não foi feito, não importando se for relevante ou não. “É como na frase atribuída ao físico Wolfgang Pauli (Prêmio Nobel de Física de 1945): o trabalho ‘não é nem ao menos errado’ (porque um trabalho errado ajuda, indicando qual caminho não seguir, mas um trabalho irrelevante nem isso)”, explica. “Não quer dizer que só grandes descobertas devam ser publicadas, mas sim que devemos evitar inflar artificialmente os indicadores, como um fim em si mesmo”.
Novidade
A avaliação por métricas não é uma tradição antiga, no entanto. Na verdade, é um fenômeno recente, datando do final do século passado. No artigo O que define um bom cientista?, publicado no periódico Oecologia Australis, os autores lembram que análises quantitativas sobre a produção científica (cienciometria) nem sempre foram necessárias. “A ciência é milenar, mas somente no final do século 20 surgiu a necessidade de criar e medir parâmetros que a descrevessem”, escreveram. “Injustiças à parte, até então, quem produzia ciência de má qualidade era ignorado e quem fazia descobertas relevantes era louvado, pois até o século 18 a pesquisa científica era, para a maioria, uma atividade paralela, não profissional. Para fazer ciência, alguns contavam com fortunas familiares, como Charles Darwin, por exemplo, outros recebiam verbas de ‘mecenas’. Verbas públicas eram raras”.
Segundo os autores, isso começou a mudar radicalmente com a Revolução Industrial, a partir do século 19. O conhecimento passou a ser sinônimo de poder, e a ciência tornou-se um investimento prioritário para nações desenvolvidas, que passaram a aplicar dinheiro público nela. Com isso, milhares de cientistas profissionais começaram a ser formados todos os anos, e a competição por esses recursos passou a ser brutal. Surgiu então a necessidade de decidir que cientistas deveriam ser financiados. Para resolver isso, foram criadas as métricas.
De acordo com o biólogo e doutor em Ecologia Marco Aurelio Ribeiro Mello, do Instituto de Biociências da Universidade de São Paulo (IB-USP), um dos autores do artigo, a avaliação da produção científica é uma questão mais complexa do que parece, e pode ser vista de diferentes ângulos. Pode-se mensurar a produção cientifica de projetos, cientistas individuais, grupos de pesquisa, departamentos, programas de pós-graduação, institutos de pesquisa, universidades e países, por exemplo. Também se pode fazer uma análise focada em produtos acadêmicos, ou com aplicações práticas.
Existem várias ferramentas para isso, como a cienciometria, que leva em conta artigos, livros, revistas, cientistas, instituições ou áreas da ciência em termos de alcance e citações. Há também as análises que focam nos tipos e impactos dos produtos, em um sentido amplo, gerados por cientistas, projetos ou instituições. “Esses produtos podem ser acadêmicos, como artigos, capítulos, livros, monografias, dissertações e teses”, explica Mello. “Ou podem ser aplicados a problemas práticos da sociedade, englobando, por exemplo, relatórios, patentes, processos, protocolos, pareceres, políticas privadas ou públicas, produtos no sentido estrito e tecnologias em um sentido amplo”.
Outra maneira de avaliação é verificar a contribuição de um cientista ou de uma instituição para a formação de novos cientistas, por meio de diferentes modos de orientação formal e mentoria. Por fim, há as análises curriculares. “Elas focam na obra de pesquisadores individuais, englobando diversos aspectos de sua contribuição à academia e à sociedade, dependendo do contexto de cada análise”, explica Mello. “Essas análises consideram também indicadores de qualidade não cienciométricos, como prêmios, honrarias e distinções, além de muitos outros critérios”.
Historicamente, Mello e seus colegas lembram no artigo O que define um bom cientista? que, até os anos 1970, as decisões sobre quem deveria receber financiamentos ou cargos e promoções na carreira se baseavam principalmente em conhecimento pessoal ou ‘“herança científica’ – os pupilos herdavam as vagas e verbas de seus mentores”. Nos anos 1980, houve pressão para o uso de mecanismos imparciais de avaliação. Surgiu, então, a revisão por pares, usada até hoje, tornando o sistema mais imparcial e diminuindo erros e injustiças.
Impactos
Logo se percebeu, no entanto, que este sistema também tinha falhas. A saída foi criação de índices, que buscam medir a qualidade das revistas científicas e, indiretamente, dos pesquisadores que nelas publicam. Trata-se do famigerado fator de impacto, que hoje muitos criticam. Ele é calculado dividindo-se o total de citações dos artigos de uma publicação em um determinado ano pela quantidade de trabalhos veiculados nela nos dois anos anteriores.
É uma solução muito usada ainda hoje. O médico epidemiologista Guilherme Loureiro Werneck, professor do Instituto de Medicina Social da Universidade do Estado do Rio de Janeiro (IMS/Uerj), diz que no Brasil, especificamente nas universidades e institutos de pesquisa, a avaliação do trabalho de um cientista e seus resultados se dá principalmente dessa forma. “Ela é feita, majoritariamente, a partir da publicação científica na forma de artigos e livros”, explica. “As principais métricas se referem a citações que são recebidas pelos papers. O impacto pode ser mensurado para pesquisadores, departamentos, instituições e revistas científicas”.
Segundo Werneck, uma dessa métricas é o índice h, calculado pela relação entre o número de trabalhos publicados e citações. Por exemplo, um pesquisador tem índice h igual a 10 se os seus 10 artigos mais citados tiverem pelo menos 10 citações cada um. “Dentre as críticas mais comuns desse indicador está a de que citações de artigos não necessariamente refletem qualidade”, diz. “Além disso, ele tende, naturalmente, a aumentar com o tempo de atuação do cientista”.
Outra ressalva é que os processos de publicação e de citação variam muito entre áreas do conhecimento, dificultando comparações. “Para além das já conhecidas críticas ao fator de impacto elencadas, por exemplo, no Manifesto de Leiden, no Brasil há um agravante”, diz Werneck. “A produção científica é frequentemente avaliada por meio não do impacto ou da qualidade do artigo, mas do fator de impacto da revista onde ele é veiculado”.
O Manifesto de Leiden ao qual ele se refere é um documento, publicado na revista Nature em 2015, no qual cinco especialistas, liderados por Diana Hicks, do Instituto de Tecnologia da Geórgia, nos Estados Unidos, e Paul Wouters, da Universidade de Leiden, na Holanda, propuseram 10 princípios para a medição do desempenho da pesquisa. Segundo seus autores, o problema é que a avaliação agora é conduzida pelos dados, e não pelo mérito. “As métricas proliferaram: geralmente bem-intencionadas, nem sempre bem informadas, muitas vezes mal aplicadas”, escrevem. “Corremos o risco de danificar o sistema com as próprias ferramentas projetadas para melhorá-lo, à medida que a avaliação é cada vez mais implementada por organizações sem conhecimento ou aconselhamento sobre boas práticas e interpretação”.
Segundo o químico Luiz Carlos Dias, da Universidade Estadual de Campinas (Unicamp), o fator de impacto de um periódico é um parâmetro que fornece um indicador indireto da qualidade da produção de pesquisadores. “Ele não é uma unanimidade, no entanto, pois considera a qualidade do periódico, mas não a individual das pesquisas ali publicadas”, explica. “Basta a revista ter alguns trabalhos muito relevantes com muitas citações, para ter um alto fator de impacto, mas isso não garante que todos os trabalhos ali publicados serão de alto nível. Muitos artigos ruins são veiculados nos melhores periódicos”.
Isto acaba gerando distorções, ressalta Dias, e várias estratégias foram sendo criadas por pesquisadores e grupos para publicar mais e nos melhores periódicos, nos quais os artigos têm maior visibilidade. “Esses fatores, infelizmente, algumas vezes comprometem a ética científica, e muitos casos de fraudes também surgiram, pela pressão por publicar cada vez mais e nas melhores revistas”, acrescenta. “Não existe muito compartilhamento de informações, e dados de experimentos nem sempre são descritos com todos os detalhes, para dificultar propositalmente a reprodutibilidade de resultados por outros grupos, não permitindo que possam dar prosseguimento em estudos naquele assunto”.
A falta de cooperação entre cientistas é outra consequência da atual forma de avaliação, que pressiona pela publicação, bem retratada na expressão “publique ou pereça”. “O problema é que todos nós, profissionais na área de ciência e tecnologia, somos parte de um sistema muito complexo”, explica Dias. “Temos poucas vagas em nossas universidades, que não conseguem incorporar todos os pesquisadores interessados em seguir na carreira acadêmica. Ou seja, temos um número cada vez maior de cientistas competindo por poucas oportunidades”.
Depois, acrescenta, quando eles são contratados, se inicia a briga por recursos para suas pesquisas, que estão cada vez mais escassos, o que leva a um aumento na competitividade. “Há uma disputa enorme por financiamento e bolsas de pesquisas para nossos alunos, em todos os níveis, desde a iniciação científica”, conta Dias. “Essa competição acabou por levar à perda de colaboração efetiva entre profissionais, pelo receio de ser superado por um colega que poderia publicar resultados relevantes antes, o que lhe tiraria o protagonismo naquela área de pesquisas”.
Desperdício
Há ainda o desperdício de recursos públicos com projetos ruins e sem resultados. “Produzir ciência sempre é importante, pois mesmo resultados sem grande aplicação momentânea podem ser importantes no futuro”, ressalva o químico Jorge Mauricio David, do Instituto de Química da USP. “Mas, na falta ou limitação de recursos (como vem acontecendo no mundo todo), investir em pesquisas com baixo impacto é uma forma de utilizar o pouco que se tem em projetos mal elaborados ou de pouca relevância na ciência e na tecnologia. Por fim, emprego de dinheiro em projetos de pesquisa de cunho não científico, como tem ocorrido abundantemente no Brasil, é sim desperdício”.
Segundo ele, de um modo geral, os textos, planejamento, análise de resultados e conclusões publicadas têm diminuído de qualidade. Em parte, devido ao grande volume de pesquisa que tem sido publicado, número exagerado de periódicos Open Access, que veiculam artigos com uma rapidez maior, e mesmo as revistas predatórias. “Isso afeta o mundo todo, inclusive o Brasil”, diz.
Para os autores do Manifesto de Leiden, o problema não reside na inadequação técnica de um indicador em particular, mas no fetichismo, que “não se importa com a elevada qualidade dos resultados, os quais não pode julgar, mas preocupa-se com o desempenho: a ilusão da excelência taticamente bem pensada e lustrada de modo sagaz”. De acordo com eles, esses indicadores mudaram fundamentalmente a própria ciência. “Eles ignoram e destroem a variedade de formas de conhecimento e práticas em diversos campos de estudo”, escreveram.
“O que não é mensurável e comparável não conta, é uma perda de energia e deve, portanto, ser destruído”, acrescentaram. “No jogo do indicador, um livro de quatrocentas páginas publicado pela Cambridge University Press dificilmente conta, ou até mesmo não conta; um artigo de três páginas conta. O sistema específico de publicações das ciências naturais e da vida (ou de uma parte delas) tem sido imposto ao restante das áreas, mesmo onde ele não se encaixa”.
O Manifesto de Leiden não é a única iniciativa que propõe mudanças nas formas de mensurar a produção científica. Em 2012, foi divulgada, durante a Reunião Anual da Sociedade Americana de Biologia Celular, em São Francisco, a Declaração sobre Avaliação de Pesquisa (DORA, na sigla em inglês), que apontou a necessidade de melhorar as maneiras pelas quais os resultados da pesquisa acadêmica são avaliados.
A declaração tornou-se uma iniciativa mundial, que cobre todas as disciplinas acadêmicas e todos os principais interessados, incluindo financiadores, editores, sociedades profissionais, instituições e pesquisadores. “Encorajamos todos os indivíduos e organizações interessados em desenvolver e promover as melhores práticas na avaliação da pesquisa acadêmica a assinar a DORA”, diz a abertura do texto. Até agora, mais de 20 mil indivíduos e organizações em 148 países assinaram o documento.
Evanildo da Silveira é jornalista