Como se não bastassem os ataques de um governo negacionista e os cortes profundos de recursos, agora a ciência brasileira também sofre a interferência do Poder Judiciário. Atendendo a um pedido do Ministério Público Federal (MPF), a Justiça Federal do Rio Janeiro determinou, por meio de uma liminar, que a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) suspendesse imediatamente a avaliação quadrienal dos mais de 4.600 programas de pós-graduação (PPG), que estava em andamento.
Na ação civil pública que moveram, os procuradores Jessé Ambrósio dos Santos e Antonio do Passo Cabral alegaram que os critérios de avaliação dos cursos de pós-graduação stricto sensu (mestrado e doutorado) vinham sendo alterados pela Capes ao longo do último ciclo do processo, de 2017 a 2020, com efeitos retroativos e sem regime de transição entre os períodos de análise. “O problema central não é a modificação dos parâmetros em si, mas sua imprevisibilidade e sua retroação ilícita, para atingir tempos pretéritos, o que impede que as instituições possam reagir à mudança regulativa", escreveram na ação.
Para a comunidade científica, no entanto, os procuradores não entendem muito bem como funciona o sistema de análise da Capes. Em uma nota, divulgada no dia 1º deste mês, o Conselho de Reitores das Universidades Estaduais Paulistas (Cruesp) afirma que a “consistente avaliação realizada pela Capes tem atribuído valor imensurável à qualidade e consolidação da pesquisa no Brasil, de forma igualitária entre todas as instituições”. O Conselho também ressalta “que inexiste a imprevisibilidade nos critérios de avaliação, como argumento proferido pelo MPF, uma vez que ela sempre foi baseada em critérios objetivos, expressos em documentos elaborados para cada uma das 49 grandes áreas do conhecimento”.
Esses documentos são debatidos com a comunidade acadêmica e sociedades científicas e disponibilizados publicamente antes de cada avaliação. E as avaliações envolvem “consultas sistemáticas à comunidade acadêmica, bem como análise, equalização e aprovação colegiada pelo CTC-ES [Conselho Técnico-Científico da Educação Superior, um colegiado formado por diretores da Capes e representantes de cada uma das grandes áreas do conhecimento e de associações de relevância para pós-graduação brasileira]”.
Indicadores e critérios
O químico Adriano Lisboa Monteiro, da Universidade Federal do Rio Grande do Sul, coordenador da Área de Química na Capes e membro titular do CTC-ES, explica que a avaliação dos programas de pós-graduação é baseada num modelo comparativo, e não em critérios preestabelecidos. “É uma forma de assegurar que todos os níveis de uma escala avaliativa sejam ocupados, dando destaque para os que alcançam níveis de excelência, ou seja, os que estão no topo da escala”, diz.
Nesse modelo, os indicadores são pré-determinados e divulgados antes do período da avaliação. Já os critérios são desenvolvidos comparativamente, durante o andar do processo. Ou seja, os indicadores são pré-determinados, os critérios pelos quais os indicadores serão julgados, não. Monteiro faz uma analogia. “Somente para fim de contextualização, podemos tomar como exemplo de algo que está sendo bastante destacado nas últimas semanas, que é o fato de o Brasil ter um número de mortes por Covid por 100 mil habitantes muito maior que a média mundial”, diz. “Esse número poderia ser usado como um indicador de como o país está se saindo em relação à pandemia, mas jamais poderia ser usado como critério pré-estabelecido”.
Isso porque se um valor fosse estabelecido no início da pandemia, quando não se esperavam tantas mortes, ele provavelmente seria baixo e o resultado seria que todos os países teriam valores acima do estabelecido, ou seja, a conclusão seria que nenhum teria feito um bom trabalho, o que não é verdade. “O próprio uso da média, conhecida ao final, poderia não ser suficiente para uma boa avaliação, e o conhecimento acumulado durante o período poderia mostrar que seria necessário levar em conta também a distribuição de faixa etária e/ou o desenvolvimento sanitário do país”, acrescenta. Assim, o número de mortes é um indicador, mas o critério de julgamento mais racional é algo que evolui à medida que se aprende mais sobre a situação.
O biólogo Carlos Frederico Martins Menck, do Instituto de Ciências Biomédicas da Universidade de São Paulo (ICB-USP) e coordenador da Área Ciências Biológicas 1 da Capes, lembra de outra característica da análise. Trata-se, segundo ele, de um processo dinâmico e que sempre foi sujeito a modificações, como as que ocorreram em 2019, na metade do ciclo que começou em 2017. “Basicamente, a base da avaliação foi mantida, procurando sempre buscar a qualidade dos programas de pós-graduação em termos de sua infraestrutura, engajamento dos docentes, produção acadêmica deles e dos alunos e impacto social”, explica.
Debate amplo
Menck afirma que as principais modificações implementadas foram extensivamente discutidas com a comunidade (coordenadores de pós-graduação do país inteiro) e visaram basicamente aspectos que não afetam qualquer noção de previsibilidade, como alegam os procuradores. “Foram feitas mudanças no que chamamos de Qualis da produção acadêmica”, conta. “Nesse caso, foi implementado um sistema internacional (percentil de citação da revista da produção científica na área), que possibilita uma valorização de áreas específicas que normalmente apresentam poucas citações, e também a comparação entre elas”.
Com isso, foi criado o Qualis referência, que homogeneíza as 49 diferentes áreas de avaliação. “Essa era uma reinvindicação antiga da comunidade científica e foi amplamente divulgada e debatida com os programas de pós-graduação”, explica. “Mesmo com essa mudança, as áreas puderam manter indicadores anteriores, se assim desejassem. Isso foi feito na que eu coordeno, na qual mantivemos também (além do Qualis referência) uma análise que levasse em conta o fator de impacto (empregado há mais de uma década na nossa – e em outras)”.
Outra modificação importante foi incluir como produção acadêmica também os produtos técnicos-tecnológicos e livros e capítulos de livros. Apesar de sempre solicitada a informação pela Capes nas avaliações anteriores, esta é a primeira vez que estão sendo de fato incluídos esses itens na avaliação. “Entretanto, a modificação implicou em buscar qualidade e não quantidade, pois os programas puderam indicar seus melhores produtos e teses”, diz Menck.
Com as mudanças, também foi valorizada em indicadores a produção dos alunos de pós-graduação e dos egressos (formados até cinco anos). “Consideramos que a boa formação dos pós-graduandos sempre foi algo que os programas deveriam estar preocupados”, acrescenta Menck.
O sistema de análise da pós-graduação da Capes começou em 1976, inicialmente anual, depois trienal e nos últimos dois ciclos (2013-2016 e 2017-2020), quadrienal. Os cursos, dependendo dos indicadores, recebem notas que vão de 3 a 7 (sendo 6 e 7 reservados aos de nível internacional). “Na verdade, as áreas reúnem milhares de consultores que vão fazer a avaliação, analisar os dados, seguindo as diretrizes de cada uma – esse ano, por causa da pandemia, estava tudo sendo feito de forma remota”, explica o biólogo e doutor em Zoologia José Alexandre Felizola Diniz Filho, coordenador do Programa de Pós-Graduação em Ecologia & Evolução da Universidade Federal de Goiás (UFG). “O resultado é então analisado por pareceristas do Conselho Técnico Científico (CTC) da Capes, em uma segunda rodada de análise independente (coordenadores de uma área avaliam o procedimento e os resultados de outras), e só depois os resultados são votados e publicados”.
Para grande parte da comunidade científica, os resultados desse sistema são motivo de comemoração. Em sua nota, o Cruesp, por exemplo, diz que ele “tem efetivamente contribuído para o avanço no Brasil, na formação qualificada de recursos humanos para instituições de ensino, pesquisa e na inovação do setor privado e, consequentemente, na pesquisa científica e na inovação”.
Diniz Filho também ressalta a importância da análise da Capes. “Ela foi crucial para que o Brasil assumisse a posição científica que tem hoje, pois sempre norteou os critérios de qualidade”, diz. Isso não significa, no entanto que não haja problemas. De acordo com ele, o crescimento do sistema nacional de pós-graduação foi complicando o processo de avaliação e levando a uma burocratização da Capes.
“Há muita demanda para os coordenadores preencherem dados que não são usados, há dificuldades de processá-los e os avaliadores têm que calcular muita coisa ‘na mão’”, enumera Diniz Filho. “Com isso, as disputas se acirraram, de modo que muitas pessoas começaram a encarar a avaliação de forma negativa”.
Perda de qualidade
Há também muitos que não gostam dos limites impostos pelos parâmetros criados para avaliar qualidade. “Atualmente, é preciso que os programa de pós-graduação sejam avaliados e recebam a nota mínima de 3, para que o diploma tenha validade nacional, segundo o CNE [Conselho Nacional de Educação]”, explica Diniz Filho. “Se algum vai mal e tem indicadores ruins, ele pode receber uma nota 3 e é fechado pela Capes. E aqueles que têm doutorado não podem receber nota menor que 4”.
Segundo Diniz Filho, muitos questionam a avaliação porque não entendem de fato como o sistema funciona e não têm ideia de sua complexidade e querem propor soluções ingênuas, o que acaba sendo um “tiro no pé". “E outros questionam porque querem mesmo desmontar o sistema, pois há algum interesse econômico ou político subjacente”, acrescenta. “Tem uma questão séria de financiamento também, pois ao financiar (principalmente na forma de bolsas) a Capes quer cobrar resultados, e muitos não desejam isso”.
Para a presidente da Associação Nacional de Pós-Graduandos (ANPG), Flávia Calé, há também interesses econômicos por trás do questionamento do sistema de avaliação. “Essa suspensão do processo pode estar sendo motivada por setores interessados na desregulamentação da pós-graduação”, diz. “Está cada vez mais conhecida e perceptível uma pressão dos setores privados por abrir o ensino a distância, por exemplo, no stricto sensu”.
A suspensão do processo terá consequências sérias para o sistema. “Uma delas é acabar com a credibilidade da avaliação institucional”, adverte Flávia. “A fragilização pode interessar a esses setores, que enxergam possibilidades de ganhos econômicos e veem nela um mercado possível de ser explorado”.
Menck chama a atenção para o fato de que a suspensão da avaliação da Capes pela Justiça atropelou o processo, que estava em curso e já não será concluído este ano. “Centenas de docentes das mais diferentes partes do país participam dele”, diz. “Como são chamados aqueles que têm experiência em pós-graduação, são pessoas de agendas cheias em geral. Na nossa área, a comissão tem 21 pessoas e tínhamos previsto três reuniões de cinco dias cada uma. Não sei quando poderemos ter datas na agenda para esses encontros”.
Para Monteiro, o prejuízo gerado pela decisão da Justiça é difícil de mensurar. A avaliação estava em andamento, com alguns milhares de consultores envolvidos nas diferentes etapas. Quando ela for retomada, todas vão ser reagendadas e haverá um atraso ainda maior que o causado pela pandemia. “Mas o ponto principal é a descontinuidade do aprimoramento do processo de avaliação, que introduziu um olhar mais qualitativo e leva em conta os impactos econômicos e sociais dos programas de pós-graduação, uma demanda de toda a comunidade”.
Se a suspensão já traz prejuízos consideráveis para o sistema, a não realização do processo terá consequências ainda mais graves. “Caso não aconteça, será um desastre para a pós-graduação brasileira”, avisa Menck. “Teremos algo similar a uma boiada passando a porteira, com a criação de cursos sem nenhuma avaliação de uma estrutura acadêmica como a Capes. A população vai correr o risco de entrar em programas (e eventualmente pagar por eles) que não apresentam qualquer condição de emitir um diploma de mestrado ou doutorado”.
Haverá também graves consequências na continuidade do aperfeiçoamento da pós-graduação brasileira. “Pode vir ainda a comprometer a produção científica do país, que tem se destacado no contexto internacional, e retirar a referência que os candidatos a mestrado e doutorado tinham até então para escolher”, alerta Monteiro.
Segundo ele, a pós-graduação sempre foi uma política de Estado e não do governo do momento. O último Plano Nacional de Pós-Graduação (PNPG), por exemplo, compreendia o período de 2011 e 2020, e teve como objetivo definir novas diretrizes, estratégias e metas para dar continuidade e avançar nas propostas para política de pós-graduação e pesquisa no Brasil. “A retomada da avaliação, nos moldes como foi construída e pactuada com a comunidade, é fundamental para a sustentabilidade, a credibilidade e o fortalecimento da pós-graduação do país, duramente conquistados ao longo de décadas”, defende.
Evanildo da Silveira é jornalista