Todos sabemos que se andamos a passear durante uma trovoada podemos ser atingidos por um raio. Mas também todos sabemos que a probabilidade de isso acontecer é muito reduzida. Da mesma forma, os 5847 cientistas que leram atentamente o guião de candidatura aos projetos de investigação da FCT, sabiam claramente que, em caso de empate na avaliação final do seu projeto, estavam bem definidos os critérios de desempate: ganharia em primeiro lugar aquele que tivesse a melhor classificação no critério A (mérito científico do projeto do ponto de vista internacional). Caso não fosse possível desempatar dessa forma, verificar-se-ia a pontuação do critério B (mérito da equipa), seguido do critério C (razoabilidade do plano e orçamento) ou então do critério D (contributo para aumentar as competências do sistema científico nacional). Parece-me critérios de desempate razoáveis.

No entanto, se mesmo assim não fosse possível desempatar, então implementava-se um último critério que seria baseado na data e hora de submissão do projeto. Ou seja, aquele cientista que tivesse submetido o projeto mais cedo, ganharia. Contudo, com tantos critérios meritocráticos, avaliados por dois ou três diferentes peritos internacionais, a probabilidade de ser excluído pela rapidez de submissão seria ínfima.

Tendo a ANICT analisado 22 dos 32 painéis de avaliação, foi possível concluir que no concurso de projetos da Fundação para a Ciência e a Tecnologia (FCT) deste ano, aconteceu aquilo que ninguém imaginava: foram excluídos pelo menos 36 projetos com exatamente a mesma classificação do que outros projetos vencedores, em todos os critérios de avaliação. Trinta e seis projetos podem parecer poucos, mas quando apenas 312 projetos foram aprovados, torna-se um número significativo. Obviamente que isto levanta uma importante questão: como é que se chegou a este ponto, em que se exclui um significativo número de projetos de excelência, por critérios completamente aleatórios?

Uma das realidades com que os cientistas se deparam é que as regras do jogo estão constantemente a ser mudadas, o que também contribui para a instabilidade das equipas de investigação. Neste último concurso, ao contrário do concurso anterior (de 2017), a FCT decidiu que, para todos os quatro critérios de avaliação, se iria fazer um arredondamento da classificação à unidade inteira. Esta decisão, que infelizmente teve consequências nefastas, é particularmente surpreendente quando a escala de avaliação é muito reduzida (1 a 9 valores) e ainda por cima quando o orçamento disponibilizado para todos os projetos era à partida particularmente escasso.

Para percebermos a dimensão do problema, é preciso explicar que durante a última década, cada projeto tem vindo a ser avaliado por dois ou mais cientistas internacionais que, para cada critério de avaliação, têm que atribuir uma classificação em número inteiro até 9 valores (em 2009 a escala era até 100). Com dois ou três avaliadores, é mais do que normal que a média das avaliações resulte num número decimal. Por exemplo, se no critério A alguém recebesse 9+7+6 valores, ficaria com 7,3 pontos nesse critério. Se outro projeto tivesse 9+6+5, ficaria com 6,7 pontos. São claramente duas avaliações distintas, mas este ano a FCT decidiu que eram iguais. E fez o mesmo para todos os outros três critérios de avaliação.

Conscientemente ou não, ao decidirem arredondar as médias das avaliações de cada critério à unidade, acabaram por inviabilizar os quatro critérios de desempate que a FCT tinha definido, tendo assim resultado na impossibilidade de desempatar projetos por critérios baseados no mérito. Foi então necessário desempatar projetos de qualidade excecional pela ordem de quem submeteu a candidatura primeiro. Não é inédito, mas nunca com a dimensão deste ano.

Não sei qual terá sido o motivo para esta decisão, mas suspeito de que é uma forma simples de mascarar as avaliações muito díspares que frequentemente acontecem, que é outro problema grave dos processos de avaliação, como tive oportunidade de explicar noutro artigo de opinião no início deste ano. Não podemos ter medo da transparência e é preciso reconhecer que, por vezes, ocorrem falhas. Mas isto dá muito trabalho, e a FCT sabe disso perfeitamente. Escusado será dizer que o facto de se ter reduzido significativamente o financiamento para este concurso veio tornar este problema evidente. No entanto, a solução para o problema é simples: a FCT tem de voltar a apresentar os resultados da avaliação internacional com os valores arredondados à décima, como fez no concurso de 2017.

Se a FCT insiste em simplificar a forma como se reporta o processo de avaliação dos projetos, já estou mesmo a imaginar todos os cientistas colados ao monitor do PC, à espera de que a plataforma de submissão de projetos fique disponível, para ver quem é o mais rápido a submeter a sua candidatura. Não bastará ter mérito científico, nem sorte nos avaliadores que nos atribuem, teremos de ser mais rápidos do que a nossa própria sombra, para conseguirmos ser os primeiros a submeter toda a informação necessária no complexo formulário de candidatura.

O autor escreve segundo o novo Acordo Ortográfico