No dia 28 de novembro, a Fundação para a Ciência e a Tecnologia (FCT) divulgou os resultados da sexta edição do Concurso de Estímulo ao Emprego Científico (CEEC). Como é habitual, as críticas aos resultados divulgados não se fizeram esperar, mas estes só surpreendem quem espera objetividade na aplicação dos critérios de avaliação das candidaturas.

Tal como noutras edições do CEEC, cada candidato foi avaliado pelo mérito do seu currículo e pelo mérito do plano de trabalho proposto, pesando aquele 60% da nota final e este 40%.

Se a avaliação do plano de trabalho é eminentemente subjetiva (o que é um plano excelente para um júri, pode ser medíocre para outro), a avaliação do candidato não o é menos. Na verdade, torna-se um exercício de extrema subjetividade a partir do momento em que se abandonou por completo uma apreciação quantitativa dos currículos (o que decorre do Decreto-Lei 57/2016, artigo 5.º, ponto 4, alínea b). No guião de avaliação (p. 11, último parágrafo), é explicitamente indicado que os avaliadores devem apreciar o mérito dos candidatos em termos da sua qualidade, relevância e impacto e não de uma forma quantitativa.

Naturalmente, quantidade não significa qualidade, mas aquela prerrogativa, sem indicar critérios para medir a “qualidade, relevância e impacto” permite tudo. Se usada sem critério nem responsabilidade, permite situações escandalosas em que candidatos com poucas publicações, sobretudo aquelas indexadas nas bases de dados internacionais Scopus ou Web of Science (o principal resultado da investigação), ficaram à frente de outros candidatos com um currículo mais extenso.

O mais grave é que qualquer tentativa de apelo está condenada ao insucesso. Como se pode rebater uma mera opinião subjetiva emitida à luz de todas as regras do concurso?

Para quem não sabe, a Scopus e a Web of Science são bases de dados que incluem aquelas que são consideradas as melhores revistas académicas a nível internacional. A nível das unidades de investigação e das universidades, a publicação em revistas Scopus ou Web of Science é altamente recomendada.

Voltando à avaliação da qualidade da produção científica dos candidatos aos CEEC (sobretudo a de artigos em revistas académicas), esta já foi medida antes da sua publicação, durante o processo de peer review, em que o texto original é apreciado por especialistas na área (pelo menos dois), que recomendam a sua aceitação ou rejeição para publicação. Muitas vezes, os artigos são sujeitos a mais do que uma ronda de revisões até serem efetivamente publicados. Os académicos que constituem os painéis de avaliação da FCT, obviamente, não são especialistas em todas as áreas abrangidas pelo painel de avaliação a que pertencem, pelo que poderão não ter competência para avaliar a qualidade de publicações académicas em subáreas diferentes das suas.

Além desta questão, o painel dos avaliadores deveria validar as indicações de cada candidato referente à própria atividade científica (o número e tipo de publicações e outro material). Existe, de facto, uma diferença relevante entre capítulos de livros (caso tenham peer-review, são light open peer-review) e publicações em revistas indexadas com um processo de single-anonymized ou double-anonymized review, limitada taxa de aceitação (por exemplo, ver aqui: 12%; ou aqui 19%) e maior qualidade.

Por outro lado, existem artigos em revistas predatórias, onde o processo de publicação é rápido e discutível (ver aqui), que não deveriam ser comparadas com outras revistas.

Aliás, aqui reside outro problema, uma vez que não é raro que os académicos que compõem os painéis tenham currículos inferiores aos dos próprios candidatos, havendo casos de membros com duas, uma, ou mesmo nenhumas publicações indexadas. A este propósito, a FCT refere que os painéis de avaliação “são constituídos por peritos de reconhecido mérito, com afiliação a instituições estrangeiras”. Importava que aquela instituição esclarecesse como valorou o “reconhecido mérito” de investigadores com poucas ou nenhumas publicações indexadas.

Na mesma página, a FCT adiciona que os painéis de avaliação devem assegurar “a representatividade das áreas científicas selecionadas pelos candidatos” e aqui surge outro problema. Existem painéis que são manifestamente demasiado abrangentes, sendo impossível cobrir de forma justa todas as subáreas científicas dos mesmos. No painel de História, por exemplo, dos 16 membros que o compõem, cinco dedicam-se ou têm publicações sobre o século XX e sobre as histórias do imperialismo/colonialismo/fascismo. No painel de Linguística e Literatura, verifica-se o domínio de avaliadores da primeira área, ficando a segunda severamente condicionada por especialistas dedicados a estudos literários contemporâneos.

Existem outras questões controversas relacionadas com a avaliação do percurso do candidato. Frequentemente, aspetos de um currículo que são valorizados num candidato não o são noutro. Aqui, mais uma vez impera a subjetividade e a vontade do painel de avaliação, algo que poderia ser ultrapassado se cada componente do currículo tivesse uma valorização predefinida, à qual o júri teria de se submeter.

Se a FCT fosse uma instituição privada, poderia usar o seu dinheiro como entendesse, apenas devendo explicações aos seus curadores, benfeitores, o que fosse. Sendo uma entidade pública, financiada maioritariamente pelo Orçamento do Estado, deveria usar o dinheiro dos contribuintes de forma mais criteriosa confiando nos que no passado mais provas deram de fazer ciência de qualidade e não naqueles selecionados subjetivamente por um conjunto de alegados peritos.

Numa altura em que o país se prepara para novas eleições legislativas, este deveria ser um assunto em discussão. Importava debater e conhecer propostas dos diversos partidos, não só para reforçar o orçamento para a investigação, mas também para a definição de regras mais objetivas e transparentes para valorizar o efetivo mérito dos investigadores.

Os autores escrevem segundo o novo acordo ortográfico

Signatários:
Hugo Silveira Pereira (CIUHCT, Universidade Nova de Lisboa)
Stefania Stellacci (ISTAR, Iscte)
Andreia Rodrigues (CESAM, Universidade de Aveiro)
Paula Marques Figueiredo (Universidade Estadual da Carolina do Norte)
José Luís Capelo Martínez (Departamento de Química, Universidade Nova de Lisboa-FCT)
Patrícia Calca (CIES, Iscte)
Marta Roriz (CIAS, Universidade de Coimbra)
Manuela Oliveira (i3S/Ipatimup, Universidade do Porto)
Lia-Tânia Dinis (CITAB, Universidade de Trás-os-Montes e Alto Douro)
Mariana Rodrigues (CIIE, FPCEUP)
Alexandra Gaspar (CICUP, Universidade do Porto)
Maria Elvira Callapez (CIUHCT, FCUL-UL)
Nelson J. Almeida (UNIARQ-FLUL)
Marta Isabel Caetano Leitão (IAP, UNL; HTC-CFE, Universidade de Coimbra)
Raquel Lopes
Joana Gomes (IF, FLUP)
Mariana Leite (IF, Universidade do Porto)
Cristina Gameiro (UNIARQ, FLUL)