As afirmações de João Paulo Leal foram feitas numa conferência promovida pela Universidade de Coimbra, no âmbito de um projecto que visa comparar os exames nacionais em Portugal com os de outros países. Na sua intervenção, Leal, que preside a um órgão consultivo do Iave – sem poderes executivos, portanto – explicitou que aquele organismo “tem feito os exames escolhendo os itens de maneira a que se repliquem as notas dos exames dos anos anteriores”. E considerou a situação dramática, por penalizar “as disciplinas que têm notas mais baixas” e tornar impossível “tirar qualquer conclusão relativa à evolução das aprendizagens dos alunos ao longo do tempo”.

O MEC nega. Através do gabinete de imprensa, confirmou ao PÚBLICO que, nos termos da lei, envia ao Iave “cartas de solicitação” que “explicitam os instrumentos que o membro do Governo responsável pela área da educação pretende aplicar e as especificações técnicas a que os mesmos devem obedecer”. Indicou ainda que essas cartas são objecto de publicitação na página electrónica do Iave, um ofício no qual não se faz qualquer alusão a resultados. O MEC determina, sim, que as provas devem “manter semelhança conceptual e estrutural com as provas equivalentes de anos anteriores” e, em particular, “um grau de exigência global semelhante e uma distribuição das questões por grau de complexidade semelhante”.

O PÚBLICO tentou, sem sucesso, voltar a falar com o presidente do CC do Iave. Na conferência, na manhã de sábado, este deixou claro que se podem promover resultados, em média, mais altos ou mais baixos, alterando, simplesmente, as cotações dos vários itens ou, então, uma ou duas questões em todo o exame. Apontou como exemplo, duas perguntas de gramática muito semelhantes para não especialistas, mas que têm variações de acerto que caem de 12% para 71%, consoante se pede um verbo na negativa ou no condicional. Da mesma forma, a Matemática, indicou duas questões similares podem ter resultados díspares, de 80% ou 40%, conforme a resposta implica um raciocínio ou dois raciocínios articulados, explicou.

Para indicar como se podem alterar resultados com base nas cotações, João Paulo Leal mostrou vários quadros referentes a um mesmo conjunto hipotético de alunos e às mesmas questões. Apoiando-se nessas figuras, alterou sucessivamente e apenas ligeiramente as cotações das perguntas, valorizando as de dificuldade baixa, num caso, de dificuldade média, noutro, o que fazia variar as médias finais.

“Hoje temos um historial de cinco mil itens a Português, por exemplo. Se quero que haja notas altas é muito fácil. Pego numa ou em duas perguntas, substituo-as por outras, aparentemente semelhantes, e a minha expectativa em relação aos resultados dá um salto de cinco valores”, sublinhou. Disse, ainda, pensar que “não é segredo para ninguém que as equipas do Iave que realizam os exames fazem uma estimativa de que resultados, em média, cada exame vai ter”: “Com uma diferença de mais ou menos um valor em vinte, acertam em 95% dos casos”, disse, sublinhando que aquelas equipas “conseguem fazer um exame para a nota que querem”. Mais tarde, especificou que os 5% que restam se explicam com o facto de algus exames serem feitos por poucos alunos. Naqueles casos, disse, dois ou três indivíduos com resultados extraordinários bastam para desequilibrar a média. “Mas com 20 mil alunos a fazer exame a estatística funciona muito bem", insistiu.

O presidente do CC do Iave criticou ainda os jornalistas, considerando que, quando analisam os resultados dos exames e escrevem que os alunos melhoraram a esta disciplina e pioraram a outra, que um exame foi mais ou menos difícil, “estão a olhar para a espuma, a analisar espuma”. A propósito, mostrou um gráfico que, segundo disse, “mostra oscilações nos resultados dos exames, mas não alterações com relevância estatística”. “Se os exames foram feitos para reproduzir o que que aconteceu nos anos anteriores, só se pode esperar que o reproduzam, como esperado, e concluir se reproduziram ou não. Não é possível inferir mais do que isto”, sublinhou, mais tarde.

No momento do debate, as afirmações suscitaram apenas uma questão, de uma pessoa da assistência, que considerou “vão” o esforço dos professores e das instituições para melhorar os resultados de Física e Química quando aqueles “dependem de uma decisão política”. João Paulo Leal respondeu “que vale sempre a pena fazer esse esforço” e acrescentou que “a Sociedade Portuguesa de Física e a Sociedade Portuguesa de Química, com a colaboração do próprio Iave, têm tentado mudar essa situação, mesmo contra os pedidos políticos que têm sido feitos”. “A mudança não pode ser radical de um ano para o outro, mas está a ser feito um esforço nesse sentido”, disse.

Entre 2011 e 2014, a média da 1.ª fase de exames de Física e Química foi, sucessivamente de 9,9; 7,5; 7,8 e 8,8. A de Matemática foi de 9,2; 8,7; 8,2 e 7,8.  

Em resposta a questões colocadas pelo PÚBLICO, João Paulo Leal disse não “fazer ideia de qual poderia ser a intenção do MEC”. Afirmou, no entanto, não ter dúvidas sobre “as consequências, que já se fazem sentir, com os alunos a fugirem, por este motivo, às disciplinas que têm resultados mais baixos”.

O Conselho Científico do Iave é composto pelos representantes de todas as associações e sociedades científicas e pedagógicas das disciplinas a que respeitam os instrumentos de avaliação. Este órgão entrou em rota de colisão com o MEC e com o próprio Iave quando veio a público um parecer em que o CC defendia que a prova de avaliação para professores contratados não era “válida e fiável” no objectivo a que se propunha e tinha como “propósito mais evidente” impedir o acesso à carreira docente. O conselho directivo do mesmo instituto considerou que o parecer, "não foi solicitado", foi “uma iniciativa do CC sem enquadramento estatutário".