Hélder de Sousa, professor de Geografia do secundário, que antes esteve à frente do Gabinete de Avaliação Educacional, o organismo que precedeu ao Iave, lamenta que a análise exaustiva das respostas dos alunos por domínio, que anualmente é devolvida às escolas, não se tenha ainda traduzido na ultrapassagem das dificuldades que ali são identificadas, sempre as mesmas de ano para ano.

Assume que os exames ainda não geraram melhores aprendizagens, uma situação que descreve como sendo o “calcanhar de Aquiles” do sistema. E como a prestação dos alunos não tem melhorado, admite que o conseguir-se melhores resultados nos exames passa essencialmente por pequenas correcções nas provas ou nos critérios de classificação, como voltará acontecer este ano.

Em 2014 na maior parte das disciplinas do ensino secundário as médias de exame subiram, à excepção da Matemática e de Física e Química e de poucas mais. Tendo em conta a vossa capacidade de anteverem resultados pela análise exaustiva que têm feito das respostas aos exames já realizado, conta que esse fenómeno se passe outra vez este ano? 
Esta discussão anual sobre as subidas e descidas de resultados está muito empolada porque se valorizam oscilações que, do ponto de vista estatístico, têm uma amplitude muito reduzida. Basta haver uma variação de oito décimas, meio valor ou até um para se ficar imediatamente com a sensação, que é errada, que o sistema está a melhorar ou a piorar. Só que estas oscilações, e porque estamos a falar de provas que todos os anos são novas, são perfeitamente naturais e não significam que possa estar a haver uma melhoria ou uma regressão. Estas conclusões só são possíveis quando se verifica uma tendência persistente por exemplo de subidas de resultados, mesmo que pequenas. Mas o que se tem passado é que os resultados têm subido ligeiramente, voltado a descer, voltado a subir e portanto do ponto de vista estatístico estamos perante uma tendência irrelevante.

Também queria referir que quanto à polémica [levantada pelo presidente do Conselho Científico do Iave], que foi mal colocada, sobre a encomenda feita pelo ministério a propósito dos exames, é que esta incide sobre algo que nós já fazemos há anos e que é manter a estabilidade das provas.

Estabilidade em que aspectos?
Na dimensão das provas, na dificuldade dos itens, temos itens com uma dificuldade variada, mas que à partida se mantém de ano para ano, no tipo de itens, se são de escolha múltipla, se são de resposta extensa, no tipo de exercícios que são propostos, etc. Ou seja, há uma preocupação de manter os instrumentos de avaliação estáveis.

E quanto à possibilidade de preverem os resultados dos exames? Como é que fazem?
Só conseguimos prever resultados com um elevado grau de certeza porque os alunos, de uns anos para os outros, nem melhoram, nem pioram. E porque apesar de as provas serem públicas, tentamos que sejam muito similares entre si de ano para ano. Se já sabemos de antemão que os alunos não têm mostrado grandes diferenças nos seus desempenhos, é lícito pensar que se a prova tem características semelhantes os resultados também vão ser semelhantes. É nesta perspectiva que dizemos que temos capacidade de previsão.

Não lhe vou pedir para me revelar os conteúdos das provas, mas como estas já estão feitas há meses volto a insistir sobre qual é a vossa previsão quanto aos resultados deste ano. No ano passado houve oscilações significativa, por exemplo a Biologia e Geologia que, depois de vários anos com resultados negativos, voltou a uma média positiva.
É verdade, mas volto a dizer que quando se comparam apenas dois anos pode-se ter a sensação de que houve um salto grande, quando o que existe é uma subida de 10, 12 pontos percentuais, por vezes de um valor. Percebo que, do ponto de vista dos media, a preocupação seja comparar sempre com o ano anterior, mas isso é muito redutor do ponto de vista da análise.

Volto a insistir, não se esperam grandes surpresas nos resultados dos exames este ano?
No secundário há algumas áreas que nos têm estado a preocupar, que são sobretudo as ligadas à parte das tecnologias, a Física e a Matemática. E preocupam-nos porque tem havido sem grande razão, principalmente na Matemática, uma variação anual que, embora seja reduzida, tem sido nos últimos anos sempre no mesmo sentido, para baixo. Há dois, três anos, estávamos a gerar uma prova que era reconhecidíssima pela Associação de Professores de Matemática, pela Sociedade Portuguesa de Matemática, com uma dificuldade ajustada e adequável, e que estava a gerar classificações médias dos alunos internos da ordem dos 10,5, 10,6, o que me parece perfeitamente equilibrado.

O que é que aconteceu depois?
Tem havido um comportamento atípico de alguns itens que está a gerar classificações tendencialmente mais baixas. Não tem a ver com os alunos saberem menos. Desse ponto de vista a intervenção, e aqui mostra-se como é fundamental termos independência técnica, tem de ser a de tentar perceber porque é isso está a acontecer e tentar intervir. O que pode ser feito, por exemplo, como fizeram ao longo deste ano, ao nível sobretudo dos critérios de classificação. Fala-se muito do enunciado e esquece-se também que há uma dimensão que é determinante para os resultados que são os critérios de classificação e as pontuações atribuídas aos itens.

Os resultados obtidos nas duas disciplinas começam a desviar-se daquilo que é o reconhecido como adequado. Por maioria de razão, na Física e Química A, do 11.º ano, que tem um problema crónico de resultados muitíssimo baixos. É por norma a disciplina com resultados mais baixos. Estes resultados espelham porventura um nível de exigência desadequado e afugentam alunos de uma área que para o nosso desenvolvimento, enquanto país, é essencial, que é a área das tecnologias.

Então podemos esperar alguma correcção?
O trabalho que foi feito nos últimos dois anos, começámos já no ano passado com Física e Química A, foi no sentido de encontrar um ponto de equilíbrio à semelhança do que tem sido conseguido para as outras disciplinas.

Bastam então pequenas correcções para se obter melhores resultados?
Para a elaboração das provas são ouvidos centenas de professores e de auditores e nós somos muito sensíveis às suas críticas e sugestões de melhoria. Melhorar pode significar aprimorar um critério de classificação, melhorar os cuidados a ter na linguagem utilizada, utilizar-se suportes mais acessíveis. Isto passa-se ao nível de um enorme pormenor, mas que na prática, porque a escala é nacional, pode fazer a diferença entre os alunos terem facilidade em perceberem e responderem às questões do que não conseguirem. E às vezes basta um pormenor.

Esta é uma preocupação. A outra diz respeito à validade global das provas, o que tem a ver com o facto de estas combinarem dois elementos importantes, mas que são difíceis de articular. Por um lado, têm de serem reconhecidas como tendo uma exigência adequada, embora seja complicado definir exactamente qual é este patamar. Por isso podemos chegar lá pela negativa ou seja, as provas não podem ser demasiado fáceis ou demasiado difíceis. Por outro lado, nomeadamente no que respeita ao ensino básico, existe uma preocupação essencial em conseguir-se que os resultados não sejam negativos ou que estejam próximos da positiva, existindo assim uma distribuição equilibrada entre os alunos que têm positiva e os que têm negativa.

Esse é um objectivo que não tem sido alcançado, nomeadamente no que respeita aos resultados da prova final de Matemática. Houve já vários anos com médias negativas tanto no 9.º ano, como no 6.º e 4.º.
Mas os desvios são muito pequenos. Por vezes as médias têm sido de 47% ou 48% numa escala de 0 a 100. Quando dizemos que previmos os resultados o que isso significa é que vamos prever num intervalo ente 50% e 57%, o que não significa que a média da prova não venha a ser 47% ou 48%. E isso não significa que a prova tenha sido mais difícil, mas sim que houve um comportamento que esteve fora daquilo que era esperado em um ou dois itens.

Em 2011 foi essa a razão apontada para justificar uma das piores médias de sempre (8,) no exame nacional de Português do 12.º ano. Porque houve perguntas de Gramáticas que foram feitas de forma diferente?
Exactamente e foram apenas dois itens. Não estávamos à espera que tal acontecesse, mas isso não legitima que se diga que se fizeram provas mais fáceis ou difíceis com alguma intenção obscura, como muitas vezes se quer fazer crer.

A título pessoal, já tenho manifestado várias vezes que me sinto muito constrangido pelo facto de sermos uma sociedade que considera normal que a avaliação externa gere uma percentagem tão elevada de resultados negativos. Muitas vezes superior a 40%, sem que nada aconteça depois, sem que soem campainhas de alarme e se adopte medidas muito concretas, com resultados rápidos, com vista à superação das dificuldades de aprendizagem dos alunos. 

No básico isto é muito preocupante, porque estas dificuldades de aprendizagem raramente são recuperadas ao longo da vida escolar dos alunos. É como se estivéssemos a fazer uma antecipação de percursos académicos que vão ser muito complicados. E não só dos que têm classificações negativas, mas também dos alunos que têm uma classificação de 3 (numa escala de 0 a 5) e para os quais se olha pouco. E é preocupantes terem 3 porque, principalmente no 4.º e 6.º ano, significa que houve aprendizagens muito importantes que provavelmente não foram alcançadas e por isso estes alunos têm um resultado muito aquém do que seria um desempenho bom ou excelente.

Já existem exames no ensino básico há vários anos e antes deles realizavam-se provas de aferição nacionais. E anto o Gabinete de Avaliação Educacional (Gave) com o Instituto de Avaliação Educativa, que lhe sucedeu, têm elaborado relatórios anuais onde se identificam as principais dificuldades sentidas pelos nas provas e que são sempre as mesmas de ano para ano. Dito sito, considera que houve algum efeito da avaliação externa na melhoria das aprendizagens em sala de aula?
Penso que o calcanhar de Aquiles do sistema passa exactamente por essa questão. Em princípio, os exames têm um papel essencial na regulação do sistema porque, por um lado, vinculam os professores ao cumprimento do programa e, por outro, definem um patamar de exigência que está padronizada a nível nacional. Mas efectivamente os exames não estão, como gostaríamos que acontecesse, a gerar melhorias.

Temos devolvido resultados às escolas que lhes permitem comparar o desempenho dos seus alunos nos vários domínios que são avaliados. Não acho importante que se comparem médias, mas sim que as escolas percebam com os estão os seus alunos num determinado domínio, por exemplo a escrita, por referência ao que é o padrão nacional. O que seria necessário é que houvesse um movimento a nível nacional com o objectivo de identificar quais são as capacidades e competências fundamentais, transversais às várias disciplinas e que se olhasse para o desempenho dos alunos nestas áreas. Porque, no fundo, são estas competências que dão aos alunos a capacidade de, em qualquer contexto novo, olharem para a informação que lhes é dada e serem capazes de processá-la. Se não conseguirmos fazer isto, vamos ter um problema porque é dessa capacidade que os alunos vão precisar no futuro.

São os professores que estão a falhar?
Sou muito avesso a essa tendência de se apontar o dedo com muita facilidade. As escolas em regra apreciam o tipo de informação que lhes damos e têm vindo a analisá-la com muito cuidado. O salto que falta dar é o de serem capazes de darem aos alunos um feedback de qualidade. Não responsabilizo os professores por isso, porque considero que o défice que existe neste campo provém da formação inicial que lhes tem sido dada.

Normalmente o que se devolve aos alunos é uma nota e é geralmente isto que eles e os pais também querem saber. Mas uma nota não nos diz o que ficou por aprender ou o que está mal aprendido e o que se tem de fazer para melhorar. É fundamental que os professores sejam capazes de o fazer, só que esta capacidade não nasce por acaso. Tem de ser ensinada e o que vejo é que na formação inicial dos professores se valoriza pouco esta área da avaliação.

Nos relatórios sobre os exames vê-se que as principais dificuldades dos alunos se repetem de ano para ano. Apesar de nas aulas se passar muito tempo a treinar para os exames, com os alunos a resolverem todas as provas passadas, e isto quase logo a partir do 2.º ano de escolaridade por causa do teste intermédio. O que está a correr mal então?
É o maior erro que se comete em matéria de prática de sala de aula. E por várias razões. Faz-se esse treino intensivo, mas para o tal feedback de qualidade não há tempo porque o objectivo é fazer testes por fazer. Aos alunos isto acaba por lhes criar também uma certa ansiedade porque eles se apercebem que há determinado itens que não conseguem resolver e que não há tempo sequer para os aprender. É completamente anacrónico e já se provou que não resolveu nunca problema nenhum, nem vai resolver.

Esta prática tem tido algum impacto na melhoria das aprendizagens?
Zero. Os alunos estão a ser formatados. É um péssimo retrato da escola, mas há muita dificuldade de mudar este paradigma. Há a pressão da obtenção de resultados por parte das escolas, há a pressão dos pais, há todo um conjunto de contextos sociais que criam uma espécie de ratoeira em que somos tentados a ir pela forma mais fácil, que é a de treinar intensivamente para os exames.

Então os efeitos dos exames nas aprendizagens em sala de aula não serão mais perversos do que benéficos?
Há essa ideia muito generalizada que não tendo exames o sistema funcionaria melhor. Eu repudio essa ideia. Há muitos anos de escolaridade em que não existem exames e no entanto não existe qualquer evidência que a avaliação interna b nesses anos seja de carácter essencialmente formativo. E porquê? Porque há testes e os alunos estudam para os testes e portanto tanto faz haver exames no final, como não. E são os testes que acabam por ter um peso muito grande na avaliação interna. É esta a cultura de escola dominante cultura de escola está muito marcada desta maneira.

Agora cair no extremo oposto e defender que então é melhor não ter exames, é um discurso perigoso. Por que se não existirem exames corre-se o risco de retirar do sistema o único mecanismo de regulação do que se faz nas escolas e centrar toda a avaliação na avaliação interna. E quem é valida essa avaliação? Não está em causa a seriedade dos professores, mas nos exames há um padrão uniforme para todos, que permite que à partida todos estejam em pé de igualdade, o que já não acontece com da escola. E Um sistema sem controlo tem tendência a estagnar ainda mais e provavelmente até a regredir.

Que eventuais efeitos poderão ter o facto de a redução da diferença entre classificação interna e externa ser um dos critérios escolhidos pelo ministério para outorgar um crédito horário às escolas, que lhes permite ter mais actividades ou apoios? Concorda com o presidente do Conselho Científico do Iave de que já está a ter o “efeito perverso” de levar as escolas a reduzir a classificação interna dos seus alunos?
É uma questão muito sensível. Fico algo espantado quando há pessoas que estranham que haja uma diferença, que é perfeitamente natural, entre a classificação interna e a externa. Estamos a avaliar coisas diferentes e ainda bem. Este é um ponto. Outro é que não existe nenhum estudo, nenhuma referência sólida que permita saber qual é a medida adequada, justa, para a diferença entre classificação interna e externa.

Há três anos perguntei às diferentes associações e sociedades com representação no Conselho Consultivo do então Gave qual seria o intervalo aceitável desta diferença. Até hoje só tive resposta de uma associação de professores.

Acho que pode ser perigoso criar-se um critério que joga com este indicador da diferença entre avaliação interna e externa sem que este esteja devidamente estudado e quantificado. Já percebemos que as escolas têm dificuldade em subir de forma consistente a classificação de exame e para irem ao encontro do que é pedido poderá estar-se a esboçar uma tendência de descida da classificação interna. Ainda não temos dados suficientes sobre isto. No 9.º ano, na Matemática, já se pode afirmar que essa tendência existe, mas no secundário não é estatisticamente relevante por enquanto.

Penso que este critério deve ser repensado e reavaliado porque não faz qualquer sentido que haja porventura mais escolas a beneficiar do crédito por terem reduzido a classificação interna do que por via da melhoria dos resultados dos alunos nos exames.