Confesso que o mais difícil foi encontrar um título adequado e não redundante para este texto, nascido da leitura muito rápida do estudo O Impacto do Professor nas Aprendizagens do Aluno: Estimativas para Portugal, realizado por uma equipa da SBE Nova e do University College de Londres para o Edulog, think tank para a Educação da Fundação Belmiro de Azevedo, assim como dos destaques que surgiram a seu propósito aqui nas páginas do PÚBLICO.

O tema está muito longe de ser novo, algo que não transparece na apressada revisão da literatura feita no estudo em apenas uma página. Eric Hanushek merecia pelo menos uma referência de passagem, já que foi dele a introdução da ideia de avaliar a eficácia dos professores há exactamente 50 anos (cf. Eric A. Hanushek, “Teacher characteristics and gains in student achievement: Estimation using micro data”, American Economic Review v. 60, no. 2, May 1971): 280–88. A Economia da Educação dedica-lhe numerosos estudos desde as últimas décadas do século XX, em especial nos países anglo-saxónicos, e qualquer pesquisa, por exemplo, sobre Value-Added Models (VAM) of Teacher Effectiveness, dá-nos um retorno de muitas centenas de contributos, análises de caso ou meta-análises da validade destes modelos destinados a medir a eficácia dos professores. A teoria, na sua aparente simplicidade, tem a sua capacidade de atracção e confesso que lhe dediquei alguma atenção, antes de compreender todas as suas limitações em termos práticos, mesmo nos casos em que é possível um corpo de dados fiável e desenvolver uma metodologia sem demasiados enviesamentos no sentido da análise puramente estatística de algo que tem componentes dificilmente mensuráveis.

Os autores do estudo parecem ter noção das dificuldades, acrescidas no caso português, pois os dados nem sempre são os mais completos ou sequer coerentes, mesmo se tiveram um raro acesso à MISI (base de dados anonimizada da rede de escolas públicas da DGEEC). Como declaram logo na página 7, “a estimação do VAP em Portugal é dificultada pelo facto de os exames/provas nacionais ocorrerem apenas nos finais de ciclo: de facto, no intervalo entre dois exames/provas, os alunos são muitas vezes expostos a mais do que um professor de uma mesma disciplina nos vários anos do ciclo de ensino”, pelo que tiveram de desenvolver uma metodologia que consideram nova para superar algumas especificidades do nosso contexto. Não vou fazer qualquer juízo de valor sobre a metodologia específica porque, mesmo que tenha tido alguma formação rudimentar em métodos de análise em História Económica, não consigo encontrar qualquer significado relevante num cálculo de um Valor Acrescentado da Combinação de Professores (VAC) que se traduza pela fórmula apresentada na página 19:

Foto

Se a qualidade de um professor, se o seu valor para os seus alunos se pode transformar numa fórmula deste tipo é porque talvez seja mesmo melhor substituir os docentes humanos por máquinas. Aceito que existem ferramentas estatísticas que podem dar um contributo útil para medir a evolução dos resultados dos alunos, mas há aqui algo que em termos filosóficos me provoca uma enorme rejeição. Porque se a Economia da Educação é uma disciplina que pode ter a sua aplicação, muitas vezes bem perversa, em algumas áreas da gestão financeira do sistema educativo, já o mesmo me parece muito mais problemático quanto à definição da qualidade, ou “eficácia”, do trabalho de um professor com os seus alunos.

A esse respeito, pela sua clareza e objectividade, vou resumir e comentar as reservas colocadas em relação aos estudos com base nos modelos do valor acrescentado, entre muitas outras análises, no artigo “Value-added models: What the experts say”, de Audrey Amrein-Beardsley, Margarita Pivovarova e Tray Geiger no Phi Delta Kappan – The professional journal for educators (colocado online a 1 de Outubro de 2016 e consultado a 23 de Junho de 2021).

São cinco os principais focos de discussão acerca do alcance de tais estudos:

Fiabilidade – professores considerados eficazes num dado ano, podem surgir como ineficazes em outro, sem que o contexto escolar tenha mudado, o que nos deixa perante a possibilidade de o desempenho dos alunos ser afectado de forma decisiva por outros factores, intra ou extra-escolares.

Validade – não existem provas de que este modelo tenha maior valor do que os que usam dados recolhidos de outras formas, como sejam a observação feita pelos órgãos de gestão ou supervisão pedagógica das escolas ou em pesquisas baseadas na avaliação dos alunos.

Enviesamento – apesar das tentativas para bloquear alguns desvios e reduzir o seu impacto estatístico, é difícil controlar os efeitos das variáveis demográficas associadas aos grupos de alunos que cada professor ensina. E acrescento ainda a questão da dimensão das turmas e número de alunos atribuídos a cada docente, mesmo se o estudo nacional se resumiu a duas disciplinas.

Transparência – a opacidade e complexidade destes modelos, com uma complexidade matemática que se afasta de qualquer representação reconhecível do trabalho pedagógico, torna-os muitas vezes incompreensíveis para os próprios professores avaliados. Isto porque, em grande parte, este é um modelo basicamente estatístico que nada diz sobre o que é feito em sala de aula que explique a “eficácia”.

Equidade – este é um modelo que, como no caso do estudo do Edulog, acaba por se basear apenas em duas disciplinas (Língua Materna e Matemática), deixando de fora a larga maioria dos docentes de todas as restantes disciplinas e, muito em especial, os professores dos primeiros anos, que são reconhecidos como os que estabelecem os alicerces das futuras aprendizagens. Por isso, apresentam-se conclusões sobre a “eficácia” e o “valor acrescentado” dos professores (e das próprias escolas) que se ficam a dever apenas a uma parcela dos professores.

Mas, para além destas críticas gerais ao modelo do “valor acrescentado”, existem algumas notas a sublinhar sobre o estudo feito agora para Portugal e sobre algumas das evidências que pretende apresentar.

Em primeiro lugar, chamar a atenção para o facto de no período usado para o estudo (de 2007/2008 até 2017/2018) terem existido alterações sensíveis no tipo das provas aplicadas no Ensino Básico, com a introdução de provas finais em vez de provas de aferição no 4.º e 6.º ano de escolaridade em 2012-13 e pouco depois, em 2015-16, com o desaparecimento de provas nesses anos. Se nos lembrarmos de toda a polémica associada a essas duas decisões, parece-me no mínimo curioso que se considere ser possível fazer um estudo que assuma que os dados recolhidos apresentam suficiente coerência.

Em segundo lugar, destacar que na segunda conclusão apresentada no “sumário executivo” (p. 8) se confirma “a importância, entre outras variáveis, do sexo, do nível de rendimento, da nacionalidade e da formação académica dos pais (principalmente da mãe) nos resultados dos alunos”, o que poderia servir de ponto de partida para um debate sério sobre o que existe a fazer para melhorar o desempenho dos alunos e que escapa por completo ao trabalho docente.

Em seguida, que é por demais óbvio que mais vale um professor “melhor” pelo menos um ano em cada ciclo de escolaridade e de preferência no último, quando se realizam provas/exames, do que o mesmo todos os anos desse ciclo de escolaridade, se for “menos bom”. Mas isso deveria ser melhor explicado quando se afirma, nas mesmas conclusões, que “a ‘continuidade pedagógica’ (…) não tem impacto nos resultados dos alunos”.

Em terceiro lugar, quando se distingue que existem professores com um maior efeito na probabilidade de os alunos terem classificação “positiva” e outros com maior efeito na probabilidade de terem classificações mais elevadas, seria da maior importância identificar quais as características desses professores, das suas metodologias e do perfil dos alunos e turmas com que costumam trabalhar. Porque há diferentes concepções de “eficácia” a ter em conta.

Por fim, é impossível não relacionar esta demanda quase obsessiva pelos “melhores” ou “mais eficazes” professores, no sentido de os recrutar e os generalizar no sistema de ensino com outros aspectos como o próprio processo de avaliação do seu desempenho baseado em quotas de mérito. A verdade é que, de acordo com um modelo de avaliação do desempenho docente inspirado em outras teorias da Economia da Educação, o reconhecimento da excelência está reservado a 5% dos docentes e apenas mais 20% podem ser considerados muito bons, o que nos deixa sem perceber que estímulos possam existir para a criação de um ecossistema docente em que se procure manter os “melhores” ou uma maioria dos mais “eficazes”, pois 75% deles não verá isso formalmente reconhecido em termos de progressão na carreira.

Mais grave, pelo contacto directo com vários processos de reclamação ou recurso das classificações atribuídas, percebe-se que os parâmetros e descritores usados em muitas escolas e agrupamento dão maior prevalência a aspectos burocráticos e administrativos da docência do que aos propriamente pedagógicos. E não é raro que se considerem como excelentes e muito bons docentes com uma carga lectiva muito mais reduzida do que outros ou com turmas com perfis que garantem, à partida, um melhor ambiente de aprendizagem e nível de desempenho. E sobre isso este estudo nada fala.

Os autores terminam o estudo afirmando que “os resultados e conclusões obtidos no nosso estudo são relevantes para o debate acerca da importância do professor no sistema de ensino e das políticas de recrutamento e alocação de professores.”

Mas o estudo em pouco (ou mesmo nada) contribui para que se perceba exactamente o que é um professor “eficaz”, muito menos em sala de aula, para além da medição dos resultados dos alunos em provas finais/exames, numa lógica simplista não muito diversa da usada nos primeiros rankings de escolas com base nesses mesmos resultados.