O que nos dizem os vários indicadores de desempenho dos alunos?
Relação entre médias de exame e percentagem de percursos directos de sucesso é muito forte. mas a estratégia das secundária passa ainda muito pela retenção dos alunos.
O indicador de sucesso do Ministério da Educação (ME) mede, em termos absolutos, a percentagem de percursos directos de sucesso na escola (percentagem de alunos que fizeram um ciclo de estudos sem reprovações nos 2 primeiros anos (7.º e 8.º anos no 3.º ciclo e 10.º e 11.º anos no secundário) e com dois exames positivos no fim do ciclo (Português e Matemática no fim do 3.º ciclo ou duas disciplinas trienais no fim do secundário). O mesmo indicador é apresentado pelo ME em termos relativos situando a escola em relação ao valor esperado para alunos que no início do ciclo de estudos apresentavam níveis de desempenho semelhantes.
O PÚBLICO também usa, desde há alguns anos, medidas absolutas e relativas de desempenho: em termos absolutos usa essencialmente a média nacional nos exames, e em termos relativos situa a escola em relação ao esperado: calculando a diferença entre a média na escola e a média nacional para escolas no mesmo contexto.
Metodologicamente, o procedimento do ME e do PÚBLICO pretendem fazer a mesma coisa: tentar comparar o que é comparável, contextualizando os resultados das escolas (no caso do ME com base no nível dos alunos à entrada, e no caso do PÚBLICO com base nos dados do contexto). A contextualização do ME tem a vantagem de ser feita aluno a aluno tendo em conta o seu nível de entrada no ciclo de estudos. A contextualização do PÚBLICO não é a de cada aluno, e diz respeito ao contexto do agrupamento em que a escola se insere, calculado com base em dois indicadores que se manifestaram os mais relevantes para aferir o contexto. Este foi na prática o procedimento possível face aos dados de contexto disponibilizados pelo ME que sofriam, e continuam a sofrer, de limitações.
Comparar escolas tendo por base estas medidas (médias nos exames e percursos directos de sucesso) em termos absolutos não é, contudo, muito diferente.
Os coeficientes de correlação (que indicam a força da associação e variam entre -1 e 1) são de 0.91 no 3.º ciclo e de 0.85 no secundário, indicando associação positiva forte entre as duas variáveis.
No entanto, olhar para as medidas em termos absolutos ou em termos relativos já faz alguma diferença. Por exemplo, analisar o percurso directo de sucesso do ME ou a forma como a escola se compara neste indicador face à média nacional (se está acima ou abaixo do esperado face ao nível inicial dos seus alunos) gera conclusões similares, mas não idênticas: a correlação entre o indicador absoluto e relativo é 0.66 no 3.º ciclo e 0.71 no secundário. A relação é positiva indicando que escolas que tendam a ter percursos de sucesso elevados também tendem a estar acima do esperado.
Quando comparamos o indicador relativo do ME (diferença entre percurso de sucesso da escola e percurso de sucesso esperado) com o indicador relativo do PÚBLICO (diferença face ao valor esperado de contexto) as relações são positivas mas não são muito fortes, especialmente no secundário. Correlação de 0.38 para o secundário e de 0.52 para o 3.º ciclo.
Se a história contada é no geral muito semelhante quando olhamos para um e outro indicador, para que servem os dois?
Porque medem dimensões diferentes e complementares da actividade da escola. O indicador do ME privilegia a quantidade (número de alunos que completa o ciclo sem reprovações no 7.º e 8.º anos ou no 10.º e 11.º anos e com média positiva nas provas finais) enquanto a média em exame é um indicador que privilegia qualidade (classificações obtidas pelos alunos submetidos a exame, independentemente daqueles que ficaram para trás). O ideal será uma escola ter muitos alunos a terminar cada ciclo de estudos sem retenções (e portanto mais percursos directos) e simultaneamente obter boas classificações nos exames nacionais. Felizmente a relação positiva e muito forte entre os dois indicadores diz-nos que na maior parte dos casos isso acontece.
No gráfico em baixo cruzamos para o 3.º ciclo três indicadores: No eixo dos x a percentagem de percursos de sucesso (em termos absolutos), no eixo dos y a média nos exames nacionais do 3.º ciclo, e na coloração/dimensão dos pontos do gráfico estão representadas as diferenças no percurso de sucesso face ao esperado.
Básico
Se traçarmos uma linha naquilo que poderá ser desejável (médias positivas, acima do nível 3, e mais de 50% dos alunos com percursos diretos de sucesso) percebemos desde logo que:
- São mais as escolas abaixo dos dois limiares (701) do que acima dos dois limiares (183);
- Não há muitas escolas com percursos directos de sucesso acima de 50% e com médias negativas (46) – quadrante III – Casos neste quadrante podem indicar alguma falta de rigor por parte da escola, pois os alunos não são retidos, mas depois em exame não têm uma prestação adequada.
- Não há muitas escolas com percursos diretos de sucesso abaixo de 50% e com médias positivas (55) – quadrante IV. Estes casos podem indiciar estratégias da escola para reterem mais alunos do que o necessário, levando a exame apenas os alunos que apresentam desempenhos mais elevados.
- Maioritariamente as escolas no quadrante I apresentam percursos de sucesso acima do esperado. As 14 escolas (7.6%) que apresentam valores abaixo do esperado são escolas que têm desempenhos em termos absolutos que são bons, mas na prática não estão a potenciar nos seus alunos os resultados que poderiam, já que outras escolas teriam feito melhor com o nível de alunos recebidos à entrada.
- Maioritariamente as escolas no quadrante II apresentam percursos de sucesso abaixo do esperado. Há contudo, um número considerável de escolas (245 escolas – representando 35% das escolas neste quadrante) que apresenta valores acima do esperado. Estas são as escolas que maioritariamente se encontram em contextos desfavorecidos e mesmo assim conseguem alcançar resultados favoráveis para os seus alunos (ver Tabela 1).
- No quadrante II há um grupo de escolas que evidencia problemas sérios de taxas de sucesso abaixo de 10% e médias francamente negativas. Estes são os casos que obviamente merecerão escrutínio por parte do ministério.
- Se calcularmos o número de escolas em cada quadrante de acordo com os contextos é claro que os contextos mais favorecidos estão maioritariamente no quadrante I, enquanto o quadrante II é dominado por escolas no contexto mais desfavorável.
Secundário
No caso do secundário há algumas diferenças a assinalar relativamente ao 3.º ciclo:
- Continuam a existir mais escolas abaixo dos dois limiares (192) do que acima dos dois limiares (55), mas a grande percentagem de escolas está no quadrante IV (288) e apenas 1 escola está no quadrante III. Este facto parece indicar que as estratégias das escolas secundárias são diferentes das do 3º ciclo e passam bastante pela retenção de alunos (de facto historicamente em Portugal as reprovações no secundário são superiores às no 3.º ciclo). No ensino secundário os alunos que fazem exame parecem ser apenas os mais aptos.
- Maioritariamente as escolas no quadrante I apresentam percursos de sucesso acima do esperado. As duas escolas que apresentam valores abaixo do esperado são privadas (ver Tabela 2)
- Maioritariamente as escolas no quadrante II apresentam percursos de sucesso abaixo do esperado. Há contudo, um número considerável de escolas (52 escolas – representando 27% das escolas neste quadrante) que apresenta valores acima do esperado. Estas são também escolas que maioritariamente se encontram em contextos desfavorecidos (ver tabela 2).
- No quadrante IV as escolas estão distribuídas por todos os contextos (ver Tabela 2), significando que a estratégia de retenção não é específica a certos contextos (nota-se contudo a prevalência de escolas do contexto mais favorável). Mais de metades das escolas neste quadrante (152 em 288, ou seja 53%) apresentam percursos diretos de sucesso abaixo do esperado. Estas serão as escolas que tenderão a aplicar em excesso medidas de retenção, já que para alunos semelhantes à entrada, outras escolas obtiveram uma maior percentagem de percursos directos de sucesso.