Como fazemos os rankings das escolas no PÚBLICO?
Aqui detalhamos o essencial do que fazemos, como e com que informação. Se ainda ficar com dúvidas sobre como funcionam os rankings, envie as suas perguntas para leitores@publico.pt.
Que escolas são analisadas nos rankings do PÚBLICO/Católica Porto Business School?
Escolas públicas e privadas de todo o país, continente e ilhas, embora não exista o mesmo tipo de informação para todas elas.
Nesta infografia em baixo, resumimos alguns números essenciais sobre as escolas que entram no ranking do secundário:
Por exemplo, para as escolas públicas do continente, não só apresentamos a média dos resultados dos alunos nos exames, mas também calculamos a nota média que seria expectável que cada escola conseguisse, tendo em conta o seu contexto socioeconómico. Para as escolas das regiões autónomas, tal não é possível porque o Ministério da Educação (ME) não disponibiliza dados de contexto (tal como a percentagem de alunos com apoios sociais ou a escolaridade das famílias) para os estabelecimentos de ensino dessas regiões. E o mesmo se passa com as escolas privadas. Por essa razão, no nosso “ranking da superação” — que já explicaremos, à frente, o que mede exactamente — só entram as escolas públicas do continente.
Nesta infografia encontra os números essenciais sobre as escolas que entram no ranking do básico:
Os rankings do PÚBLICO ignoram o contexto das escolas?
Não. O PÚBLICO apresenta um ranking dos exames, que ordena as escolas com base apenas nas médias de exame, e um ranking da superação, que ordena as escolas em função da comparação da sua classificação média nos exames com a média que seria esperada face ao seu contexto (o “valor esperado de contexto”). Publicamos ainda, para cada escola, um conjunto de outros indicadores que reflectem o contexto socioeconómico da escola e o seu desempenho, como é o caso da taxa de retenção ou a capacidade de fazer com que os seus alunos mais desfavorecidos cumpram o ensino básico e secundário sem nenhum chumbo ao longo do percurso.
Que disciplinas são consideradas para construir os rankings?
No ensino secundário, são consideradas as oito provas mais concorridas. A saber: Português, Matemática A, Inglês, Biologia e Geologia, Física e Química A, Geografia A, Filosofia e Economia A. Ao serem as provas com mais inscritos, temos a garantia de que são as mais frequentes nas diferentes escolas e as mais comuns aos distintos tipos de alunos dos cursos que existem no secundário. Por exemplo, enquanto Biologia e Geologia têm mais de 45 mil alunos inscritos no exame, Alemão tem à volta de 250.
É preciso ter atenção à comparação dos resultados das escolas com os obtidos antes da pandemia, porque os exames mudaram e porque deixaram de ser obrigatórios para todos os alunos: só são feitos por quem quer concorrer ao ensino superior ou por quem depende da nota do exame para passar porque teve nota interna (dada pelos professores ao longo do ano) negativa.
No ensino básico, são consideradas as duas provas finais de 9.º ano, a Português e Matemática.
Em 2022, os exames do 9.º não contaram para a nota dos alunos internos (os que frequentam a escola durante todo o ano lectivo), ao contrário do que acontecia antes da pandemia, e funcionaram apenas como prova de aferição de conhecimento. Isto limita muito eventuais comparações de resultados com períodos em que os alunos sabiam que o exame que estavam a fazer teria impacto na nota, como alertam vários investigadores da área da Educação.
Como são calculadas as médias de exame?
Para saber que nota cada aluno conseguiu nos exames, utilizámos, tal como nos anos anteriores, uma base de dados fornecida pelo ME chamada ENES (no caso do secundário) e outra chamada ENEB (para o 9.º ano).
É nestas bases que são registadas as notas de todos os alunos que se apresentaram a exame. Só temos em conta os resultados da 1.ª fase das provas nacionais de 2022.
A média é calculada somando as notas de exame de cada aluno nas disciplinas consideradas e dividindo o total pelo número de provas.
O que é o ranking da superação?
É um ranking alternativo, feito pelo PÚBLICO com a Católica Porto Business School, que ordena as escolas das que mais se superam para as que mais ficam aquém do valor que seria esperado tendo em conta o seu contexto socioeconómico.
E como definimos o “contexto” da escola?
O ME fornece uma série de dados sobre os agrupamentos das escolas relativos ao ano lectivo 2020/21 (não existem outros mais recentes trabalhados oficialmente). Optámos por estes: a percentagem de alunos que, no agrupamento a que pertence cada escola, não recebe apoio no âmbito da Acção Social Escolar (ASE); a habilitação média dos pais dos alunos do secundário (em número médio de anos de escolaridade); a idade média dos alunos (no 9.º e no 12.º ano). Uma análise da Católica Porto Business School considerou que são estas as variáveis que mais “explicam” as médias dos exames.
Foram assim definidos três tipos de contexto, a que demos os seguintes nomes:
- Contexto desfavorável: escolas que integram agrupamentos com valores mais desfavoráveis nas três variáveis de contexto (pais menos escolarizados, mais alunos abrangidos por apoios do Estado, idade média dos alunos mais elevada).
- Contexto intermédio: com valores intermédios (menos jovens abrangidos pela Acção Social Escolar do que no contexto anterior, pais mais escolarizados, idade média dos alunos mais baixa).
- Contexto favorável: escolas com valores mais favoráveis nas três variáveis.
Para as escolas privadas e algumas públicas, nomeadamente as das regiões autónomas, o ME não disponibiliza este tipo de indicadores.
No ensino básico, os contextos têm estas características:
E, no secundário, têm estas características:
Também há alguns casos de escolas públicas do continente para as quais alguns destes dados não são fornecidos. Nestes casos, optámos por considerar apenas os dados que estavam disponíveis para calcular a que contexto pertencia a escola. Noutros casos, poucos, não foi mesmo possível caracterizar o contexto das escolas.
Como definimos o “valor esperado de contexto” (VEC)?
Neste especial rankings, encontra o “valor esperado”, ou seja, a média de exame que seria expectável cada escola (para as quais há dados) ter alcançado em 2022, tendo em conta o contexto a que pertence. Isto permite perceber quais as escolas que mais se superam e as que mais longe ficam das suas semelhantes em termos socioeconómicos. Este valor esperado faz um ajustamento tendo em conta a proporção de exames feitos em cada disciplina, em cada escola.
Para as escolas privadas, as das regiões autónomas da Madeira e as dos Açores, calculámos não um “valor esperado de contexto”, mas apenas um “valor esperado”, porque o ME não fornece dados para contextualizar as escolas. Na prática, este valor esperado, nestes casos, corresponde à média das classificações de exame registada no conjunto das escolas privadas ou no conjunto das escolas da Madeira ou no grupo das dos Açores, ponderada pelo número de exames feitos em cada escola. Contudo, no ranking da superação que pode consultar nas nossas listas, não considerámos estas escolas porque o objectivo desta ordenação é perceber quais as escolas que mais se superam e as que mais longe ficam das suas semelhantes em termos socioeconómicos.
Todos os alunos são considerados nos cálculos das médias?
Não. No ensino secundário, são considerados:
- Os alunos que, em 2022, foram à 1.ª fase dos exames nacionais. Mas não todos. Para termos um universo de alunos comparáveis entre si, optámos por considerar os que se inscreveram nos exames assinalando que pretendiam usá-los como prova de ingresso. Deixámos de fora aqueles que foram a exame para concluir a disciplina do secundário e não assinalaram que pretendiam candidatar-se ao ensino superior — muitos destes alunos serão jovens que anularam a matrícula, em 2022 ou em anos anteriores, e que foram a uma escola apenas para fazer um exame que lhes permitia passar.
- Há ainda um pequeno grupo de alunos referenciados como tendo reprovado o ano ou anulado a matrícula que se sujeitaram a exame, simultaneamente, para concluir a disciplina e ingressar no ensino superior. Esses entraram nos nossos cálculos.
No ensino básico:
- Os alunos internos (aqueles que frequentam a escola ao longo de todo o ano lectivo).
- Ou seja, ao contrário do que acontecia antes de 2020, quando só considerávamos alunos que apareciam na base do Ministério da Educação como internos, ou externos com frequência da escola, alunos de cursos profissionais, por exemplo, que tenham assinalado no acto da inscrição no exame que pretendiam ingressar no ensino superior, são agora contabilizados nos cálculos dos resultados das escolas.
Que bases de dados são usadas?
Várias. Desde logo, como já dissemos, a ENEB e a ENES. Mas esta última tem sofrido alterações que importa referir.
Desde 2020 que os exames do secundário não têm a sua tradicional dupla função de, por um lado, servir para concluir as disciplinas centrais do currículo (contando 30% para a nota final dessas disciplinas) e, simultaneamente, de servirem de provas de acesso ao ensino superior (entrando no cálculo da nota de candidatura). Por causa da pandemia e do impacto que ela teve no ensino, o ME decidiu que as provas nacionais não eram obrigatórias para terminar o ensino secundário — só o voltarão a ser no próximo ano.
Assim, a maioria dos estudantes que em 2022 se apresentaram a exame fizeram-no apenas como provas de ingresso ao superior. A nota do exame “vale” até 50% da nota de candidatura. Já a nota final do ensino secundário passou a ser determinada apenas pela nota dada pelos professores ao longo do ano (a chamada “classificação interna”).
Só para os que desistiram ou chumbaram as notas dos exames podem ser essenciais para terminar as disciplinas do secundário.
Por causa destas circunstâncias, a base ENES deixou de incluir, em 2020, as notas internas dos alunos. Tornou-se, assim, muito mais difícil calcular a média por escola das notas internas e compará-la com as médias que os alunos obtêm nos exames.
É certo que o ministério fornece uma outra base de dados, chamada MISI, com as notas internas dos alunos. Só que há uma MISI para as escolas públicas e outra para as escolas privadas. Mas nem os dados nem a sua abrangência são iguais, pelo que se torna arriscado fazer comparações.
A base de dados com as notas internas nas escolas públicas contempla todas as classificações que os professores atribuíram a cada aluno a frequentar o 11.º e 12.º ano nos cursos científico-humanísticos de Portugal continental. Os dados são provisórios e foram carregados pelas escolas, carecendo de uma validação final. Estão excluídas desta base de dados todas as disciplinas, cursos ou escolas com menos de três alunos.
Já a base de dados das escolas privadas contempla apenas os alunos que foram a exame — e não todos os alunos, como é o caso da base de dados das escolas públicas. Estão incluídas todas as notas dos alunos que foram a exame nacional e cuja nota tenha sido atribuída no ano lectivo 2021/2022. Por isso, esta base de dados só contempla notas internas a disciplinas tipicamente do 12.º ano de escolaridade, e não do 11.º, ano em que também há exames.
São ainda usadas bases de dados com vários dados do InfoEscolas, o portal de estatísticas do ME, desde logo, uma que compila todos os dados de contexto, como a idade média dos alunos, ou as habilitações dos pais, e outra que inclui indicadores da equidade, retenção por ano de escolaridade, taxa de conclusão, entre outros.
Como são ordenadas as escolas no ranking dos exames?
No ranking geral do secundário, são ordenadas, da que teve melhor média de exames para a que se saiu pior, as escolas onde se realizaram pelo menos 54 provas.
As escolas com menos provas aparecem nas listas com todos os indicadores que para elas foram disponibilizados pelo ME, mas sem ordem atribuída no ranking da média global dos exames.
No ranking do ensino básico, são ordenadas escolas onde se realizaram, pelo menos, 40 provas.
Como são ordenadas as escolas na análise que é feita por disciplina no ensino secundário?
As regras mantêm-se iguais às que utilizámos no ano passado. E tudo depende da disciplina, porque, dentro das oito mais concorridas, há grandes variações de inscritos. Desta forma, enquanto no ranking geral, com base na média dos diferentes exames, só atribuímos uma ordem às escolas que tenham pelo menos 54 provas realizadas, nos resultados disciplina a disciplina, que pode consultar nas listas de escolas, só comparamos escolas que cumprem os seguintes requisitos:
- Português: ordenamos as escolas com pelo menos dez provas, da melhor para a pior média.
- Matemática: comparamos escolas com pelo menos nove provas.
- Biologia e Geologia: comparamos escolas com pelo menos 16 provas.
- Física e Química: comparamos escolas com pelo menos nove provas.
- Geografia: comparamos escolas com pelo menos cinco provas.
- Inglês: comparamos escolas com pelo menos cinco provas.
- Economia: comparamos escolas com pelo menos cinco provas.
- Filosofia: comparamos escolas com pelo menos cinco provas.
Como são ordenadas as escolas na análise que é feita por disciplina no ensino básico?
- Português: ordenamos as escolas com pelo menos 19 provas, da melhor para a pior média.
- Matemática: comparamos escolas com pelo menos 20 provas.
Porque são diferentes os tectos nas diferentes disciplinas?
À semelhança do que foi feito em anos anteriores, foi determinado um tecto mínimo a partir do qual o número de provas é suficientemente representativo para que uma escola surja no ranking. Só assim garantimos que uma média é representativa de uma determinada realidade, uma vez que as médias calculadas com poucas provas de exames estão mais susceptíveis a valores extremos.
Como chegámos a estes tectos? Para cada um dos exames nacionais, achou-se o percentil 10 — isto é, na lista de escolas ordenadas pelo número de provas feitas a determinado exame, o ponto que identifica onde estão 10% das escolas com menos provas naquele exame. Só foram ordenadas as escolas com um número de provas igual ou superior a esse valor.
Ainda assim, e dadas as especificidades dos exames nacionais nos últimos anos, o número de escolas que realizaram um número baixo de provas nos exames menos concorridos era alto. Para os exames cujo percentil 10 indicava um valor abaixo de cinco provas, optou-se por definir como tecto mínimo esse número.
O que é o indicador da equidade?
Este indicador, da responsabilidade do ME, é, de acordo com a tutela, o que deixa mais pistas sobre como lidam as escolas com alunos de contextos mais desfavorecidos. Tem na sua base a percentagem de alunos com apoio de Acção Social Escolar (ASE) que integram a escola ou o agrupamento de escolas onde esta se insere e que concluíram o ensino secundário dentro do tempo esperado, ou seja, em três anos. A percentagem de alunos com ASE em cada escola que consegue um percurso sem chumbos é depois comparada com a percentagem de alunos com perfil semelhante, a nível nacional, que alcança esse objectivo — a chamada média nacional “apropriada”.
Explica o ME: “Para o cálculo da média nacional ‘apropriada’, a cada aluno é atribuída uma categoria que (...), no caso do ensino secundário científico-humanístico, é determinada pela categoria ASE da escola e pelas classificações nos exames de 9.º ano de Português e Matemática.”
O objectivo deste indicador é, segundo o ME, “aferir os resultados escolares dos alunos em condições socioeconómicas mais vulneráveis, em comparação com os resultados médios obtidos a nível nacional por alunos com um perfil semelhante”.
Se a escola consegue ficar acima da média, significa que está a puxar “para cima” os seus alunos de contextos mais desfavorecidos, sendo o inverso também verdade: se fica aquém da média, os seus alunos de contextos mais difíceis estão a ter menos sucesso do que outros com características semelhantes.
Os dados relativos a 2020/21, que foram os disponibilizados este ano pelo ME, mostram a situação dos alunos que entraram para os cursos científico-humanísticos e profissionais em 2018/19.
Para algumas escolas, não há informação sobre o indicador da equidade. Porquê?
Para várias escolas, o ME não forneceu esse indicador, na maior pare dos casos devido ao número reduzido de alunos com ASE que têm.
O que contabilizam as taxas de retenção?
A percentagem de alunos que não concluíram o 12.º (os dados mais recentes que o ME disponibiliza escola a escola são de 2020/21).
Por que razão rankings publicados por órgãos de comunicação social (OCS) diferentes chegam a resultados distintos?
Porque o ME se limita a fornecer bases de dados com os resultados aluno a aluno e cada OCS utiliza critérios diferentes. Por exemplo, imagine um OCS que faça a média aos resultados dos alunos de todas as disciplinas e outro (caso do PÚBLICO) que só contempla aquelas que têm mais alunos inscritos (há mais de duas dezenas de disciplinas sujeitas a exame): o resultado será diferente. O mesmo se passa se um OCS decide ordenar apenas as escolas com mais de 50 provas ou mais de 100. Escolas com um número abaixo desta fasquia nem aparecerão nos rankings. É, por isso, natural que diferentes rankings de diferentes OCS mostrem resultados diferentes. Tem sempre que ver com os critérios usados ou mais valorizados.
O que é o “Faça o seu ranking”?
É uma nova forma de explorar os dados das escolas que lhe propomos. Determinar o que é uma escola com “melhores resultados” tem sempre uma dose de subjectividade. Quisemos colocar essa escolha nas mãos dos nossos leitores, para que estes possam fazer o exercício e avaliar o que é que consideram mais relevante e que peso atribuir a cada um dos múltiplos indicadores que temos.
Partimos de seis grandes indicadores: notas nos exames nacionais, notas internas, distância geográfica desde o local onde se encontra, percursos directos de sucesso e planos/actividades extracurriculares. Para cada um destes indicadores, o leitor pode atribuir um peso (de 0 a 100) que vai valorizar as escolas que mais são capazes de “fugir” ao valor médio nacional. As escolas mais bem posicionadas nos indicadores que mais valorizar são aquelas que surgem em primeiro lugar.
Para cada indicador o PÚBLICO calculou a distância, em número de desvios-padrões, a que cada escola estava, abrindo a possibilidade ao leitor de “pesar” de forma diferente essas distâncias.
Importa, no entanto, explicar o que é que é medido em cada um dos indicadores:
- Notas nos exames nacionais: este é um indicador composto e resulta da importância relativa que o leitor dá a cada exame. No cômputo final, valoriza as escolas que melhor se saíram nos exames seleccionados. Foram aplicados os mesmos critérios de tectos de provas que tinham sido definidos no ranking do PÚBLICO, pelo que escolas com um número baixo de exames não estão incluídas. Quando seleccionados mais do que um exame, só surgem escolas que cumprem os critérios para os exames escolhidos.
- Notas internas: é também um indicador composto, resultando na valorização que o leitor faz a um máximo de dez disciplinas do 12.° ano — as dez com mais alunos inscritos. Como a base de dados das notas internas têm naturezas diferentes, optamos, neste indicador, por comparar escolas públicas com a média das escolas públicas e escolas privadas com as médias das escolas privadas. Tal como fizemos nos exames, determinamos um tecto mínimo de notas internas (percentil 10) para que uma escola seja considerada neste cálculo.
- Distância: mede a distância, em linha recta, do sítio onde está a cada uma das escolas na nossa base de dados. Valoriza escolas mais próximas do leitor.
- Superação do contexto: recorre aos cálculos do PÚBLICO do “valor esperado de contexto” (ver acima) para determinar as escolas que mais são capazes de “fugir” àquilo que seria o seu contexto. Pelas limitações já explicadas acima, a partir do momento em que esta variável é considerada no cálculo geral, só surgem escolas públicas.
- Percursos directos de sucesso: mede, para cada escola, a percentagem de alunos que concluem o 12.° ano quando comparado com alunos de um perfil semelhante. Valoriza, por isso, as escolas que mais conseguem fugir da média nacional nesta matéria.
- Planos e actividades extracurriculares: mede a capacidade que uma escola tem de sobressair face à media nacional na oferta que tem em termos de planos e/ou actividade extracurriculares numa destas áreas: Artes, Cidadania, Combate ao Insucesso e Abandono Escolar, Desporto, Ciências e Tecnologias ou Línguas.
