A palavra ranking não significa mais do que ordenação. Naturalmente, há muitas formas de se ordenarem — ou, como se tornou costume dizer, de fazer um ranking de — as escolas portuguesas. Assim, como poderia dizer Vasco Santana, “rankings há muitos...”.

Desde há década e meia que os principais jornais portugueses apresentam anualmente aos seus leitores rankings das escolas portuguesas. Com pequenas diferenças técnicas (como, por exemplo, o número de exames mínimo para inclusão de uma dada escola no ranking), todos os jornais nacionais fazem a ordenação das escolas através da média das classificações que os respetivos alunos obtiveram nos exames nacionais. Sem mais!

O raciocínio subjacente é simples: quanto melhores notas os alunos de uma escola tiveram nos exames nacionais, melhor é essa escola. É simples e até parece intuitivo, mas no entanto é um raciocínio profundamente errado! Porquê? Porque as enormes desigualdades (económicas, sociais e culturais) existentes em Portugal refletem-se nas populações escolares. E, obviamente, uma coisa é ser professor numa escola em que a maioria dos alunos vem de meios culturais, sociais e económicos favorecidos; outra coisa é lecionar numa escola onde a maioria dos alunos são deficitários nestas dimensões. Digamos, para facilitar a leitura, numa escola de “ricos” e numa escola de “pobres”. Concluir o que quer que seja sobre a qualidade do trabalho das respetivas escolas a partir do facto de a escola dos “ricos” ter conseguido, em média, um melhor resultado nos exames nacionais do que a escola dos “pobres” não faz qualquer tipo de sentido. Pergunta-se: a escola dos “ricos” conseguiu melhores notas porque trabalhou melhor, ou simplesmente porque os seus alunos já eram, à entrada e independentemente do trabalho da escola, capazes de tirar melhores resultados? A resposta não é possível de ser dada, porque só faz sentido comparar escolas com populações semelhantes. No entanto, os rankings que têm sido construídos pelos jornais portugueses no últimos 15 anos nada nos dizem sobre o que as diferentes escolas estão a conseguir atendendo ao tipo de alunos com que trabalham.

São por isso inúteis estes rankings? Achamos que não. Segundo a Organização para a Cooperação e Desenvolvimento Económico (OCDE), conhecida, por exemplo, pela realização do maior estudo internacional sobre a performance dos alunos em vários países (o PISA, cujos resultados de 2015 foram divulgados ainda este mês), a produção de rankings poderá ter efeitos indesejados sobre o sistema se houver por parte das escolas possibilidade e capacidade de seleccionarem os seus alunos. Isto porque, confrontadas com a existência de rankings, as escolas poderão sentir a tentação de selecionar os melhores alunos à entrada para desta forma conseguirem um melhor resultado, ou seja, uma melhor posição no ranking. As “melhores” escolas (isto é, as escolas com melhores notas) tenderão, por essa via, a reforçar o seu papel de liderança nos rankings, empurrando para fora dos seus portões os alunos que poderiam baixar a sua classificação. A consequência para o sistema escolar como um todo é, alerta a OCDE, um sistema mais segregado, com maior separação entre os alunos de diferentes níveis sociais, culturais e económicos. Infelizmente, a investigação que temos conduzido tem vindo a confirmar que este comportamento existe, designadamente de escolas privadas, que são as que mais facilmente podem fazer essa seleção. Assim, pior do que inúteis, estes rankings são perigosos e constroem ativamente um sistema escolar com piores resultados, designadamente ao nível da equidade.

Demonstrando estar atento à falta de utilidade (e porventura à perigosidade) dos rankings construídos exclusivamente com base nas notas, o Ministério da Educação (ME) tem — através da sua Direção Geral de Estatísticas da Educação e Ciência e no portal infoescolas — disponibilizado um conjunto de indicadores sensíveis aos contextos em que as diferentes escolas operam. Estes indicadores apresentam o potencial de detectar escolas que conseguem melhores resultados do que escolas com alunos semelhantes. Note-se, no entanto, que a deteção destas boas escolas só se tornará útil se posteriormente for feito um trabalho de investigação das características que distinguem as escolas que sistematicamente conseguem melhores resultados do que outras com populações semelhantes. Quanto a isto, desconhecemos se existe alguma intenção por parte do ministério de usar os seus rankings para futuros estudos. Note-se ainda outra coisa: ainda que a intenção do ME seja louvável, a qualidade dos dados relativamente à caracterização do nível cultural, social e económico dos alunos é genericamente fraca. Por exemplo, não existe para os alunos das escolas privadas. Para as escolas públicas, estão disponíveis poucas variáveis de caracterização e, mesmo nestas, há escolas com uma percentagem muito elevada de dados omissos. Assim, o ministério vê-se obrigado a contornar a fraca qualidade dos dados com estratégias indiretas que garantam alguma comparabilidade entre as escolas. São então os rankings do ME apenas úteis se vierem a ser usados para futuros estudos? Julgamos que, embora essa seja a sua grande potencialidade, o facto destes indicadores alertarem para a necessidade de contextualizar os resultados dos exames, revelando ordenações das escolas bastante diferentes dos rankings produzidos habitualmente pelos jornais é, em si mesmo, um importante contributo. 

Não seria simplesmente melhor desistir da ideia de fazer rankings? De facto, são vários os investigadores que defendem que é impossível medir variáveis fundamentais nos processos educativos. Ademais, dada a perturbação que os rankings introduzem no trabalho das escolas, há quem argumente que o melhor seria mesmo acabar com eles. Esta não é a nossa posição. Pensamos que um bom ranking poderá trazer informações importantes que nos permitem melhorar o nosso sistema educativo, ainda que reconheçamos que todos os rankings têm limitações e que devem ser sempre analisados criticamente. Vejamos o exemplo de um ranking feito com grande rigor metodológico e qualidade de dados: o PISA, elaborado pela OCDE. Através do PISA sabemos, por exemplo, que Portugal, que conseguiu pela primeira vez (em 2015) ficar acima da média dos países da OCDE no que diz respeito à performance dos alunos (em ciências), está ainda longe da média no que se refere à equidade. Dito de forma simples, apresenta ainda uma grande discrepância entre bons e maus alunos, discrepância bastante maior do que a média dos outros países. Ou seja, com melhorias na performance, mas ainda com demasiadas assimetrias. Sabemos que, nos países da OCDE, a probabilidade um estudante desfavorecido não atingir um nível mínimo de performance (em ciências) é quase três vezes maior do que a de um estudante mais favorecido. O nível cultural, social e económico dos alunos é um determinante crítico no desempenho dos alunos, explicando 13% da variabilidade dos resultados. E sabemos que, embora os alunos do ensino privado obtenham, em média, melhores notas do que os do ensino público, quando controlado o nível cultural, económico e social dos alunos, as escolas públicas apresentam melhores resultados do que as escolas privadas. Isto é verdade para o conjunto dos países da OCDE, mas também especificamente para Portugal. Contraste-se estes dados com aqueles que os rankings habitualmente produzidos pelos jornais apresentam, dando grande destaque às escolas privadas, e percebemos imediatamente o poder do contexto sobre os resultados e, acima de tudo, a importância de ter bons dados de caracterização do estatuto dos alunos para podermos identificar as escolas que melhor trabalham. A avaliarmos pelos dados da OCDE, as melhores escolas são, em média, escolas públicas e não as que aparecem nos lugares cimeiros dos rankings produzidos pelos jornais, na sua grande maioria privadas, facto normalmente destacado pelas notícias.

Concluindo, os rankings são ou têm sido úteis e benéficos para o nosso sistema escolar? Depende de que rankings estejamos a falar. Os rankings dos jornais, construídos com base nas notas de exames, não. Mais do que inúteis, têm sido perniciosos. Os rankings/indicadores do ME, que procuram levar em conta os diferentes contextos em que as escolas trabalham, poderão ser úteis embora sejam complexos na medida em que tentam contornar o facto de não terem dados de qualidade sobre o contexto social, económico e cultural dos alunos das diferentes escolas. Os rankings da OCDE, de grande rigor metodológico e qualidade de dados, são bastante úteis e podem ser importantes para melhorar a qualidade do nosso sistema de ensino se soubermos aproveitar o conhecimento que deles resulta. Com efeito, as análises feitas pela OCDE sobre as características dos sistemas de ensino com melhores resultados, quer em performance quer em equidade, têm insistido em dois atributos-chave: (i) sistemas com pouca segregação, isto é, pouca separação entre os alunos de diferentes níveis sociais; e (ii) sistemas em que os melhores professores são destacados para as “piores” escolas, isto é, para as escolas com os alunos que apresentam piores resultados. Seremos capazes de transformar este conhecimento em política educativa?

PS: Note-se que o jornal PÚBLICO tem, nos últimos anos (na altura em que escrevemos este texto, não sabemos como o apresentará os resultados deste ano), apresentado rankings que têm em conta diferentes tipos de contexto. Concretamente, tem dividido o universo das escolas em três grandes grupos, cada um representando um tipo de contexto. No entanto, as escolas são depois ordenadas, dentro de cada grupo, pelas média das notas dos seus alunos. Assim, achamos que este exercício não se afasta, no fundamental, da forma de ordenar as escolas que atribuímos aos jornais portugueses e que criticamos no texto.