Além da sua componente técnica de avaliação trienal de conhecimentos e de competências em áreas específicas do currículo, os resultados do Teste PISA são de alto risco para os governos e sem qualquer consequência para os alunos, tendo um forte impacto nos media e constituindo uma parte substantiva da agenda de investigação em avaliação.

Os resultados médios do Teste PISA obtidos pelos alunos portugueses no oitavo ciclo trienal (2022) foram publicados em finais de 2023, incluindo o desempenho em três domínios de literacias, prevendo-se para 2024 a apresentação dos resultados nas vertentes do pensamento crítico e da literacia financeira. Globalmente, o desempenho dos alunos portugueses foi inferior ao de 2018 a matemática e a leitura, permanecendo igual a ciências, de acordo com os Relatórios da OCDE e do IAVE.

Como é um teste comparativo a nível internacional, a divulgação dos resultados origina uma leitura imediata em função do posicionamento do país, relativamente ao ciclo anterior, do seu enquadramento na média da OCDE e no ranking de países/economias participantes. Mais do que resultados ou níveis de proficiência de desempenho dos alunos, destaco neste texto alguns contributos da investigação realizada nos últimos anos para uma análise mais completa do mais poderoso teste de avaliação, com efeitos diretos e indiretos na educação escolar (ensinos básico e secundário).

O poder do Teste PISA é, assim, marcante na redefinição de políticas educativas, sendo apresentado como uma ferramenta robusta e supostamente neutra perante a evidência dos dados, marcando agendas e gerando tensões políticas e sociais, sobretudo quando a educação tende a ser discutida pela qualidade da escolarização e consequente relevância das áreas e dos conteúdos que integram o currículo, bem como pelos instrumentos de avaliação da aprendizagem.

Na discussão de questões nacionais ligadas à educação, o internacional confere uma certa legitimidade, sobretudo quando se confia num teste que, pretensamente, mede a qualidade da educação escolar por intermédio de indicadores quantitativos, suscetíveis de uma avaliação comparativa do desempenho (conhecimentos e competências) dos alunos de 15 anos, independentemente do ano de escolaridade.

Se os resultados descem de modo significativo, fala-se do “choque PISA”, advogando-se, ao nível das reivindicações manifestadas na discussão pública, reformas imediatas que incluam, entre outras alterações, o aumento do tempo letivo dos domínios que são objeto de avaliação, a introdução ou o reforço de provas e exames nacionais, bem como outros procedimentos de liderança e gestão da escola e novas dinâmicas de ensino e aprendizagem.

Tais resultados são não só uma evidência do desempenho dos alunos em determinadas áreas do currículo nacional, que se pretende cada vez mais global, mas também a afirmação de uma lógica de escola, que não pode descurar os resultados dos alunos.

A “quebra dos resultados” verificada no desempenho dos alunos portugueses no Teste de 2022 contribuiu para a afirmação da ideia de caos nas escolas, com ênfase na falta (e greve) de professores, no atraso das aprendizagens e no pressuposto de que não existe uma cultura de escola baseada em exames, com peso significativo na progressão dos alunos. Se já havia problemas – e no mundo das escolas os problemas fazem parte da realidade social — a publicação dos resultados e a sua discussão nos media contribuiu para uma perspetiva mais negativa em relação à escola e à educação.

De acordo com os dados de 2022, Portugal registou uma descida, dentro da média da OCDE, ocupando o 27.º lugar, no total de 81 países/economias, o que corresponde à mesma posição obtida em 2018, no conjunto de 79 países/economias.

Como é uma comparação internacional, o Teste PISA avalia conhecimentos e competências (resolução de problemas complexos, pensar criticamente, comunicar de forma eficaz) e os resultados fornecem informações — assim sustenta a OCDE nos dados relativos a Portugal — sobre o modo como os “sistemas de ensino” estão a preparar os alunos para os desafios da vida real e para o sucesso futuro, pelo que os decisores políticos e a comunidade educativa podem aprender com as políticas e as práticas de outros países.

Preconiza-se, com efeito, o modelo de boas práticas como forma de capacitação política e de gestão escolar (nas dimensões organizacional, curricular e pedagógica), modelo aliás muito comum a outras organizações e presente nas políticas de educação centradas na inovação, que foram seguidas em Portugal nos últimos anos.

Os resultados de um teste PISA são perspetivados de forma diferente pelos media e pelos diversos atores educativos, atribuindo-se-lhes mais importância a partir do momento em que são considerados como fonte segura de uma evidência baseada em dados quantitativos. Daí que tenham menos impacto as respostas dos alunos às questões sobre a vida escolar: sentido de pertença dos alunos à escola e satisfação com a vida; apoio e disciplina na sala de aula; sentir-se seguro na escola; envolvimento dos pais na aprendizagem; aprendizagem durante o encerramento das escolas devido à pandemia.

É de realçar ainda que Portugal se destacou pela positiva na questão relacionada com a alimentação dos alunos (ficar sem comer por não haver dinheiro), apresentando o melhor resultado de entre todos os países (2,6%), acompanhado da Finlândia (2,7%) e dos Países Baixos (2,8%).

Se existe um consenso sobre os resultados, sobretudo quanto à associação entre estatuto socioeconómico dos alunos e respetivo desempenho, os investigadores interrogam-se até que ponto o Teste PISA é uma ferramenta que faz a diferença entre as escolas, podendo os efeitos ser muito distintos, mormente quando são implementadas políticas de prestação de contas e responsabilização e se valoriza o desempenho escolar a partir de testes em larga escala, entendidos como uma variável fiável que mede a qualidade das escolas. Por esta mesma razão, o Teste PISA tornou-se na principal referência para comparações internacionais no domínio da educação escolar, por mais imperfeitas que sejam.

Por exemplo, o enviesamento dos resultados pode depender da elegibilidade da amostra (no Teste PISA 2022, em Portugal, 73% dos alunos de 15 anos estavam matriculados no 10.º ano, pelo que são alunos sem retenções), já que a sua composição influencia fortemente a representatividade e a interpretação dos resultados.

A este propósito, há duas questões essenciais que têm sido investigadas: por um lado, a seleção dos alunos em cada país e escola, havendo sempre alguma aleatoriedade na escolha dos alunos que configuram a representação de uma amostra proporcional, assim como a sua motivação/participação na realização do teste; por outro, a integração de alunos de origem imigrante, cujo domínio da língua nacional poderá não ser suficiente para a obtenção de níveis de proficiência mais elevados, como revelam estudos realizados nos países nórdicos.

Deste modo, a regra da OCDE — o aluno participante no Teste PISA deve ter pelo menos um ano de escolarização na língua de avaliação — pode ser questionada, dado que os resultados podem ser diferentes de país para país, não podendo contribuir, de modo algum, para qualquer prática de discriminação. O estatuto migratório poderá ter efeitos diferenciados tanto no domínio da língua, quanto no perfil socioeconómico, embora, no Teste PISA de 2022, os alunos imigrantes e não imigrantes tivessem um perfil socioeconómico semelhante, segundo afirma a OCDE nos dados de Portugal.

A interrogação legítima baseada na investigação, sobretudo em países em que a amostra inclui um maior número de alunos imigrantes, é a de saber se o que está em causa é a medição da qualidade da educação escolar ou a composição demográfica dos alunos. Neste caso, os valores médios do desempenho podem ser enganadores, não tendo a suficiente relevância informativa.

Outra questão bastante investigada tem sido a do impacto do Teste PISA nas escolas e na comunidade, com tendência para tornar mais efetiva a competição escolar, a escolha da escola pelos pais, a estandardização da aprendizagem, o estreitamento do currículo (com ênfase num currículo nuclear), a liderança colaborativa, a autonomia da escola e o peso das provas e dos exames nacionais na progressão dos alunos.

Por exemplo, para a OCDE, o PISA for Schools é descrito como sendo uma ferramenta única, concebida para as escolas individuais compararem entre si os resultados de aprendizagem dos seus alunos e compará-los globalmente de forma inovadora. A análise dos resultados a realizar por cada escola participante no Teste é orientada por estas questões: O que os alunos da escola sabem e podem fazer ao nível das competências cognitivas? Qual o envolvimento dos alunos e como se sentem na escola? Que insights sobre as competências socioemocionais dos alunos?

Apesar da diversidade dos seus efeitos diretos e indiretos nas políticas educativas, na liderança e gestão escolar e na gestão curricular, os resultados do Teste PISA continuam a reforçar a afirmação de que o estatuto socioeconómico da escola e dos alunos é o preditor mais destacado dos resultados dos alunos, a que se associam mecanismos de monitorização da aprendizagem através de testes, provas e exames, concluindo-se, a partir de estudos realizados em diferentes países, que os instrumentos de gestão escolar não reduzem a disparidade de tais resultados.

Cabe, assim, ter em conta que em qualquer discussão sobre o Teste PISA ou sobre os resultados escolares, a aprendizagem ocorre num contexto mediado por valores económicos, sociais e culturais. A diferença entre os resultados de um Teste PISA (com ênfase no mundo real) e de um exame nacional ou teste de progressão (focados na componente cognitiva) poderá ser diferente, como se verifica nalguns estudos, mas têm como ponto comum a valorização do estatuto socioeconómico na predição dos resultados. E este é o argumento principal da OCDE validado estatisticamente, não se podendo dissociar nem de políticas de inclusão, nem tão-pouco do valor da escola na melhoria dos resultados, mediante procedimentos de gestão pertinentes e mecanismos de prestação do serviço educativo adequados ao contexto das escolas e dos alunos.

O facto de os lugares cimeiros, ao nível da pontuação média global dos países/economias participantes nos Testes PISA, serem ocupados por países da Ásia Oriental (em 2022, nos cinco primeiros ficaram Singapura, Macau, Japão, Coreia do Sul, e Hong-Kong) levou à investigação da relação dos resultados com os modelos de educação, que refletem diferentes raízes culturais, práticas institucionais e estratégias de aprendizagem, principalmente através de um modelo ocidental, com base no Iluminismo e num projeto humanista de educação ou de um modelo oriental, com raízes no Confucionismo, direcionado para o controlo e para a qualificação através de exames. Será pertinente aprofundar esta relação e valorizar outros indicadores sociais associados ao bem-estar dos alunos nas escolas, relembrando-se as pertinentes ideias de Max Weber, em Religião da China: Confucionismo e Taoísmo, publicado na segunda década do século XX.

Como as estratégias de aprendizagem, tal como as regras informais da escola, não mudam facilmente, tornando-se em práticas que não são facilmente substituíveis a curto prazo, a investigação realizada tem permitido afirmar que os resultados de testes internacionais são mais congruentes com uma educação escolar pautada por exames e por formas de controlo na escola e na sala de aula, que favorecem a emulação pessoal e a competitividade. Todavia, alguns desses países que seguem esse modelo de educação ultrapassam os problemas de aprendizagem criados pelo contexto socioeconómico dos alunos, reduzindo o fosso entre alunos pertencentes a contextos socioeconomicamente diferentes, como é caso de Macau.

Por outro lado, a capacidade de refletir e julgar criticamente, bem como a existência de uma aprendizagem mais criativa e inovadora (menos controlada por exames) não são tão favorecidas em testes de desempenho internacionais, cujo foco está centrado mais nos fatores externos do que nos fatores internos de mudança ao nível da escola.

Como se pode ler em estudos realizados na Suécia, o Teste PISA, além dos resultados comparativos, institui uma prática discursiva de confiança ou desconfiança nas escolas, de acordo com os dados estatísticos de melhoria ou não dos resultados, fomentando, de igual modo, formas de inovação incrementais, isto é, não se pretende uma mudança radical das políticas educativas, mantendo-se as suas metas e os seus instrumentos definidos em termos nacionais e internacionais, mas alteram-se os procedimentos de ajustamento escolar, com ênfase em sistemas de avaliação que reforçam uma avaliação estandardizada e quantitativa.

O Teste PISA não é uma verdade estatística absoluta, sendo os seus resultados discutidos em função de diferentes interesses da sociedade, com impacto na comparação dos resultados através de indicadores de qualidade, com maior peso para os resultados do teste internacional e com menor valorização das perceções de professores, alunos e diretores. Por mais que estas perceções façam parte do relatório trienal da OCDE, a verdade é que não suscitam uma ampla discussão nos media, sendo ignoradas quando se discute uma escala de resultados. E a escola – obrigatoriamente a escola pública – tem um valor educativo que não pode ser secundarizado, assumindo também um papel social que é cada vez mais fundamental, numa sociedade marcada pela desigualdade.

O fosso existente entre o desempenho dos alunos no Teste PISA e o estatuto económico, social e cultural, calculado pela OCDE para comparar os resultados a partir de contextos semelhantes, não tem uma solução meramente estatística. Pelos dados do Relatório PISA 2022, 32% dos alunos portugueses pertencem ao grupo dos alunos mais favorecidos que realizaram o teste, tendo obtido, no domínio da literacia matemática 522 pontos, muito acima do valor geral do país nesse mesmo domínio (472 pontos). Do mesmo modo, apenas 9% dos alunos portugueses de contexto socioeconómico desfavorecido atingiram os dois níveis de proficiência mais elevados.

Porém, e de acordo com os dados da OCDE, os resultados de alunos pertencentes a contextos económicos semelhantes ao nível dos mais favorecidos obtiveram resultados significativamente mais elevados, por exemplo em países como a Estónia e o Japão. Quer dizer, assim, que o estatuto socioeconómico não explica tudo, tornando-se crucial olhar para o interior das escolas e analisá-las na sua complexidade social, pois a escola do presente, já cheia de muito futuro, não pode ser perspetivada e julgada fora do seu próprio mundo.

O autor escreve segundo o Acordo Ortográfico de 1990