E depois do secundário, como se comparam as escolas?
As escolas que preparam melhor os alunos para entrar na universidade também os preparam para terminar os seus cursos entre os melhores?
Este artigo faz uma reflexão sobre os factores que determinam o sucesso no percurso académico dos estudantes durante o primeiro ano de frequência do ensino universitário. Um dos aspectos inovadores deste estudo consiste na avaliação da contribuição da escola onde decorreu o ensino secundário para o desempenho dos estudantes no ensino superior. Para isso, usamos uma amostra de mais de 10.000 estudantes que ingressaram nas 14 faculdades da Universidade do Porto (UP) e nas 7 faculdades do pólo do Porto da Universidade Católica Portuguesa (UCP) nos anos lectivos 2014/15, 2015/16 e 2016/17. Os dois indicadores de sucesso considerados neste estudo correspondem ao número de créditos do European Credit Transfer and Accumulation System (ECTS) a que cada estudante obteve aprovação e a média das classificações obtidas nas unidades curriculares que frequentou durante o 1.º ano no ensino superior.
A verdade faz-nos mais fortes
Das guerras aos desastres ambientais, da economia às ameaças epidémicas, quando os dias são de incerteza, o jornalismo do Público torna-se o porto de abrigo para os portugueses que querem pensar melhor. Juntos vemos melhor. Dê força à informação responsável que o ajuda entender o mundo, a pensar e decidir.
Este artigo faz uma reflexão sobre os factores que determinam o sucesso no percurso académico dos estudantes durante o primeiro ano de frequência do ensino universitário. Um dos aspectos inovadores deste estudo consiste na avaliação da contribuição da escola onde decorreu o ensino secundário para o desempenho dos estudantes no ensino superior. Para isso, usamos uma amostra de mais de 10.000 estudantes que ingressaram nas 14 faculdades da Universidade do Porto (UP) e nas 7 faculdades do pólo do Porto da Universidade Católica Portuguesa (UCP) nos anos lectivos 2014/15, 2015/16 e 2016/17. Os dois indicadores de sucesso considerados neste estudo correspondem ao número de créditos do European Credit Transfer and Accumulation System (ECTS) a que cada estudante obteve aprovação e a média das classificações obtidas nas unidades curriculares que frequentou durante o 1.º ano no ensino superior.
A primeira questão que investigámos foi em que medida as classificações de acesso ao ensino superior explicam o sucesso dos estudantes no 1.º ano. Para isso considerámos como indicador de sucesso as classificações obtidas no final do 1.º ano ponderadas pela percentagem de ECTS a que cada estudante obteve aprovação em relação ao total previsto no plano de estudos do 1.º ano. De forma a permitir comparar cursos distintos, normalizámos, por curso e por ano lectivo, as classificações de acesso ao ensino superior e o valor do indicador de sucesso no final do 1.º ano.
Concluímos que existe uma relação significativa, embora relativamente fraca, entre as classificações de acesso ao ensino superior e o indicador de sucesso no final do primeiro ano (que representa o desempenho dos alunos em termos de aprovação às unidades curriculares do plano de estudos e das classificações obtidas). Mais concretamente, as notas à entrada de cada curso explicam 9.4% da variabilidade nos resultados obtidos no final do 1.º ano para os estudantes da UP, e 13% para os estudantes da UCP. Significa isto que mais de 85% da variabilidade nos desempenhos dos estudantes no fim do primeiro ano da universidade é explicada por outros factores que não a média de candidatura aos cursos respectivos. Este facto levanta algumas questões relativamente aos critérios de entrada na universidade: se as notas de candidatura explicam apenas uma pequena parte do desempenho dos estudantes, deverão ser revistos os critérios de admissão aos cursos superiores?
Quando tentámos incluir outras variáveis no modelo de regressão usado neste estudo, verificámos que é possível melhorar um pouco a explicação do sucesso no 1.º ano de frequência do ensino superior, passando as percentagens explicadas de 9.4% para 13.4% na UP e de 13% para 19.5% na UCP. Os factores adicionais que aparecem como mais importantes são em ambas as universidades o género (neste caso com as raparigas a apresentarem vantagem sobre os rapazes, quando tudo o resto é idêntico nas variáveis consideradas) e a escola de origem ser privada ou pública (com impacto negativo das escolas privadas). Isto é, para dois estudantes em circunstâncias idênticas nas variáveis consideradas, o que vier de uma escola privada terá um desempenho esperado inferior na universidade.
O modelo também revela a existência de um efeito negativo no desempenho universitário quando os estudantes são provenientes de escolas secundárias com médias mais elevadas nos exames nacionais. Este efeito acontece tanto na UCP como na UP, mas na UP o efeito negativo da média da escola nos exames nacionais é mais relevante quando a escola é privada. Isto é, para alunos em tudo idênticos nas restantes variáveis do modelo, os que vêm de escolas com médias mais elevadas nos exames nacionais terão desempenho esperado inferior.
Embora este resultado possa parecer contra-intuitivo, há outros estudos na literatura que reportam o mesmo fenómeno. Isto é, os estudantes de escolas com desempenho abaixo da média que entram na universidade estão entre os mais hábeis e mais motivados. Por outro lado, pode estar associado a outros factores, tais como o uso excessivo de explicações (mais frequente nas famílias de estatuto sócio-económico elevado) ou a inflação de notas (mais frequente nas escolas privadas), que podem contribuir para que alunos de escolas acima da média nos exames nacionais obtenham um desempenho inferior ao esperado no ensino superior.
Estes resultados obrigam, mais uma vez, a uma reflexão sobre os rankings das escolas secundárias. O papel das escolas na formação dos estudantes vai muito além da preparação para os exames. Uma conclusão importante da nossa análise é a necessidade de avaliar o papel das escolas considerando diversas dimensões. A preparação para exames é importante no sentido em que permite a entrada na universidade, mas que, dissociada de outros factores essenciais para a formação dos adolescentes, não assegura o sucesso académico subsequente.
Tendo por objectivo comparar as escolas secundárias na capacitação dos estudantes para o sucesso académico no ensino superior, construímos ainda para cada escola um indicador compósito que avalia o sucesso académico dos seus alunos na universidade. Este indicador é baseado em três indicadores mais simples: a média dos créditos a que os estudantes de cada escola obtiveram aprovação no 1.º ano do curso universitário que frequentaram (ECTS), a média das classificações obtidas nas unidades curriculares a que foram aprovados, normalizada por curso e ano lectivo (NFYS), e a percentagem de estudantes da escola que terminaram o primeiro ano no topo do ranking do seu curso (estudantes aprovados a mais de 80% dos ECTS do plano de estudos e com classificação média entre os 10% melhores do curso) (% Top). Todas as escolas que colocaram mais de 45 alunos nos anos lectivos em análise na UP e na UCP foram consideradas na nossa análise. Note-se que para cada escola apenas avaliámos uma amostra dos seus estudantes, correspondente aos que entraram no ensino superior na UP e na UCP-Porto. Na amostra final ficámos com 64 escolas.
Seguidamente, confrontámos este indicador com outros indicadores de sucesso das escolas, considerados habitualmente no contexto de avaliação do seu desempenho: a média da escola nos exames nacionais (anos 2014, 2015 e 2016 para os 8 exames com mais estudantes inscritos a nível nacional), relacionada com a capacidade da escola em colocar os seus alunos nos cursos universitários mais procurados, e o indicador do Ministério da Educação relativo aos percursos directos de sucesso (média dos valores disponíveis no site infoescolas.mec.pt para os mesmos anos). Este indicador mede a diferença entre a percentagem de percursos directos de sucesso na escola e a média nacional (média calculada para todos os alunos no país com um nível de desempenho inicial semelhante). Assim, é uma espécie de indicador de valor acrescentado da escola, que representa o sucesso relativo durante o ensino secundário, tendo em conta o ponto de partida dos alunos à entrada do mesmo. O gráfico seguinte ilustra essa comparação.
Verificamos uma relação negativa entre o desempenho dos estudantes no ensino superior e a média nos exames nacionais das escolas analisadas. As escolas privadas (a azul) localizam-se maioritariamente acima da mediana dos resultados dos exames nacionais (60% das escolas privadas estão acima da mediana da amostra), bem como do indicador relativo aos percursos directos de sucesso (83% das escolas privadas estão acima da mediana da amostra). No entanto, no indicador compósito de desempenho no ensino superior, apenas 20% das escolas privadas estão acima da mediana da amostra.
Agrupando as escolas com melhor, pior e desempenho médio no indicador compósito relativo ao sucesso na universidade, observamos os valores que apresentamos na Tabela 1.
As 15 melhores escolas no indicador compósito de desempenho no ensino superior são todas públicas, os seus alunos fazem em média 51 ECTS no primeiro ano da universidade, 16% destes estão no topo do ranking do seu curso no fim do primeiro ano, e apresentam notas cerca de 0.27 desvios padrão acima da média. Os alunos das 15 escolas com valores mais baixos do indicador, fazem em média 44 ECTS, apenas 4% destes se apresentam no topo do ranking do seu curso, e as suas notas estão cerca de 0.27 desvios padrão abaixo da média. De notar que destas, 60% são escolas privadas.
As escolas assim agrupadas apresentam médias nos exames nacionais e nos percursos directos de sucesso semelhantes mas com valores maiores para as escolas com desempenho inferior no indicador compósito (contudo as diferenças observadas entre os grupos não são estatisticamente significativas). No indicador de alinhamento do Ministério da Educação (média do indicador do Infoescolas nos anos 2014 a 2016) há diferenças significativas, verificando-se que as escolas no fim da tabela são as que mais sobreavaliam as notas. O indicador de alinhamento compara as classificações internas atribuídas pela escola aos seus alunos com as classificações internas atribuídas pelas outras escolas do país a alunos com resultados semelhantes nos exames nacionais.
Assim, parece claro que as escolas têm perfis distintos e que há diferenças grandes entre as escolas que apresentam um bom desempenho dos seus estudantes na universidade e as que apresentam um pior desempenho. Esta diferença está em grande parte ligada à questão público/privado pois as escolas que melhor desempenho apresentam no ensino superior são no geral públicas. Assim temos escolas que proporcionam à maioria dos seus estudantes percursos de sucesso ao longo do ensino secundário e médias nos exames nacionais mais elevadas.
Estes efeitos, potenciados por uma eventual inflação de notas e por um eventual contexto socioeconómico mais elevado que poderá permitir aos alunos terem explicações fora da escola (fenómeno designado internacionalmente como shadow schooling), aumentam a probabilidade de entrada dos seus estudantes na universidade.
Contudo, estas não são no geral as escolas que garantem o melhor desempenho dos alunos no ensino superior. Infelizmente os indicadores de sucesso das escolas parecem ser conflituantes em vez de complementares e não encontramos na nossa amostra escolas que apresentem bons desempenhos em todos os indicadores: boas médias em exame nacional, bom desempenho nos percursos directos de sucesso e bom desempenho dos alunos no ensino superior.
Os nossos dados levam-nos a crer que o enfoque exagerado nos exames nacionais, para além do efeito positivo imediato de entrada na universidade, pode ter um efeito negativo no desenvolvimento integral dos estudantes, limitando a sua capacidade de sucesso em fases posteriores da carreira académica ou profissional, o que não é certamente desejável nem intencional por parte das escolas. Desconhecemos se os resultados aqui obtidos são generalizáveis ao resto do país, pelo que seria também importante replicar este estudo a nível nacional.