É notável assistir ao aumento de projectos, práticas e políticas destinadas a promover a inclusão social de crianças e jovens em situações de desvantagem social no território nacional. Ao mesmo tempo, testemunho o foco na criação de estratégias de procura e manutenção de financiamentos no seio dos projectos. As instituições/programas de financiamento voltam as suas atenções para a estrutura operacional do projecto, os objectivos, a forma como se propõe a atingi-los, os prazos, a sustentabilidade e, recentemente, as “métricas” de impacto.
Não há dúvida que os projectos sociais precisam de dinheiro para se fazerem... e não só. Precisam dele para incluírem avaliações de qualidade. Do ponto de vista da eficácia, um projecto revela qualidade quando atinge os objectivos específicos de inclusão. Por exemplo, se o objectivo de um projecto é reduzir em 20% a percentagem de reprovações de jovens, então, o projecto é “bom” na medida em que alcança essa meta. No entanto, só podemos perceber isto com avaliações de resultados – também designadas avaliações de impacto. Do mesmo modo que há projectos de alta qualidade e projectos que deixam a desejar, há as avaliações de alta qualidade e as que deixam a desejar. As avaliações de qualidade valem-se de métodos causais ou quase-causais – as experiências de terreno com cenários contrafactuais rigorosos. Em graus variáveis de certeza, permitem dizer: “O projecto X causa Y”.
O grande desafio prende-se com o relaxamento excessivo com que se fala de causalidade. Esta leveza não é amiga das crianças e jovens, sujeito e predicado destas políticas e projectos. Pensa nos projectos/programas que conheces neste campo. Pensa também nos mais reconhecidos. Infelizmente, a maior parte não possui avaliações de resultados de qualidade. Nunca teremos a certeza se o projecto é de qualidade sem termos uma avaliação também ela de qualidade. No máximo, podemos dizer: “O projecto aparenta qualidade”. Em certas situações, paira no ar uma sensação de que não há efeitos ou de que são contrários ao desejado. Sem uma avaliação de qualidade, esta sensação de nulidade pode ser apenas isso: sensação. E as aparências podem iludir.
Podes apontar que alguns dos projectos/programas em que pensaste “demonstraram” sucesso. Os indicadores são de impacto ou são indicadores de satisfação de utilização dos serviços? O cenário que serve de comparação para a intervenção do projecto afasta com segurança explicações alternativas para os resultados positivos detectados? Os resultados são avaliados no curto (dias após), médio (meses após) e longo-prazo (décadas após)? Na maioria, as avaliações de resultados são inexistentes ou de baixa qualidade pelo facto de se assumirem como avaliações de impacto, quando avaliam a satisfação na utilização dos serviços, por não recorrerem a métodos de estudo que permitem isolar o impacto da intervenção e porque não avaliam os resultados antes e após a intervenção.
A promoção dos projectos para inclusão de crianças e jovens em situações de vulnerabilidade é prioritária. Todavia, esta promoção tem de ser feita com critério. Quando estes programas têm resultados positivos, muitos problemas são evitados, as economias desenvolvem-se, a saúde aumenta. Mas só o sabemos com recurso a avaliações baseadas em evidência científica.
Não chega financiar os projectos sociais e pedir-lhes “métricas de impacto”. Lanço o desafio de se incorporarem pacotes específicos para o financiamento das avaliações. Nesse sentido, a qualidade da avaliação de impacto (de preferência independente) poderá ter espaço para ser definida como um dos critérios principais para avaliar as candidaturas a financiamento. Crie-se um provedor de eficácia de base científica. Cada novo projecto pode ser entendido como uma oportunidade para tirar lições e optimizar intervenções que beneficiem ao máximo as crianças e jovens em desvantagem.
