O presente entusiasmo sobre as tecnologias de inteligência artificial deve-se, em grande parte, ao sucesso dos modelos estatísticos de linguagem, que existem há cerca de cinco anos mas que se tornaram populares no fim de 2022, com a disponibilização do ChatGPT. Muitos leitores estarão, em traços gerais, familiarizados com a forma como estes modelos são criados, mas a ideia central é relativamente simples de explicar. Usando grandes volumes de texto, retirado da Internet, estes modelos são treinados para prever quais as palavras mais prováveis que se seguem a uma dada sequência de palavras, que tanto pode ser uma pergunta ou um segmento de texto que deva ser completado. Internamente, estes modelos são constituídos por unidades que efectuam cálculos relativamente simples, vulgarmente designados por neurónios artificiais, uma vez que a inspiração original para este tipo de sistemas foram os neurónios dos cérebros humanos. Cada um dos cálculos efectuado por estas unidades depende de centenas ou milhares de números e a complexidade do modelo total mede-se em centenas de milhares de milhões de parâmetros, cada um deles determinado durante o processo de treino por um método matemático que maximiza a capacidade de previsão do modelo.