Uma equipa de investigadores da Universidade da Califórnia está a tentar criar robôs curiosos. A teoria é que a falta de curiosidade natural das máquinas e de programas com inteligência artificial para explorar o ambiente que as rodeia faz com que aprendam mais devagar.

“Na vida real, as recompensas disponíveis para os seres humanos são escassas e demoradas. Ninguém nos diz quão perto estamos de atingir um objectivo a cada segundo que passa,” explica Deepak Pathak, um dos investigadores da equipa, ao PÚBLICO. “A curiosidade natural dos bebés leva-os a querer explorar coisas novas, e ajuda-os a aprender mais sobre o ambiente que os rodeia e a desenvolver novas habilidades.”

Em geral, os programas de inteligência artificial são ensinados com algoritmos de aprendizagem por reforço, que recebem recompensas (por exemplo, pontuação extra em videojogos) quando cumprem as tarefas desejadas. Com o sistema de "curiosidade intrínseca” desenvolvido pela equipa de investigadores, os prémios de motivação são reduzidos ou até eliminados. 

Os investigadores adaptaram um algoritmo para que – além de não depender de recompensas – não consegue prever o resultado das suas próprias acções. O objectivo é que o agente de inteligência artificial queira explorar o espaço onde está.

Segundo Pathak, actualmente é muito difícil treinar robôs físicos, porque se tem de criar recompensas a cada passo do processo, algo inexequível e caro: "A esperança é que as máquinas atinjam aleatoriamente o objectivo em que ganham um prémio o número de vezes suficiente para o replicarem automaticamente, o que é pouco provável.”  Torna-se um processo lento quando há uma tarefa sem recompensa ou sem prejuízo imediato (como bater contra uma parede num videojogo) e a máquina de inteligência artificial não tem necessidade de ver o que acontece se escolher outra tarefa.

"Acreditamos que a curiosidade pode tornar-se um sinal para os agentes de inteligência artificial navegarem o ambiente de uma forma informada e significativa, em vez de perderem tempo a agir aleatoriamente", explica a equipa, no artigo em que explicam o projecto. Para já, estão a testar o modelo de curiosidade em máquinas programadas para jogar consola: os videojogos escolhidos foram o clássico de plataforma Super Mário Bros, e o jogo acção tridimensional ViZDoom. Já publicaram os resultados iniciais no YouTube.

Sem qualquer tipo de prémio (por exemplo, moedas virtuais no Super Mario), os agentes artificiais têm melhor desempenho em ambos os jogos à medida que descobrem novas técnicas. “Uma das razões da melhoria é que ser morto pelo inimigo virtual leva o agente a ver apenas uma pequena parte do jogo. É do interesse do agente aprender a eliminar os inimigos para descobrir novos espaços”, escreve a equipa no relatório do projecto. "No Super Mario, comportamentos interessantes como saltar por cima de objectos, derrotar ou fugir de monstros surgem naturalmente da curiosidade do agente sobre o jogo", acrescenta Pathak. 

"Também escolhemos o VizDoom porque obriga os agentes artificiais a navegar num ambiente em 3D. A navegação é um dos problemas fundamentais na inteligência artificial e na robótica, e mostramos que ao adicionar a curiosidade como um sinal, o nosso agente pode aprender habilidades úteis, como movimentar-se mais depressa nos corredores e evitar obstáculos", refere o investigador.

Apesar dos testes, a missão da equipa de Berkeley não é criar máquinas profissionais de videojogos. "São apenas uma plataforma para mostrar que moldar curiosidade em agentes de inteligência artificial pode ajudá-los a resolver tarefas," esclarece Pathak. O objectivo principal é transferir a curiosidade para sistemas de aprendizagem de robôs, por exemplo, para os ajudar a navegar e interagir em espaços reais.

Os resultados do projecto serão apresentados na Conferência Internacional de Machine Learning, em Sidney, no mês de Agosto.