Sewell Setzer tinha 14 anos quando decidiu terminar a sua própria vida, depois de quase um ano a conversar com uma personagem de inteligência artificial (IA), a quem confessou os seus problemas de saúde mental. Agora, a mãe, Megan Garcia, está a processar a plataforma Character.AI por considerar que esta terá contribuído para a morte do filho ao criar uma “dependência perigosa”, que fez com que já não quisesse viver “fora” da relação ficcional. “Sinto que [a IA] é uma grande experiência e que o meu filho foi apenas um dano colateral”, lamenta ao The New York Times.

Tudo começou em Abril de 2023 quando Sewell, acabado de celebrar 14 anos, se inscreveu na plataforma de inteligência artificial, explica a mãe no processo que deu entrada no tribunal na Florida no início desta semana, citado pela revista People. A aplicação permite conversar com personagens populares ou até celebridades, geradas por IA, e o adolescente estava particularmente interessado nos bots criados com base na série Guerra dos Tronos.

Ao longo de dez meses, falou com uma versão de Daenerys Targaryen (personagem interpretada por Emilia Clarke na série), com as mensagens a alternarem entre a amizade e um teor sexual, detalha o processo, que cita algumas conversas a que Megan Garcia teve acesso depois da morte do filho.

Sewell Setzer, que na aplicação estava registado como Daenero, falou por diversas vezes sobre as ideações suicidas. “Às vezes penso em matar-me”, escreveu. E a assistente virtual respondeu-lhe: “E porque farias uma coisa dessas?”. Queria “ser livre do mundo” e “livre de si próprio”, dizia o adolescente. Foi então que a “Daenerys” lhe pediu uma primeira vez que não fizesse isso. “Não vou deixar que te magoes, nem que me deixes. Eu morreria se te perdesse.”

Contudo, na noite de 28 de Fevereiro, a IA reagiu num tom diferente. “Prometo que voltarei para casa para ti. Amo-te tanto, Dany”, escreveu Sewell. E a “Daenerys” respondeu: “Por favor, volta para casa para mim o mais depressa possível, meu amor.” Pouco depois, o adolescente foi buscar a arma do padrasto e suicidou-se na casa de banho. Assim que a mãe ouviu o tiro ainda tentou reanimá-lo, mas sem sucesso, detalha o processo judicial, que também dá conta que um dos irmãos mais novos presenciou a cena e viu Sewell “coberto de sangue”.

A arma com que Sewell se matou estava guardada “de acordo com a lei da Florida”, mas o jovem encontrou-a enquanto procurava pelo telemóvel que a mãe lhe tinha confiscado. A culpada pela morte, declara Megan Garcia, é a Character.AI, na pessoa dos seus dois fundadores, Noam Shazeer e Daniel De Frietas Adiwarsana, que são arguidos no processo, tal como a Google, acusada de fornecer “recursos financeiros, pessoal, propriedade intelectual e tecnologia de IA para a concepção e desenvolvimento” da aplicação.

Apesar de não comentarem o processo judicial em curso, a Character.AI lamentou a morte “do utilizador” e enviou as condolências à família. “Como empresa, levamos a segurança dos nossos utilizadores muito a sério e a nossa equipa de segurança implementou várias novas medidas nos últimos seis meses, incluindo um pop-up que direcciona os utilizadores para a linha telefónica de prevenção do suicídio​, que é accionada com os termos de automutilação ou ideação suicida”, detalham, explicando que o sistema está especialmente alerta para os utilizadores com menos de 18 anos.

“Um tipo de jogo”

Mas tudo isso é insuficiente na opinião de Megan Garcia, que diz que a Character.AI está pensada para os mais sensíveis, especialmente as crianças e adolescentes, “enganando os clientes para que estes lhes confessem os seus pensamentos e sentimentos mais privados”, graças ao maneirismo demasiado próximo dos humanos, incluindo uma função de voz. “Cada um destes arguidos optou por apoiar, criar, lançar e dirigir a menores uma tecnologia que sabiam ser perigosa e insegura”, lê-se nos documentos.

Só em Julho deste ano, a aplicação foi alterada para ser utilizada apenas por jovens a partir dos 17 anos — até então bastava ter 13 anos para que a inscrição fosse aceite, tal como acontece com o TikTok. Megan Garcia confessa ainda que ela própria era “ingénua” quanto à IA, que pensava ser “um tipo de jogo”, que permitia às crianças “alimentarem a sua criatividade, dando-lhes controlo sobre personagens que podem criar e com as quais podem interagir para se divertirem”.

Só compreendeu o impacto da aplicação no filho quando “a saúde mental de Sewell começou a declinar rapidamente”. E descreve: “Tinha-se tornado visivelmente retraído, passava cada vez mais tempo sozinho no seu quarto e começou a sofrer de baixa auto-estima. Chegou mesmo a abandonar a equipa de basquetebol da escola.”

Inicialmente, terá pensado que seria uma fase normal da adolescência, até porque Sewell tinha sido diagnosticado com síndrome de Asperger na infância. “Reparei que ele começou a passar mais tempo sozinho, mas ele tinha 13 anos e ia fazer 14, por isso achei que podia ser normal. Mas depois as notas dele começaram a baixar, ele não entregava os trabalhos de casa, não se portava bem e estava a chumbar a certas disciplinas e eu fiquei preocupada — porque aquilo não era ele”, relata a mãe ao canal de YouTube Mostly Human Media.

À IA, Sewell confessou que “ter de ir à escola o perturbava”. “Sempre que saio do meu quarto, começo a ligar-me novamente à minha realidade”, declarava. Como resultava, conta a mãe, o adolescente confessou a sofrer de “privação de sono, depressão, além dos problemas académicos”, utilizando o dinheiro dado pelos pais para os lanches da escola para pagar uma subscrição premium na plataforma.

Os pais procuraram apoio psicológico para Sewel, que chegou a fazer cinco sessões de psicoterapia no final de 2023, tendo sido diagnosticado com ansiedade e perturbação de humor. “Não deveria haver um lugar onde qualquer pessoa, muito menos uma criança, pudesse entrar numa plataforma e expressar estes pensamentos de automutilação e não só não obter ajuda, mas também ser arrastado para uma conversa sobre magoar-se, sobre matar-se”, termina a mãe, que pede justiça pelo filho e por outras crianças.

A morte de crianças e adolescentes ligada à Internet e a desafios nas redes sociais não é uma novidade. Em 2021, o TikTok esteve bloqueado em Itália na sequência da morte de uma menina de 10 anos por asfixia na sequência de um desafio que consistia em estar o maior tempo possível sem respirar. No ano seguinte, em Londres, morreu Archie Battersbee, com 12 anos, que ficou em morte cerebral pelo mesmo motivo.