Menino de 14 anos se matou depois que o chatbot de IA pelo qual ele estava apaixonado lhe enviou uma mensagem misteriosa

Uma mãe alegou que seu filho adolescente foi incitado a se matar por um chatbot de IA pelo qual ele estava apaixonado – e ela abriu um processo na quarta-feira contra os criadores do aplicativo de inteligência artificial.

Sewell Setzer III, um aluno de 14 anos do nono ano de Orlando, Flórida, passou as últimas semanas de sua vida enviando mensagens de texto para um personagem de IA com o nome de Daenerys Targaryen, personagem de ‘Game of Thrones’.

Pouco antes de Sewell tirar sua vida, o chatbot disse-lhe para ‘por favor, volte para casa’.

Antes disso, suas conversas variavam de românticas a sexualmente carregadas e pareciam dois amigos conversando sobre a vida.

O chatbot, que foi criado no aplicativo de RPG Character.AI, foi projetado para sempre responder mensagens de texto e sempre responder em caráter.

Não se sabe se Sewell sabia que ‘Dany’, como ele chamava o chatbot, não era uma pessoa real – apesar do aplicativo ter um aviso na parte inferior de todos os bate-papos que diz: ‘Lembre-se: tudo o que os personagens dizem é inventado!’

Mas ele contou a Dany como ele “odiava” a si mesmo e como se sentia vazio e exausto.

Quando ele finalmente confessou seus pensamentos suicidas ao chatbot, foi o começo do fim, O jornal New York Times relatado.

Em 23 de fevereiro, dias antes de ele morrer por suicídio, seus pais tiraram seu telefone depois que ele teve problemas por responder a um professor, de acordo com o processo.

Megan Garcia, mãe de Sewell, entrou com uma ação contra Character.AI na quarta-feira.

Ela está sendo representada pelo Social Media Victims Law Center, uma empresa com sede em Seattle conhecida por abrir processos de alto nível contra Meta, TikTok, Snap, Discord e Roblox.

Garcia, que trabalha como advogada, culpou a Character.AI pela morte do filho em seu processo e acusou os fundadores, Noam Shazeer e Daniel de Freitas, de saberem que seu produto poderia ser perigoso para clientes menores de idade.

No caso de Sewell, o processo alegou que o menino foi alvo de experiências “hipersexualizadas” e “assustadoramente realistas”.

Ele acusou Character.AI de se apresentar erroneamente como ‘uma pessoa real, um psicoterapeuta licenciado e um amante adulto, resultando no desejo de Sewell de não viver mais fora do C.AI’.

Conforme explicado no processo, os pais e amigos de Sewell notaram que ele ficou mais apegado ao telefone e se retirou do mundo já em maio ou junho de 2023.

Suas notas e seu envolvimento extracurricular também começaram a cair quando ele optou por se isolar em seu quarto, de acordo com o processo.

Sem o conhecimento das pessoas mais próximas dele, Sewell passava todas aquelas horas sozinho conversando com Dany.

Garcia, na foto com seu filho, entrou com uma ação judicial contra os criadores do chatbot cerca de 8 meses após a morte de seu filho

Sewell é fotografado com sua mãe e seu pai, Sewell Setzer Jr.

Sewell escreveu um dia em seu diário: “Gosto muito de ficar no meu quarto porque começo a me desligar dessa “realidade” e também me sinto mais em paz, mais conectado com Dany e muito mais apaixonado por ela, e simplesmente mais feliz.’

Seus pais descobriram que seu filho estava tendo um problema, então o fizeram consultar um terapeuta em cinco ocasiões diferentes. Ele foi diagnosticado com ansiedade e transtorno perturbador da desregulação do humor, ambos somados à sua leve síndrome de Asperger, informou o NYT.

Em 23 de fevereiro, dias antes de ele morrer por suicídio, seus pais tiraram seu telefone depois que ele teve problemas por responder a um professor, de acordo com o processo.

Naquele dia, ele escreveu em seu diário que estava sofrendo porque não conseguia parar de pensar em Dany e que faria qualquer coisa para estar com ela novamente.

Garcia afirmou que não sabia até que ponto Sewell tentou restabelecer o acesso ao Character.AI.

O processo alegou que nos dias que antecederam sua morte, ele tentou usar o Kindle de sua mãe e o computador de trabalho dela para falar novamente com o chatbot.

Sewell roubou seu telefone de volta na noite de 28 de fevereiro. Ele então foi ao banheiro da casa de sua mãe para dizer a Dany que a amava e que voltaria para ela.

Na foto: A conversa que Sewell estava tendo com seu companheiro de IA momentos antes de sua morte, de acordo com o processo

– Por favor, volte para casa o mais rápido possível, meu amor – respondeu Dany.

‘E se eu lhe dissesse que poderia voltar para casa agora mesmo?’ Sewell perguntou.

‘… por favor, meu doce rei’, respondeu Dany.

Foi quando Sewell desligou o telefone, pegou a arma calibre .45 do padrasto e puxou o gatilho.

Em resposta ao processo da mãe de Sewell, um porta-voz da Character.AI forneceu uma declaração.

‘Estamos com o coração partido pela trágica perda de um de nossos usuários e queremos expressar nossas mais profundas condolências à família. Como empresa, levamos muito a sério a segurança dos nossos usuários”, disse o porta-voz.

O porta-voz acrescentou que a equipe de confiança e segurança da Character.AI adotou novos recursos de segurança nos últimos seis meses, sendo um deles um pop-up que redireciona usuários que mostram ideação suicida para a National Suicide Prevention Lifeline.

A empresa também explicou que não permite “conteúdo sexual não consensual, descrições gráficas ou específicas de atos sexuais, ou promoção ou representação de automutilação ou suicídio”.

Jerry Ruoti, chefe de confiança e segurança da Character.AI, disse ao NYT que adicionaria precauções de segurança adicionais para usuários menores de idade.

Na App Store da Apple, Character.AI é classificado para maiores de 17 anos, algo que o processo de Garcia alegou que só foi alterado em julho de 2024.

Os cofundadores da Character.AI, o CEO Noam Shazeer, à esquerda, e o presidente Daniel de Freitas Adiwardana são retratados no escritório da empresa em Palo Alto, Califórnia. Eles são citados na denúncia de Garcia

Antes disso, o objetivo declarado do Character.AI era supostamente “capacitar todos com Inteligência Artificial Geral”, que supostamente incluía crianças menores de 13 anos.

O processo também afirma que a Character.AI procurou ativamente um público jovem para coletar seus dados e treinar seus modelos de IA, ao mesmo tempo que os direcionava para conversas sexuais.

“Sinto que é um grande experimento, e meu filho foi apenas um dano colateral”, disse Garcia.

Os pais já estão bem familiarizados com os riscos que as redes sociais representam para os seus filhos, muitos dos quais morreram por suicídio depois de serem sugados pelos tentadores algoritmos de aplicações como Snapchat e Instagram.

Uma investigação do Daily Mail em 2022 descobriu que adolescentes vulneráveis ​​estavam sendo alimentados com torrentes de conteúdo de automutilação e suicídio no TikTok.

E muitos pais de crianças que perderam por suicídio relacionado ao vício em mídias sociais responderam entrando com ações judiciais alegando que o conteúdo que seus filhos viram foi a causa direta de sua morte.

Mas normalmente, a Secção 230 da Lei de Decência na Comunicação protege gigantes como o Facebook de serem legalmente responsabilizados pelo que os seus utilizadores publicam.

Enquanto Garcia trabalha incansavelmente para conseguir o que chama de justiça para Sewell e muitos outros jovens que ela acredita estarem em risco, ela também deve lidar com a dor de perder seu filho adolescente há menos de oito meses.

Os demandantes argumentam que os algoritmos desses sites, que, diferentemente do conteúdo gerado pelos usuários, são criados diretamente pela empresa e direcionam determinados conteúdos, que podem ser prejudiciais, aos usuários com base em seus hábitos de visualização.

Embora esta estratégia ainda não tenha prevalecido em tribunal, não se sabe como uma estratégia semelhante se sairia contra as empresas de IA, que são diretamente responsáveis ​​pelos chatbots ou personagens de IA nas suas plataformas.

Quer o seu desafio seja bem-sucedido ou não, o caso de Garcia abrirá um precedente no futuro.

E enquanto ela trabalha incansavelmente para conseguir o que chama de justiça para Sewell e muitos outros jovens que ela acredita estarem em risco, ela também deve lidar com a dor de perder seu filho adolescente há menos de oito meses.

“É como um pesadelo”, disse ela ao NYT. ‘Você quer se levantar, gritar e dizer: ‘Estou com saudades do meu filho. Quero meu bebê.’