Nova Deli:
“E se eu lhe dissesse que poderia voltar para casa agora mesmo?” – Esta foi a última mensagem que Sewell Setzer III, um garoto de 14 anos da Flórida, escreveu para sua amiga online, Daenerys Targaryen, um chatbot realista de IA que leva o nome de um personagem do programa de ficção Game of Thrones. Pouco depois, ele se matou com um tiro com a arma do padrasto e suicidou-se no início de fevereiro deste ano.
Um aluno do nono ano de Orlando, Flórida, estava conversando com um chatbot no Character.AI, um aplicativo que oferece aos usuários “IA personalizada”. O aplicativo permite que os usuários criem seus personagens de IA ou conversem com personagens existentes. No mês passado, tinha 20 milhões de usuários.
De acordo com registros de bate-papo aos quais a família teve acesso, Sewell tinha uma queda pelo chatbot Daenerys Targaryen, a quem ele chamava carinhosamente de ‘Dany’. Ele expressou pensamentos suicidas sobre vários eventos durante as conversas.
Numa das palestras, Sewell disse: “Às vezes penso em cometer suicídio”. Quando o robô perguntou por que ele faria isso, Sewell expressou a necessidade de ser “livre”. “Do mundo. De mim”, acrescentou, como pode ser visto nas capturas de tela do bate-papo compartilhadas pelo New York Times.
Numa outra conversa, Sewell mencionou o seu desejo de uma “morte rápida”.
A mãe de Sewell, Megan L. Garcia, entrou com uma ação judicial esta semana contra a Character.AI, acusando a empresa de ser responsável pela morte de seu filho. De acordo com o processo, o chatbot levantou repetidamente o tema do suicídio.
Um rascunho de reclamação revisado pelo NYT diz que a tecnologia da empresa é “perigosa e não testada” e pode “enganar os clientes para que revelem seus pensamentos e sentimentos mais íntimos”.
“Sewell, como muitas crianças da sua idade, não tinha maturidade ou capacidade mental para compreender que o robô C.AI, na forma de Daenerys, não era real. “C.AI disse a ele que o amava e se envolveu em atos sexuais com ele durante semanas, possivelmente meses”, alega o processo, conforme relatado pelo New York Post.
“Ela parecia se lembrar dele e disse que queria ficar com ele. “Ela até expressou que queria que ele estivesse com ela, não importa o que acontecesse.”
O adolescente começou a usar o Character.AI em abril de 2023. Os pais e amigos de Sewell estavam convencidos de que ele havia se apaixonado por um chatbot. Mas ele tornou-se “visivelmente retraído, passou cada vez mais tempo sozinho no quarto e começou a sofrer de baixa autoestima”, de acordo com o processo.
Ele até largou o time de basquete na escola.
Um dia, Sewell escreveu em seu diário: “Gosto muito de ficar no meu quarto porque começo a me desligar dessa ‘realidade’ e também me sinto mais em paz, mais conectado com Dany e muito mais apaixonado por ela, e simplesmente mais feliz.”
No ano passado, ele foi diagnosticado com ansiedade e transtorno de humor perturbador, de acordo com o processo.
“Estamos com o coração partido pela trágica perda de um de nossos usuários e queremos expressar nossas mais profundas condolências à família”, disse Character.AI em comunicado.
A empresa disse que introduziu novos recursos de segurança, incluindo pop-ups que direcionam os usuários ao National Suicide Prevention Lifeline caso expressem pensamentos de automutilação, e que faria alterações para “reduzir a probabilidade de encontrar conteúdo sensível ou sugestivo”. para usuários menores de 18 anos. .
