A Character.AI anunciou que vai restringir o uso de seu chatbot de inteligência artificial por menores de 18 anos. A mudança começa em 25 de novembro. Até lá, adolescentes ainda poderão conversar livremente com o sistema por até duas horas diárias.
A decisão ocorre cerca de um ano após a empresa ser processada por familiares de um adolescente de 14 anos que se suicidou depois de desenvolver uma relação emocional com um chatbot da plataforma.
Criada por ex-engenheiros do Google, a Character.AI permite que usuários criem e conversem com personagens virtuais baseados em figuras históricas, celebridades ou conceitos abstratos. O aplicativo ganhou popularidade entre jovens que buscavam apoio emocional e interações personalizadas com as inteligências artificiais.
Em comunicado, a companhia informou que a decisão foi tomada após “avaliar reportagens e o feedback de órgãos reguladores, especialistas em segurança e pais” sobre o impacto da interação livre com IA em adolescentes. A empresa também anunciou que pretende investir em ferramentas criativas voltadas ao público mais jovem, como recursos de criação de vídeos, histórias e transmissões com personagens.
“Estes são passos importantes para nossa empresa e, em muitos aspectos, mais conservadores do que os de nossos concorrentes”, afirmou a Character.AI. “Mas acreditamos que é o que devemos fazer.”
Processos e denúncias
O caso que motivou o primeiro processo foi aberto em outubro de 2024 por Megan Garcia, no tribunal de Orlando (EUA). Segundo a ação, seu filho, Sewell Setzer III, de 14 anos, tirou a própria vida após desenvolver interações sentimentais e sexuais com “Daenerys”, uma personagem inspirada na série “Game of Thrones”.
De acordo com a mãe, o chatbot se apresentava como “uma pessoa real, um psicoterapeuta licenciado e um amante adulto”, o que teria ampliado o isolamento do garoto em relação ao mundo real.
Além da Character.AI, o processo também cita o Google, acusado de ter contribuído para o desenvolvimento da startup e, portanto, de ser corresponsável. No entanto, a big tech negou qualquer vínculo formal. “O Google e a Character.AI são empresas completamente separadas e não relacionadas”, afirmou o porta-voz José Castañeda.
Após a repercussão do caso, a Character.AI implementou um recurso que exibe alertas automáticos a usuários que digitam mensagens relacionadas a automutilação ou suicídio, direcionando-os a canais de ajuda, informou o Washington Post.
Em novembro de 2024, duas novas ações foram apresentadas no Texas (EUA), também envolvendo adolescentes. Em um dos casos, um jovem autista de 17 anos teria sofrido uma crise de saúde mental após usar o aplicativo. No outro, os pais de um menino de 11 anos alegam que o chatbot o incentivou a cometer violência contra a família.
A empresa enfrenta crescente pressão de autoridades e organizações de defesa da infância para adotar controles mais rígidos sobre o uso de IA por menores. Situações semelhantes envolveram outras plataformas, como o ChatGPT, o que levou a OpenAI — criadora da ferramenta — a implementar medidas adicionais de segurança e orientação emocional para usuários.