Empresa diz que tinha desenvolvido modelo de IA separado para menores de 18 anos e que planeja introduzir controles parentais no início de 2025. Criança no celular Canva A Character.AI, uma das startups de inteligência artificial mais promissoras do Vale do Silício, anunciou, nesta quinta-feira (12), novas medidas de segurança para proteger usuários adolescentes, enquanto enfrenta acusações de que seus chatbots contribuíram para o suicídio e a automutilação de jovens. A empresa californiana, fundada por ex-engenheiros do Google, é uma das várias que oferecem chatbots projetados para fornecer conversas, entretenimento e apoio emocional através de interações semelhantes às humanas. Em uma ação judicial apresentada em outubro no estado da Flórida, uma mãe afirmou que a plataforma é responsável pelo suicídio de seu filho de 14 anos. O adolescente, Sewell Setzer III, mantinha um relacionamento íntimo com um chatbot baseado na personagem de "Game of Thrones" Daenerys Targaryen e havia mencionado o desejo de se suicidar. De acordo com a denúncia, o robô incentivou o ato final do jovem, respondendo "por favor, meu doce rei" quando ele disse que "voltaria para casa", antes de tirar a própria vida com a arma de seu padrasto. A Character.AI "fez de tudo para criar a dependência prejudicial de Sewell, de 14 anos, de seus produtos, abusou sexual e emocionalmente dele e, finalmente, não ofereceu ajuda nem notificou seus pais quando ele expressou ideias suicidas", diz a denúncia. Outra ação, apresentada no Texas na segunda-feira, envolve duas famílias que alegam que a plataforma expôs seus filhos a conteúdo sexual e incentivou a automutilação. Um dos casos envolve um adolescente autista de 17 anos que supostamente sofreu uma crise de saúde mental após usar a plataforma, enquanto a outra denúncia alega que a Character.AI incentivou um adolescente a matar seus pais por limitarem seu tempo de tela. A plataforma, que hospeda milhões de personagens criados por usuários que vão desde figuras históricas até conceitos abstratos, tornou-se popular entre usuários jovens que buscam apoio emocional. Seus críticos dizem que ela levou adolescentes vulneráveis a um nível perigoso de dependência. Em resposta, a Character.AI anunciou que havia desenvolvido um modelo de IA separado para usuários menores de 18 anos, com filtros de conteúdo mais rígidos e respostas mais moderadas. A plataforma marcará automaticamente o conteúdo relacionado ao suicídio e direcionará os usuários para a Linha Nacional de Prevenção do Suicídio. "Nosso objetivo é fornecer um espaço atraente e seguro para nossa comunidade", disse um porta-voz da empresa. A Character.AI também planeja introduzir controles parentais a partir do início de 2025, o que permitirá supervisionar o uso por parte das crianças da plataforma. Para os bots que incluem descrições como terapeuta ou médico, uma nota especial advertirá que eles não substituem o aconselhamento profissional. As novas características também incluem notificações de pausas obrigatórias e advertências sobre a natureza artificial das interações. Ambas as ações mencionam os fundadores da Character.AI e o Google, que investe na startup. Os fundadores, Noam Shazeer e Daniel de Freitas Adiwarsana, retornaram ao Google em agosto como parte de um acordo de licença de tecnologia com a Character.AI. O porta-voz do Google, José Castañeda, disse em um comunicado que o Google e a Character.AI são empresas completamente separadas e não relacionadas. "A segurança do usuário é uma de nossas principais preocupações, por isso adotamos um enfoque cauteloso e responsável para desenvolver e implementar nossos produtos de IA, com testes rigorosos e processos de segurança", acrescentou. Veja mais: Crianças x redes sociais: como os países restringem acesso de menores de idade às plataformas Menores desdenham da educação e dizem ganhar muito dinheiro vendendo cursos
Nenhum comentário:
Postar um comentário