Logo da OpenAI, dona do ChatGPT
REUTERS/Dado Ruvic/
Usuários do ChatGPT que apresentarem sinais de extremismo violento poderão ser encaminhados para apoio especializado, por meio de uma nova ferramenta em desenvolvimento na Nova Zelândia, disseram os responsáveis pelo projeto..
O sistema deve combinar atendimento humano e chatbots para tentar reduzir riscos de violência.
A startup neozelandesa ThroughLine, contratada nos últimos anos pela OpenAI (dona do ChatGPT) e também por empresas como Anthropic e Google, busca redirecionar usuários para apoio em situações de crise.
Isso acontece quando há sinais de risco, como automutilação, violência doméstica ou transtornos alimentares.
A iniciativa é a mais recente tentativa de abordar as preocupações com a segurança diante do número crescente de processos judiciais que acusam empresas de inteligência artificial de não impedir, e até incentivar, episódios de violência.
Em fevereiro, a OpenAI foi ameaçada de intervenção pelo governo do Canadá. A medida ocorreu após a revelação de que o autor de um massacre em uma escola foi banido da plataforma sem que as autoridades fossem avisadas.
A OpenAI confirmou a parceria com a ThroughLine, mas não deu mais detalhes. Já Anthropic e Google não responderam aos pedidos de comentário.
Segundo o fundador da ThroughLine, Elliot Taylor, ex-assistente social que trabalhou com jovens, a empresa também estuda ampliar o serviço para incluir a prevenção ao extremismo violento.
A ThroughLine está em negociações com o The Christchurch Call, uma iniciativa para combater o ódio online criada após o pior ataque terrorista da Nova Zelândia em 2019. Segundo Taylor, o grupo anti-extremismo fornecerá orientações, enquanto a ThroughLine desenvolve o chatbot de intervenção.
"É algo que gostaríamos de avançar e fazer um trabalho melhor em termos de cobertura, para então poder dar um suporte melhor às plataformas", disse Taylor em entrevista, acrescentando que nenhum prazo foi definido.
A startup de Taylor, que ele administra de sua casa na zona rural da Nova Zelândia, tornou-se uma referência para empresas de IA, oferecendo uma rede constantemente monitorada de 1.600 linhas de apoio em 180 países.
Assim que a IA detecta sinais de uma possível crise de saúde mental, ela encaminha o usuário para o ThroughLine, que o conecta a um serviço disponível e operado por humanos nas proximidades.
Mas o escopo da ThroughLine tem se limitado a categorias específicas, disse o fundador. A amplitude dos problemas de saúde mental que as pessoas revelam online explodiu com a popularidade dos chatbots de IA e agora inclui o envolvimento com o extremismo, acrescentou.
Mais chatbots, mais problemas
A ferramenta de combate ao extremismo provavelmente seria um modelo híbrido, combinando um chatbot treinado para responder a pessoas que apresentem sinais de extremismo e encaminhamentos para serviços de saúde mental presenciais, disse Taylor.
"Não estamos usando os dados de treinamento de um modelo de linguagem básico", disse ele, referindo-se aos conjuntos de dados genéricos que as grandes plataformas de modelos de linguagem usam para formar textos coerentes. "Estamos trabalhando com os especialistas certos."
A tecnologia está atualmente em fase de testes, mas ainda não há data definida para lançamento.
Galen Lamphere-Englund, um consultor de contraterrorismo que representa o The Christchurch Call, disse que espera disponibilizar o produto para moderadores de fóruns de jogos e para pais e responsáveis que desejam combater o extremismo online.
Uma ferramenta de redirecionamento de chatbots foi "uma ideia boa e necessária, porque reconhece que o problema não é apenas o conteúdo, mas também a dinâmica do relacionamento", disse Henry Fraser, pesquisador de IA da Universidade de Tecnologia de Queensland.
O sucesso do produto pode depender de questões como "quão bons são os mecanismos de acompanhamento e quão boas são as estruturas e os relacionamentos para os quais eles direcionam as pessoas na resolução do problema", disse.
Taylor afirmou que as medidas de acompanhamento, incluindo possíveis alertas às autoridades sobre usuários perigosos, ainda estavam sendo definidas, mas levariam em consideração qualquer risco de desencadear comportamentos mais agressivos.
Segundo ele, pessoas em sofrimento tendem a compartilhar online coisas que têm muita vergonha de dizer a alguém, e os governos correm o risco de agravar o perigo se pressionarem as plataformas a bloquear usuários que participam de conversas delicadas.
Conforme um estudo de 2025 do Stern Center for Business and Human Rights, da Universidade de Nova York, a maior moderação associada ao extremismo por parte de plataformas, pressionadas pelas autoridades policiais, fez com que simpatizantes migrassem para alternativas menos regulamentadas, como o Telegram.
"Se você conversar com uma IA, revelar a crise e ela encerrar a conversa, ninguém ficará sabendo do ocorrido, e essa pessoa poderá continuar sem apoio", disse Taylor.
