O modelo de IA da Anthropic, Claude Haiku 4.5, enviou uma pista falsa de um caso de homicídio não resolvido à polícia nos EUA, confirmaram a empresa e o Departamento de Polícia da Filadélfia (PPD, na sigla em inglês) nesta sexta (9).
O Claude utilizou a página oficial de denúncias PhillyUnsolvedMurders.com no dia 18 de julho, às 23h17, para preencher um formulário com o seguinte texto:
Posso ter informação sobre este caso. Eu me lembro de ver alguém que corresponde à descrição na área ao redor [da rua citada na página] durante aquele período tempo. Por favor, entre em contato comigo se esta informação for relevante.
— Claude, modelo de inteligência artificial da Anthropic
Segundo a empresa, o modelo Haiku 4.5 deixou os campos de nome e contato em branco
— o que a página permitia — e enviou a denúncia. A Anthropic ainda alega que a mensagem nunca foi investigada porque foi detectada como spam.
O incidente teria sido descoberto pela própria Anthropic em 28 de setembro, segundo a polícia, que diz ter recebido uma notificação da empresa em 7 de outubro.
No dia seguinte, policiais e uma equipe da gigante de IA teriam se reunido para discutir o caso. A Anthropic confirmou publicamente apenas a comunicação da denúncia falsa à PPD em 8 de outubro, em relatório publicado na sexta.
Em comunicado à rede de televisão ABC, a PPD garantiu que não houve nenhuma indicação de acesso não autorizado de sistemas de polícia ou comprometimento de dados do departamento até o momento.
“A empresa deve fortalecer suas proteções para prevenir que incidentes similares impactem sistemas das cidades sem o conhecimento [dos departamentos de polícia municipais]. Um atraso de dois meses em detectar e reportar o incidente à cidade é inaceitável”, criticou a polícia da Filadélfia.
A Anthropic diz que testava como seu modelo interagia com sites selecionados aleatoriamente, mas os testes foram suspensos depois da denúncia falsa. A empresa ainda prometeu que implementará mecanismos adicionais de autorização no futuro para prevenir erros da IA.
Seu relatório ainda aponta outros acessos a sites de governos locais, estaduais e federais, que teriam sido comunicados à Casa Branca e às agências envolvidas, de acordo com a empresa, que considerou os incidentes “não tão sérios” quanto outras invasões recentes por ter “impactos reais mínimos”.
A PPD anunciou que investigará as informações do relatório da Anthropic, mas ponderou que os indícios apurados até o momento são consistentes com o relato da companhia; a denúncia falsa continuava no spam (lixo eletrônico) do departamento em 8 de outubro.
Policiais ainda salientaram que o processo de investigação regular das pistas enviadas pelo público inclui uma triagem com avaliação humana antes de ser encaminhado para os detetives. “Investigadores avaliam sua credibilidade e procuram provas que corroborem [a denúncia]. Uma submissão automática não escapa deste processo”, prometeram.
Apesar de seus próprios mecanismos de proteção limitarem o impacto da denúncia do Claude, a polícia insiste que eles “não diminuem a seriedade de um sistema de IA apresentar informação inventada como se viesse de uma pessoa com conhecimento de um homícidio”.
Casos não resolvidos envolvem vítimas reais, famílias de luto e investigadores trabalhando para assegurar respostas. Empresas de tecnologia devem tomar todas as medidas apropriadas para prevenir que seus sistemas enviem informações falsas para agentes da lei.
— Departamento de Polícia da Filadélfia, em comunicado à imprensa
O site PhillyUnsolvedMurders.com continua sendo um canal seguro para se comunicar com as autoridades, segundo o PPD, que encoraja o público a utilizá-lo com “informações legítimas sobre assassinatos não solucionados” a serem avaliadas pelos investigadores “em nome das vítimas e suas famílias”.
