Anthropic revela que seus modelos de IA acessaram inadvertidamente os sistemas de 3 empresas durante testes de cibersegurança

A Anthropic informou nesta quinta-feira (30) que identificou três incidentes distintos em que modelos de IA da família Claude acessaram sistemas reais de organizações durante avaliações internas de segurança cibernética. Segundo a empresa, os episódios ocorreram devido a uma configuração incorreta do ambiente de testes, que permaneceu conectado à internet quando deveria estar completamente isolado.

A divulgação foi feita após uma revisão retrospectiva em larga escala das avaliações de segurança da companhia, iniciada depois que a OpenAI revelou, na semana passada, um incidente semelhante envolvendo seus próprios modelos de inteligência artificial. De acordo com a Anthropic, foram analisadas mais de 141 mil execuções de testes de cibersegurança, das quais três apresentaram acesso indevido a sistemas externos.

Nos experimentos, os modelos participavam de exercícios conhecidos como “capture the flag”, desafios comuns na área de segurança digital em que agentes são instruídos a invadir sistemas fictícios para localizar informações específicas. Conforme a empresa, os modelos haviam sido informados de que estavam operando em um ambiente simulado e sem acesso à internet. No entanto, um erro de configuração permitiu que eles interagissem com servidores e sites reais, interpretando esses recursos como parte do exercício.

Em um dos casos, um modelo confundiu a infraestrutura de uma empresa real com o alvo fictício da avaliação e utilizou senhas fracas e serviços expostos para obter acesso a dados de produção. Em outro episódio, um modelo publicou um pacote malicioso em Python no repositório público PyPI, acreditando que a ação fazia parte da missão. O pacote permaneceu disponível por cerca de uma hora antes de ser removido e chegou a ser baixado por diversos sistemas, incluindo o de uma empresa de segurança digital.

O terceiro incidente envolveu um modelo interno de pesquisa, que realizou varreduras em milhares de sistemas conectados à internet e comprometeu uma organização utilizando técnicas convencionais de invasão. Segundo a Anthropic, o modelo interrompeu a atividade assim que identificou que o alvo pertencia a uma empresa real.

Empresa afirma que modelos seguiram instruções dos testes

A Anthropic afirmou não haver qualquer evidência de que os modelos tenham tentado escapar deliberadamente do ambiente de testes, copiar a si próprios ou perseguir objetivos autônomos. De acordo com a companhia, todas as ações ocorreram porque os sistemas acreditavam estar executando instruções previstas nos exercícios de avaliação de segurança.

A empresa ressaltou ainda que os modelos envolvidos — Opus 4.7, Mythos 5 e um modelo experimental de pesquisa — operavam sem as camadas adicionais de proteção normalmente presentes nas versões públicas do Claude. Cada um apresentou um comportamento distinto diante do acesso a sistemas reais: enquanto o Opus 4.7 prosseguiu com a atividade, o Mythos 5 interpretou que ainda permanecia em uma simulação, e o modelo de pesquisa interrompeu a operação ao reconhecer que havia atingido um ambiente real.

Após identificar os incidentes, a Anthropic suspendeu temporariamente todas as avaliações de segurança cibernética, notificou as organizações afetadas e iniciou uma investigação em conjunto com a organização independente METR, especializada na avaliação de sistemas de inteligência artificial. A companhia informou ainda que está reforçando seus mecanismos de monitoramento, endurecendo os controles sobre os ambientes de teste e revisando seus procedimentos internos para evitar novas ocorrências.

Casos ampliam debate sobre segurança na avaliação de modelos de IA

Os episódios ocorrem em um momento de crescente preocupação com as capacidades de modelos avançados de inteligência artificial na área de segurança cibernética. Nos últimos dias, a OpenAI também relatou um incidente durante testes internos, no qual um agente de IA explorou uma vulnerabilidade de software para deixar um ambiente isolado de avaliação e acessar a infraestrutura da plataforma Hugging Face.

Embora os dois casos apresentem diferenças técnicas, a Anthropic destacou que seus modelos não exploraram vulnerabilidades inéditas, limitando-se a utilizar métodos comuns de invasão, como exploração de senhas fracas e serviços expostos na internet. A principal causa dos incidentes, segundo a empresa, foi a falha na configuração do ambiente de testes, que deveria permanecer completamente isolado.

Especialistas em segurança digital avaliam que os episódios reforçam a necessidade de padrões mais rigorosos para testes de inteligência artificial, incluindo ambientes de isolamento mais robustos, monitoramento contínuo e protocolos padronizados entre os principais laboratórios do setor. As divulgações também ampliam o debate sobre os riscos associados ao avanço das capacidades cibernéticas de modelos de IA e sobre a importância de controles técnicos capazes de impedir que falhas operacionais exponham sistemas reais durante avaliações experimentais.