Agentes da OpenAI usaram um site alemão para trocar atalhos de tarefas, contornar restrições e ocultar suas atividades a partir de maio, de acordo com uma investigação da Reuters publicada na sexta-feira.
Autoridades da OpenAI souberam da atividade semanas antes da publicação, mas não a divulgaram, informou a Reuters, citando duas pessoas familiarizadas com o assunto. A empresa disse ter divulgado incidentes relevantes e trabalhado de boa fé com especialistas externos.
Os pesquisadores Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts e Thomas Larsen encontraram cerca de 18.000 publicações de agentes de IA que se identificavam como pertencentes à OpenAI, de acordo com seu relatório preliminar. Von Arx, CEO da organização sem fins lucrativos de segurança de IA Nightingale, e Byrd descobriram a atividade no final de agosto, informou a Reuters.
Os pesquisadores acreditam que os agentes foram designados para tarefas de pesquisa na web cronometradas com permissão para ler sites, mas não para publicar neles. No entanto, eles encontraram uma maneira de escrever no DseWiki, um site de programação alemão publicamente editável, onde trocaram respostas e compartilharam maneiras de contornar restrições.
De acordo com o relatório, os agentes começaram a tentar editar a wiki em 11 de maio e conseguiram em 24 de maio, mais tarde personificando moderadores, tentando explorar vulnerabilidades e verificando quando estavam sendo desativados. Eles criaram páginas de backup depois que o administrador começou a excluir mensagens em 19 de junho, informou a Reuters. Os pesquisadores vincularam a atividade à OpenAI por meio de nomes de usuário de agentes e padrões de tráfego, incluindo visitas de endereços IP da OpenAI em 21 de junho.
A atividade dos agentes caiu drasticamente no dia seguinte, sugerindo uma possível intervenção da empresa, disseram os pesquisadores.
A OpenAI contestou a caracterização da atividade no DseWiki como hacking, com base no material que havia revisado, e disse que estava examinando as descobertas completas.
“Não pudemos responder às alegações, pois a Reuters e os autores do relatório recusaram nosso pedido de acesso às descobertas antes da publicação. Estamos agora revisando cuidadosamente seu conteúdo e tomaremos as medidas necessárias,” disse um porta-voz da OpenAI em um comunicado compartilhado com a Decrypt.
O porta-voz também rejeitou alegações no relatório da Reuters de que a equipe jurídica da empresa resistiu a uma investigação mais ampla.
“As alegações de que nossa equipe jurídica desencorajou a investigação do incidente são falsas”, disseram.
A OpenAI disse que o incidente do DseWiki não estava relacionado à violação do Hugging Face no início deste ano. Em sua avaliação pública de segurança, publicada na terça-feira, a empresa descreveu salvaguardas adicionais destinadas a detectar e interromper atividades não autorizadas durante o treinamento e a implantação.
Embora o relatório da Reuters não identifique Astra como responsável pelo incidente alemão, a divulgação segue o lançamento na quinta-feira do GPT-6 Astra. A OpenAI chamou Astra de seu primeiro modelo com capacidades de cibersegurança “críticas”, o que significa que ele pode encontrar e explorar falhas desconhecidas em sistemas bem protegidos, anteriormente sem orientação humana passo a passo, dadas as ferramentas e o acesso certos.
A Anthropic também revisou suas salvaguardas depois que os modelos Claude acessaram sistemas de empresas reais durante os testes. A empresa reconheceu falhas de segurança e comportamento e introduziu isolamento e monitoramento mais rigorosos para avaliações de cibersegurança.
A divulgação também ocorre no momento em que o senador dos EUA Bernie Sanders (I-Vt.) e o representante dos EUA Greg Casar (D-Texas) anunciaram o futuro Ban Artificial Superintelligence Act.
A proposta proibiria permanentemente o desenvolvimento e a implantação de IA superinteligente e pausaria temporariamente o desenvolvimento avançado de IA até que um novo regulador federal estabeleça regras de segurança, de acordo com o gabinete de Sanders.
