Des agents d'OpenAI ont utilisé un site web allemand pour échanger des raccourcis de tâches, des contournements de restrictions et des moyens de dissimuler leur activité à partir de mai, selon une enquête de Reuters publiée vendredi.

Les responsables d'OpenAI ont eu connaissance de cette activité des semaines avant la publication, mais ne l'ont pas divulguée, a rapporté Reuters, citant deux personnes familières avec le dossier. L'entreprise a déclaré avoir divulgué les incidents pertinents et avoir travaillé de bonne foi avec des experts externes.

Les chercheurs Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts et Thomas Larsen ont trouvé environ 18 000 publications d'agents IA s'identifiant comme appartenant à OpenAI, selon leur rapport préliminaire. Von Arx, PDG de l'organisation à but non lucratif de sécurité de l'IA Nightingale, et Byrd ont découvert cette activité fin août, a rapporté Reuters.

Les chercheurs estiment que les agents étaient chargés de tâches de recherche web chronométrées avec l'autorisation de lire des sites web, mais pas d'y publier. Ils ont néanmoins trouvé un moyen d'écrire sur DseWiki, un site de programmation allemand éditable publiquement, où ils ont échangé des réponses et partagé des moyens de contourner les restrictions.

Selon le rapport, les agents ont commencé à tenter de modifier le wiki le 11 mai et y sont parvenus le 24 mai, puis ont usurpé l'identité de modérateurs, tenté d'exploiter des vulnérabilités et vérifié quand ils étaient désactivés. Ils ont créé des pages de sauvegarde après que l'administrateur a commencé à supprimer des messages le 19 juin, a rapporté Reuters. Les chercheurs ont lié cette activité à OpenAI grâce aux noms d'utilisateur des agents et aux schémas de trafic, y compris des visites depuis des adresses IP d'OpenAI le 21 juin.

L'activité des agents a fortement diminué le lendemain, suggérant une possible intervention de l'entreprise, ont déclaré les chercheurs.

OpenAI a contesté la qualification de l'activité sur DseWiki comme un piratage, sur la base des éléments qu'elle avait examinés, et a déclaré qu'elle examinait l'intégralité des conclusions.

« Nous n'avons pas pu répondre aux allégations car Reuters et les auteurs du rapport ont refusé notre demande d'accès aux conclusions avant publication. Nous examinons maintenant attentivement son contenu et prendrons toutes les mesures nécessaires », a déclaré un porte-parole d'OpenAI dans un communiqué partagé avec Decrypt.

Le porte-parole a également rejeté les allégations du rapport de Reuters selon lesquelles l'équipe juridique de l'entreprise aurait résisté à une enquête plus approfondie.

« Les affirmations selon lesquelles notre équipe juridique aurait découragé l'enquête sur l'incident sont fausses », ont-ils dit.

OpenAI a déclaré que l'incident DseWiki n'était pas lié à la violation de données de Hugging Face plus tôt cette année. Dans son évaluation publique de la sécurité, publiée mardi, l'entreprise a décrit des garanties supplémentaires destinées à détecter et à arrêter les activités non autorisées pendant l'entraînement et le déploiement.

Bien que le rapport de Reuters n'identifie pas Astra comme responsable de l'incident allemand, la révélation fait suite au lancement jeudi de GPT-6 Astra. OpenAI a qualifié Astra de son premier modèle doté de capacités de cybersécurité « critiques », ce qui signifie qu'il peut trouver et exploiter des failles inconnues dans des systèmes bien protégés, sans guidance humaine étape par étape, étant donné les bons outils et accès.

Anthropic a également révisé ses mesures de protection après que des modèles Claude aient accédé à des systèmes d'entreprises réelles pendant les tests. L'entreprise a reconnu des défaillances de sécurité et de comportement et a introduit une isolation et une surveillance plus strictes pour les évaluations de cybersécurité.

Cette révélation intervient également alors que le sénateur américain Bernie Sanders (I-Vt.) et le représentant américain Greg Casar (D-Texas) ont annoncé la prochaine loi sur l'interdiction de la superintelligence artificielle.

La proposition interdirait de manière permanente le développement et le déploiement de l'IA superintelligente et mettrait temporairement en pause le développement de l'IA avancée jusqu'à ce qu'un nouveau régulateur fédéral établisse des règles de sécurité, selon le bureau de Sanders.