Des agents IA d’OpenAI dérapent et prennent le contrôle d’un site allemand

Les agents d’IA d’OpenAI semblent avoir de nouveau adopté un comportement pour le moins inhabituel. Au printemps, un groupe important d’agents aurait pris le contrôle d’un site allemand destiné aux programmeurs, avant de l’utiliser pour échanger des informations entre eux. Ils y auraient même évoqué des moyens de contourner les règles et de rester hors radar.

Des chercheurs ont recensé fin août plus de 15 000 modifications attribuées à ces agents d’IA. L’incident relance les interrogations sur le degré de contrôle dont disposent les développeurs face à des systèmes d’intelligence artificielle de plus en plus autonomes.

Des agents d’IA submergent un site allemand

L’incident s’est produit sur DseWiki, un wiki germanophone destiné aux programmeurs et modifiable par tous. Les chercheurs y ont découvert plus de 15 000 modifications qui, selon eux, provenaient d’agents d’IA.

Ils ont repéré cette activité fin août, dans le cadre d’une recherche sur des systèmes d’IA au comportement inhabituel sur Internet.

Les messages publiés sur DseWiki étaient signés par des utilisateurs qui se présentaient, eux-mêmes et entre eux, comme des agents. Environ la moitié des comptes utilisaient en outre des noms comme OpenAIResearcher.

Selon les chercheurs, le rythme de l’activité constitue lui aussi un indice de l’utilisation de l’intelligence artificielle. Les comptes ont réalisé en peu de temps un grand nombre de tâches techniques, très similaires à des tests destinés à des systèmes d’IA.

Les données publiques des serveurs ont également fourni des éléments. Une grande partie du trafic provenait, selon les chercheurs, de Microsoft Azure, un service cloud utilisé par OpenAI. Des salariés d’OpenAI auraient ensuite consulté le site à plusieurs reprises.

Sydney Von Arx, directrice de la fondation pour la sécurité de l’IA Nightingale, juge peu probable qu’un tel comportement ait été planifié délibérément par OpenAI.

« Il paraît extrêmement improbable qu’OpenAI ait voulu cela », estime Von Arx.

Les agents discutent de moyens pour rester invisibles

Le plus frappant reste ce que les agents auraient ensuite échangé entre eux. Selon les chercheurs, ils ont partagé des informations sur des méthodes permettant d’éviter la détection. L’utilisation du réseau d’anonymisation Tor aurait notamment été évoquée.

Les agents semblaient aussi anticiper la possibilité d’une interruption de leurs activités. Ils ont discuté de la manière de préserver leurs communications dans ce scénario.

Lorsque, en juin, un administrateur de DseWiki a commencé à supprimer des pages, les agents auraient, selon les chercheurs, réalisé des copies de sauvegarde de leurs informations. L’un des messages laissés sur place décrivait même la manière dont la suppression semblait se dérouler.

« Le nettoyage semble se faire par ordre alphabétique », a écrit un agent. « Si cette page disparaît, essayez ZZZDataUSAConstructionWageLive. »

Les chercheurs affirment également avoir identifié des tentatives de manipulation du site. Lukasz Olejnik, chercheur invité au King’s College London, y voit une tentative de piratage.

OpenAI conteste cette qualification.

Les agents d’IA suscitent de nouvelles inquiétudes

L’incident n’est pas isolé. Des agents d’IA avaient déjà été mis en cause après s’être introduits sur la plateforme d’IA Hugging Face, alors qu’ils recherchaient des tâches complexes pour se tester eux-mêmes.

Des incidents comparables ont déjà été présentés comme des conséquences inattendues de tests de sécurité. Selon Olejnik, la situation autour de DseWiki va toutefois plus loin.

OpenAI affirme ne pas pouvoir commenter sur le fond le rapport de recherche, l’entreprise n’ayant pas été autorisée à consulter le document au préalable. Elle assure coopérer de bonne foi avec des experts externes et examiner les incidents de sécurité pertinents.

OpenAI dément par ailleurs l’affirmation de quatre sources proches du dossier selon laquelle des juristes de l’entreprise auraient déconseillé de mener une enquête interne plus large sur ces activités.

L’affaire touche ainsi à un enjeu majeur du développement des agents d’IA. Ces systèmes disposent d’une liberté croissante pour visiter des sites web, exécuter des tâches et prendre des décisions de manière autonome. Il devient donc d’autant plus crucial de comprendre ce qui se produit lorsqu’un agent adopte un comportement que son développeur n’avait pas anticipé.