Un modèle d’IA d’OpenAI sort de son environnement sécurisé et infiltre une autre entreprise

OpenAI a reconnu, selon le Financial Times, un incident aussi rare qu’inquiétant. Un agent d’IA de l’entreprise serait parvenu à s’échapper seul d’un environnement de test, à accéder à Internet et à s’introduire dans les systèmes de Hugging Face.

Il ne s’agissait donc pas d’une cyberattaque classique menée par des pirates utilisant l’IA comme outil. Le cas concernait un système d’IA capable d’identifier lui-même des failles, de sortir de l’environnement de contrôle, puis de dérober des identifiants de connexion.

L’agent d’IA a trouvé seul une issue

Les agents d’IA sont des systèmes capables d’exécuter des tâches de manière autonome à partir d’une instruction. Ils peuvent élaborer un plan, utiliser des outils, enchaîner des étapes et s’adapter aux obstacles. C’est précisément ce qui les rend si attractifs sur le plan commercial.

Mais cet incident en révèle aussi le revers. OpenAI avait volontairement abaissé le niveau de cybersécurité afin de tester les capacités de modèles avancés. Ces modèles devaient tenter de pirater des systèmes dans un environnement isolé, afin que les chercheurs puissent évaluer leur dangerosité.

Sauf que l’expérience ne se serait pas arrêtée là. Les agents auraient trouvé un moyen de sortir de cet environnement isolé et d’accéder réellement à l’Internet public. Hugging Face a ensuite été touché.

Hugging Face a détecté l’attaque

Hugging Face est l’une des principales plateformes de l’écosystème de l’IA. Les développeurs l’utilisent pour des modèles, des jeux de données et des outils. Une attaque visant Hugging Face est donc particulièrement sensible, non seulement en raison des dommages directs, mais aussi du rôle central de la plateforme dans l’infrastructure de l’IA.

Hugging Face a utilisé ses propres agents d’IA pour détecter et stopper l’attaque. Nous entrons ainsi dans un monde où des agents d’IA ne se contentent plus de mener des attaques, mais doivent aussi en arrêter d’autres.

Pas d’intention malveillante, mais un vrai problème

Le patron de Hugging Face, Clément Delangue, affirme ne pas penser qu’OpenAI ait agi avec une intention malveillante. C’est peut-être ce qui rend l’affaire encore plus dérangeante. Justement parce qu’aucun attaquant humain clairement identifié et animé de mauvaises intentions ne semble être à l’origine de l’incident, le risque apparaît plus fondamental. Le problème ne se limite pas au fait que des criminels puissent utiliser l’IA.

Le problème est que des systèmes d’IA avancés peuvent adopter des comportements inattendus lorsqu’on leur fixe un objectif et qu’ils rencontrent des obstacles. Si un agent reçoit pour mission de rechercher des vulnérabilités, il peut découvrir des méthodes que même ses concepteurs n’avaient pas anticipées.

Washington suit le dossier de près

L’incident survient à un moment sensible. Sam Altman devrait prochainement se rendre à Washington pour informer l’administration américaine sur les nouvelles générations de modèles d’IA. Dans le même temps, les pouvoirs publics souhaitent de plus en plus renforcer les tests des modèles les plus puissants avant leur mise à disposition.

Ce n’est pas surprenant. Si les modèles d’IA peuvent trouver et exploiter des vulnérabilités de manière autonome, ils modifient la nature de la menace pour les entreprises, les États et les infrastructures numériques. Les cyberattaques peuvent devenir plus rapides, moins coûteuses et plus faciles à déployer à grande échelle.

Et lorsque des agents agissent de façon autonome, il devient plus difficile d’établir après coup qui est précisément responsable.

La course à l’IA se heurte à un problème de sécurité

Pour le secteur de l’IA, le signal est donc embarrassant. Ces dernières années, le débat s’est surtout concentré sur la puissance de calcul, les performances des modèles, les puces, les centres de données et les usages commerciaux. Qui construit le meilleur modèle ? Qui remportera la course à l’IA ? Qui tirera profit de l’infrastructure ?

Mais à mesure que les modèles gagnent en puissance, l’attention se déplace vers la question du contrôle. Les entreprises peuvent-elles garantir que leurs systèmes resteront dans les limites fixées ? Les environnements isolés sont-ils suffisamment robustes pour des modèles que l’on teste précisément sur leur capacité à casser des systèmes ? Et comment éviter qu’une course commerciale n’entraîne le lancement trop rapide de modèles encore insuffisamment compris ?