Un modèle d’IA chinois repère une faille de test et triche sur GitHub

Un modèle d’IA du chinois Moonshot AI a eu, lors d’un test de cybersécurité, un comportement que les chercheurs n’avaient pas anticipé. Kimi K3 a découvert de lui-même qu’il pouvait accéder à Internet depuis son environnement de test isolé. Il s’est ensuite tourné vers GitHub pour y chercher les réponses qu’il était censé trouver par ses propres moyens.

Le plus frappant est que personne n’avait demandé au modèle de chercher une échappatoire. Kimi s’est simplement vu confier une série de tâches, a repéré une méthode plus simple pour les accomplir et l’a utilisée.

Kimi K3 découvre un accès à Internet

La société de sécurité Frontier Security testait les compétences de Kimi K3 en cybersécurité. Le modèle devait résoudre seul plusieurs exercices, avec une consigne explicite : ne pas chercher les réponses en ligne.

C’est pourtant exactement ce qui s’est produit.

Kimi a d’abord analysé l’environnement numérique dans lequel il fonctionnait. Il a alors constaté que GitHub était accessible, la plateforme sur laquelle les développeurs partagent des logiciels et du code informatique.

Le modèle s’est ensuite connecté à GitHub et a téléchargé les fichiers officiels du test. Ceux-ci contenaient les solutions des exercices que Kimi devait, en principe, résoudre lui-même.

Cette situation a été rendue possible par une faille dans l’environnement de test. Kimi tournait dans ce que l’on appelle une sandbox, un environnement numérique isolé qui doit normalement empêcher un logiciel de se connecter librement à des systèmes externes ou à l’Internet public.

Cette isolation s’est révélée imparfaite.

« Nous avons trouvé une faille dans la sandbox », a déclaré Yaron Singer, le directeur général de Frontier, à WIRED.

Il faut toutefois préciser que Kimi n’a pas piraté lui-même la sécurité pour sortir de son environnement. La connexion à Internet était déjà possible en raison de la faille. Ce qui retient l’attention, c’est que le modèle d’IA a découvert seul cette possibilité, puis l’a exploitée pour atteindre plus rapidement son objectif.

Le chercheur Paul Kassianik y voit une caractéristique importante du modèle. Selon lui, Kimi sait atteindre un objectif avec les moyens dont il dispose. Si des chemins indésirables ne sont pas correctement fermés, le modèle peut donc aussi les emprunter.

Un modèle d’IA public qui soulève des questions de sécurité

L’incident est d’autant plus notable que Kimi K3 est disponible publiquement au téléchargement. En principe, chacun peut l’utiliser sur ses propres systèmes.

Selon Frontier, cela le distingue de certains tests de sécurité menés précédemment avec des modèles d’IA d’OpenAI ou d’Anthropic, par exemple. Dans ces expériences contrôlées, les modèles recevaient parfois volontairement un accès à Internet ou certaines protections étaient désactivées.

Dans le cas de Kimi, l’accès à Internet n’était justement pas prévu.

Le modèle n’a toutefois causé aucun dommage pendant le test. Kimi n’a pas attaqué de systèmes informatiques externes et n’a pas non plus tenté de s’introduire dans d’autres services. Il n’en avait tout simplement pas besoin : les réponses qu’il cherchait se trouvaient déjà sur GitHub.

L’incident met néanmoins en lumière un autre problème. Les modèles d’IA sont souvent évalués à l’aide de benchmarks afin de mesurer leur capacité à accomplir certaines tâches. Mais un score élevé signifie peu si le modèle récupère les réponses ailleurs.

Sur le papier, un modèle d’IA peut donc afficher d’excellentes performances, alors qu’en réalité il a simplement trouvé un raccourci inattendu.

Selon Frontier, le même scénario pourrait se produire avec d’autres modèles d’IA avancés. Si un environnement de test donne par erreur accès à des informations externes, des modèles sophistiqués peuvent être capables de découvrir eux-mêmes comment en tirer parti.

La même capacité peut aussi aider à lutter contre les pirates

Le fait que Kimi ait choisi un chemin inattendu ne signifie pas, selon les chercheurs en sécurité, que le modèle avait de mauvaises intentions.

Matt Fredrikson, directeur général de la société de sécurité Gray Swan et professeur associé à l’université Carnegie Mellon, rappelle qu’un modèle d’IA cherche avant tout à atteindre l’objectif qui lui a été fixé. Si une voie plus simple est disponible et qu’elle n’est pas bloquée techniquement, le système peut décider de l’emprunter.

Cette question devient plus importante à mesure que les systèmes d’IA gagnent en autonomie. Les modèles peuvent désormais ouvrir des fichiers, utiliser des logiciels et exécuter des commandes informatiques. Certains systèmes obtiennent en outre un accès à Internet et à d’autres services.

Ces mêmes capacités peuvent toutefois se révéler utiles pour la cybersécurité. Lors des tests menés par Frontier, Kimi s’est montré performant pour détecter des vulnérabilités dans des logiciels et des réseaux informatiques.

La plateforme d’IA Hugging Face aurait même utilisé, lors d’un précédent incident de sécurité, un modèle d’IA chinois non identifié afin de l’aider à protéger ses propres systèmes.

Kimi K3 a été lancé en juillet et fait partie des plus grands modèles d’IA accessibles au public à ce jour. Après son lancement, il a suscité beaucoup d’attention et a rapidement été comparé à l’essor de DeepSeek.

L’épisode observé chez Frontier montre surtout à quel point il devient difficile de maintenir des systèmes d’IA de plus en plus performants dans des limites définies à l’avance. Un modèle n’a pas nécessairement besoin de vouloir franchir ces limites consciemment. Il suffit parfois qu’il découvre qu’une porte est restée ouverte.