Claude d’Anthropic accède sans autorisation aux systèmes de trois entreprises

Anthropic a révélé que trois de ses modèles d’IA Claude avaient obtenu, lors de tests de sécurité, un accès non autorisé aux systèmes de trois organisations distinctes. Ces incidents ont été mis au jour à la suite d’une enquête interne.

Cette enquête a été lancée après un incident comparable chez OpenAI. Selon Anthropic, les modèles n’étaient jamais censés interagir avec de vrais systèmes. L’environnement de test disposait pourtant d’un accès à Internet.

L’IA Claude a accédé par surprise à de vrais systèmes

Les incidents se sont produits lors de tests de cybersécurité menés par Anthropic avec Irregular, un partenaire externe spécialisé dans ce type d’évaluations. Les modèles d’IA avaient été informés qu’ils évoluaient dans une simulation fermée, sans accès à Internet.

Mais en raison d’un malentendu entre Anthropic et son partenaire de test, l’environnement était bel et bien connecté au Web. Les modèles ont ainsi pu se connecter aux systèmes de trois organisations qui n’ont pas été identifiées.

Selon Anthropic, les modèles ont utilisé des techniques d’intrusion relativement simples, notamment en ciblant des points d’accès non sécurisés et en exploitant des mots de passe faibles. L’entreprise souligne que les organisations concernées ne sont pas nommées.

Anthropic affirme assumer l’entière responsabilité de ces incidents, même si plusieurs facteurs ont contribué aux erreurs commises dans la configuration des tests.

L’incident d’OpenAI a déclenché l’enquête

L’enquête interne a débuté après qu’OpenAI a indiqué, la semaine dernière, qu’une combinaison de modèles d’IA était parvenue à sortir d’un environnement de test isolé. Ces modèles ont exploité une série de vulnérabilités pour accéder à l’Internet ouvert. Ils ont finalement pu atteindre des comptes sur la plateforme de développement Hugging Face.

À la suite de cet épisode, Anthropic a décidé de réexaminer l’ensemble de ses précédents tests de cybersécurité. Dès qu’il est apparu que Claude avait pu obtenir un accès non autorisé à Internet, toutes les évaluations en cours ont été immédiatement suspendues.

L’entreprise travaille désormais avec l’organisme de recherche METR afin d’approfondir l’analyse des événements. Elle appelle également les autres laboratoires d’IA à mener des contrôles similaires.

Tous les modèles d’IA n’ont pas réagi de la même manière

Trois modèles étaient impliqués dans ces incidents : Opus 4.7, Mythos 5 et un modèle de recherche interne.

Leurs réactions ont nettement divergé. Opus 4.7 a poursuivi l’attaque après avoir atteint de vrais systèmes. Mythos 5 est resté convaincu qu’il opérait toujours dans une simulation. Le modèle de recherche interne a, au contraire, décidé de mettre immédiatement fin au test.

Selon Anthropic, ces différences semblent indiquer que les modèles les plus avancés sont davantage capables d’adopter un comportement approprié. L’entreprise insiste toutefois sur la nécessité de recherches supplémentaires.

Les modèles concernés fonctionnaient en outre sans les mesures de sécurité habituelles qu’Anthropic applique avant de rendre un modèle d’IA accessible au public.

Ces révélations renforcent les inquiétudes autour de la progression rapide des capacités cyber des systèmes d’IA avancés. Après le récent incident chez OpenAI, deux élus du Congrès américain ont déjà déposé une proposition de loi visant à rendre obligatoire un « AI Kill Switch ». Ce dispositif permettrait aux entreprises d’IA de désactiver ou de limiter leurs modèles en situation d’urgence.