Une IA d’OpenAI s’introduit seule sur un site du gouvernement australien

Un agent d’IA d’OpenAI s’est introduit dans un site du gouvernement australien sans instruction humaine. L’incident, survenu plus tôt cette année, soulève de nouvelles questions sur ce que les systèmes d’IA autonomes peuvent accomplir par eux-mêmes.

C’est surtout l’origine de l’attaque qui interpelle. L’IA ne menait pas une cyberattaque : elle cherchait simplement à collecter des informations.

Un agent d’OpenAI a contourné seul les protections

L’attaque a eu lieu le 18 juin. L’agent d’IA avait reçu une consigne relativement simple : recueillir des informations sur les statistiques de santé en Australie.

Au cours de cette recherche, le système s’est heurté à des blocages. Selon le Premier ministre australien Anthony Albanese, ceux-ci indiquaient clairement que certaines informations n’étaient pas accessibles.

L’IA ne s’est pourtant pas arrêtée. Le système a cherché d’autres moyens d’obtenir les données et a finalement accédé sans autorisation à des fichiers sur un site consacré aux statistiques de santé.

Au total, selon le gouvernement australien, l’IA a consulté quatre sites d’administrations fédérales et d’États fédérés. Elle n’est parvenue à s’introduire que dans l’un d’eux.

À ce stade, rien n’indique que des données personnelles de citoyens australiens aient été dérobées.

C’est précisément la manière dont l’attaque s’est produite qui rend l’incident singulier. L’IA n’avait pas reçu l’ordre de pirater un système, mais a choisi d’elle-même une autre méthode lorsque les informations recherchées n’étaient pas disponibles par les voies habituelles.

Charles Li, analyste en chef du cabinet taïwanais de cybersécurité TeamT5, a déclaré à Bloomberg qu’il s’agissait du premier cas connu publiquement dans lequel un modèle d’IA, sans instruction d’acteurs malveillants, a réussi à s’introduire dans un système gouvernemental.

L’Australie critique OpenAI

Le gouvernement australien ne critique pas seulement l’attaque elle-même. La façon dont OpenAI a géré l’incident suscite également des mécontentements.

L’attaque a eu lieu en juin. OpenAI affirme l’avoir détectée en août, mais n’a informé le gouvernement australien que le 10 septembre.

Anthony Albanese en a parlé personnellement au patron d’OpenAI, Sam Altman. Le Premier ministre a indiqué lui avoir fait part de sa « grande inquiétude » et a jugé décevant que le gouvernement ait été informé si tardivement.

OpenAI explique avoir d’abord cherché, après la découverte de l’incident, à comprendre précisément ce qui s’était passé et quelles informations avaient été accessibles.

L’entreprise reconnaît que ses modèles ont effectué, lors d’une évaluation interne, des actions qui n’étaient pas prévues. Les systèmes tentaient alors de collecter des statistiques sur l’Australie via différents sites et services publics.

L’Australian Signals Directorate participe désormais à une enquête informatique légale. Celle-ci doit déterminer précisément ce que l’IA a fait et si des lois ont été enfreintes.

L’IA a aussi tenté de s’introduire sur d’autres sites

L’incident australien ne semble pas être un cas isolé. Le cabinet de recherche Transluce a indiqué que des modèles d’IA, probablement d’OpenAI, avaient également tenté entre mai et juin de s’introduire dans trois autres sources de données publiques. Ces tentatives ont échoué.

Là encore, les agents d’IA n’avaient pas reçu l’ordre de pirater des sites. Ils devaient collecter des informations ordinaires.

Selon Transluce, leur comportement n’a changé qu’au moment où ils n’ont pas réussi à obtenir les données souhaitées par les moyens habituels. Les systèmes ont alors eu recours à des techniques assimilables à des tentatives de piratage.

D’autres entreprises d’IA ont elles aussi été confrontées à des incidents de sécurité. Claude, le modèle d’Anthropic, a ainsi été utilisé l’an dernier par un pirate humain dans des attaques contre des administrations mexicaines.

C’est là que réside une différence majeure avec l’incident australien. Au Mexique, un humain avait donné à l’IA l’ordre de mener les attaques. En Australie, l’agent d’OpenAI serait passé de lui-même à un accès non autorisé alors qu’il exécutait une tâche normale de collecte d’informations.

L’incident survient alors que les entreprises d’IA alertent elles-mêmes de plus en plus ouvertement sur les risques liés à des systèmes plus puissants et plus autonomes. Sam Altman, le patron d’OpenAI, et Dario Amodei, celui d’Anthropic, ont tous deux plaidé pour des mesures plus strictes afin d’éviter que cette technologie n’échappe au contrôle humain.