Le modèle Gemini de Google a accédé à des systèmes protégés appartenant à trois entités lors d’un test de ses capacités en cybersécurité mené en mai, dans ce qui constitue le premier cas connu où l’un des systèmes d’intelligence artificielle de l’entreprise a effectué de manière autonome des opérations de piratage de ce type. L’incident s’est produit pendant une évaluation de sécurité de routine menée par Irregular, une entreprise indépendante spécialisée dans les évaluations de cybersécurité.
Gemini devine les identifiants de trois sites
La vice-présidente de Google chargée de l’ingénierie de la sécurité, Heather Adkins, a déclaré que Gemini avait trouvé des informations accessibles au public sur Internet, puis deviné des identifiants pour se connecter à trois sites web qu’il pensait inclus dans le périmètre autorisé du test. Elle a précisé que le modèle avait cessé de poursuivre le piratage dans les trois cas.
Dans l’un des cas, Gemini a continué à deviner des mots de passe jusqu’à parvenir à accéder à un système protégé. Dans les deux autres cas, le modèle a trouvé des identifiants qui lui ont ensuite permis d’accéder à deux systèmes protégés. Le Wall Street Journal a été le premier à révéler les détails de l’incident vendredi. Adkins a ajouté que Google avait informé les trois entités de ce qui s’était produit et travaillé avec son partenaire de formation à l’introduction de changements dans les procédures de test.
Google met en garde contre les risques des outils d’accès
Elle a estimé que ces incidents soulignaient l’importance de former les modèles d’intelligence artificielle puissants à agir de manière responsable, notamment lorsqu’ils disposent d’outils leur permettant d’accéder à Internet et aux systèmes informatiques. De son côté, un porte-parole d’Irregular a déclaré que l’incident relevait du même problème que celui ayant affecté d’autres laboratoires actifs dans le domaine de l’intelligence artificielle.
Il a ajouté que tous les laboratoires concernés avaient été informés du problème fin juillet, environ deux mois après le test auquel Gemini avait participé. Meta, Anthropic et OpenAI ont également fait état d’incidents similaires liés à des tests menés par Irregular. Meta a déclaré en août que son incident n’avait pas impliqué le piratage d’un environnement isolé et ne constituait pas non plus une cyberattaque sophistiquée.
Irregular a déclaré travailler à l’élaboration des bonnes pratiques nécessaires pour mener en toute sécurité des évaluations de cybersécurité de systèmes d’intelligence artificielle. Ces incidents relancent la question des garanties nécessaires alors que les agents d’intelligence artificielle gagnent en autonomie et développent leur capacité à utiliser Internet et à accéder aux systèmes informatiques.
