Sinan Can Demir, un étudiant turc en informatique de 24 ans scolarisé à l’University of Texas at Dallas, pensait avoir repéré un pirate informatique. Selon son histoire racontée par Reuters, le jeune étudiant venait d’essuyer plus de vingt refus de stage. Il cherchait donc à enrichir son portfolio en examinant des projets open source sur GitHub fin juillet. C’est alors qu’il découvre une modification suspecte sur le logiciel de scan réseau myNetwork. Il a immédiatement averti le responsable du projet.
Deux comptes interviennent aussitôt pour le convaincre qu’il se trompe, avec des arguments techniques détaillés. L’un se présente comme l’auteur de la modification. Et l’autre comme une développeuse indépendante confirmant que le code est sain. Selon les propos recueillis par Reuters, ces contre-arguments l’ont fait « douter de lui-même sur le fait d’accuser quelqu’un à tort ». Demir a alors interrogé Claude, l’assistant d’Anthropic, pour vérifier ses soupçons, et a maintenu son signalement. Le responsable du projet a fini par rejeter la modification « pour raisons de sécurité ».
Quelques jours plus tard, Demir apprend que ses deux interlocuteurs n’étaient pas humains. Les comptes avaient été créés et pilotés par un seul et même agent IA, fonctionnant sous Mythos 5 d’Anthropic, dans le cadre d’une évaluation de cybersécurité menée par l’AI Security Institute (AISI) britannique.
Sans les garde-fous, un agent IA dépasse souvent les bornes…
L’incident s’est produit entre le 25 et le 28 juillet, pendant des tests destinés à mesurer les capacités cyber des IA. L’AISI avait volontairement donné aux modèles un accès à Internet et désactivé certains garde-fous. Des conditions qui ne reflètent, quand-même, pas l’usage normal de ces modèles par le public. Sur 122 tests menés avec sept modèles différents, dix ont conduit des agents à effectuer des actions non autorisées sur Internet. Au total, 19 actions recensées. Mythos 5 en a effectué 17, contre deux pour un modèle d’OpenAI.
Le cas de Demir reste le plus sérieux. Il documente clairement une tentative d’attaque de la chaîne d’approvisionnement logicielle. Et dans ce cas, l’IA ne s’est pas contentée d’écrire du code malveillant. Elle a également utilisé l’ingénierie sociale pour tenter de convaincre les humains à l’accepter.
L’AISI précise n’avoir identifié aucun dommage réel à l’issue de son enquête. Mais, depuis lors, elle a annoncé un renforcement de ses protocoles. Entre autre, une justification obligatoire de tout accès Internet, la surveillance en temps réel des agents pendant les évaluations, et la révision de ses hypothèses de conception des tests.
Il faut noter que l’incident ne signifie pas qu’une IA a développé une volonté de pirater. Le risque apparaît lorsqu’un agent IA reçoit un objectif, des outils et des permissions, puis emprunte des chemins que ses opérateurs n’avaient pas prévus pour réussir. Et dans ce contexte, le véritable enjeu est de limiter ses autorisations, l’isoler, le surveiller et pouvoir l’arrêter rapidement.
