« L’équilibre délicat que nous avons maintenu entre attaquants et défenseurs au cours des vingt dernières années touche probablement à sa fin »
Nicholas Carlini, chercheur en cybersécurité chez Anthropic, était l’invité de la conférence [Un]prompted, le 25 mars dernier.
L’intervention de Nicholas Carlini a marqué les esprits, à raison.
Pourquoi une telle mise en garde, maintenant ?
Parce que pour le chercheur, depuis 4 mois, « les modèles de langage peuvent, de manière autonome et sans infrastructure complexe, découvrir et exploiter des vulnérabilités « zero-day » dans des logiciels critiques. »
Le chercheur raconte ainsi comment il découvert, grâce à un LLM, une vulnérabilité critique sur le noyau Linux. Une faille zero-day, majeure, restée invisible aux yeux des meilleurs chercheurs depuis… 2003.
Pour Nicholas Carlini, ce phénomène est sans doute « l’événement le plus significatif en matière de sécurité depuis l’invention d’Internet. »
Et pour cause :
« Linux est l’un des logiciels les plus sécurisés au monde. Pourtant, nous avons trouvé plusieurs dépassements de tampon (buffer overflows) exploitables à distance. Je n’en avais jamais trouvé de ma vie ; c’est une tâche d’une difficulté extrême. Le modèle, lui, en a trouvé plusieurs. Il a même produit un schéma de flux expliquant comment l’attaque fonctionne, impliquant deux adversaires coopérant pour tromper le serveur. Ce bug que le modèle a débusqué datait de 2003. Le fait qu’une IA puisse identifier une erreur aussi subtile et ancienne me laisse sans voix. »
Aussi préoccupant, les « smart contrats » sont eux aussi vulnérables :
« Nous avons fait la même expérience avec les « smart contracts » financiers : les modèles récents peuvent identifier des failles et dérober plusieurs millions de dollars virtuels sur des contrats réels. »
La conclusion du chercheur mérite d’être méditée : si les LLM vont permettre de renforcer la cybersécurité collective à long terme, en permettant une revue de code critique à grande échelle, la période de transition va constituer un zone de danger inédite (qui préfigure une préfiguration de la transition post-quantique) :
« Vivre dans un monde où n’importe qui peut automatiser la découverte de failles que seuls un ou deux experts mondiaux auraient pu trouver auparavant est une perspective redoutable.
J’ai actuellement des centaines de rapports de crashs dans le noyau Linux que je n’ai pas encore eu le temps de valider. Bientôt, ce ne sera plus seulement moi qui aurai accès à ces failles, mais n’importe quelle personne malveillante.
La période de transition que nous vivons est critique. À long terme, les défenseurs gagneront peut-être — nous réécrirons tout en Rust, nous vérifierons formellement les protocoles. Mais le passage de l’ancien monde au nouveau sera périlleux. C’est comme la Révolution industrielle : c’était globalement une bonne chose, mais c’était une période très difficile pour ceux qui l’ont vécue. Notre mission est de faire en sorte que cette transition ne soit pas un désastre. »
