Basalt a participé au projet national « Atténuation nationale des cybermenaces pilotées par l'IA ». Pendant six mois, autorités, défense, recherche et industrie ont travaillé ensemble pour renforcer la capacité de la Suède à faire face aux cybermenaces pilotées par l'IA. La contribution de Basalt a consisté à examiner ce que des modèles d'IA plus petits sont capables de faire pour détecter et exploiter des failles de sécurité.
Le projet a démarré au printemps dernier, peu après que le modèle d'IA Mythos a attiré l'attention pour sa capacité à détecter des vulnérabilités dans les logiciels. Le Centre national de cybersécurité (NCSC) a coordonné les travaux, AI Sweden a joué le rôle d'acteur fédérateur et Vinnova a financé le projet. Les participants ont mis leurs compétences à disposition pour une mission commune, indépendamment de ceux qu'ils représentent ou concurrencent habituellement.
Le Director of AI de Basalt, Krister Hedfors, a participé aux travaux visant à évaluer également les capacités de modèles de langage plus petits à la fois à détecter et à exploiter des failles de sécurité dans les logiciels. La question des modèles plus petits est importante car ils peuvent être téléchargés et exécutés localement, hors de portée des verrous que les grandes entreprises d'IA peuvent mettre en place.
– Mythos a été un point de données intéressant pour son époque, mais il n'existe pas de frontière nette entre les capacités de Mythos et celles de modèles d'IA plus petits pouvant fonctionner sur du matériel personnel. Même des modèles d'IA pouvant être exécutés sur des ordinateurs personnels identifient aujourd'hui des failles de sécurité plus rapidement et plus efficacement que la plupart des pirates informatiques humains. En revanche, il n'y a pas de ligne droite entre cela et le fait qu'ils s'échappent et piratent des ordinateurs sur internet. L'incident Hugging Face est survenu lorsque Open AI a fait fonctionner des milliers d'agents avec toutes les fonctions de sécurité désactivées, sans surveillance pendant des semaines d'affilée », déclare Krister Hedfors, Director of AI chez Basalt.
L'activité principale de Basalt consiste à aider les organisations qui traitent des informations sensibles sur le plan de la sécurité.
– Si l'on a des exigences de sécurité particulièrement élevées ou des modèles d'IA particulièrement puissants, il convient bien sûr d'aller plus loin en matière d'isolation et de protection des systèmes. Cela peut inclure la capacité à mettre en place des systèmes à air isolé (air gap) et une protection contre les signaux compromettants, où l'on s'appuie alors sur les lois de la physique en plus des logiciels et de la configuration, ce qui apporte naturellement une sécurité supplémentaire, déclare Krister.
Dans le brouhaha médiatique entourant les incidents liés à l'IA, il peut être difficile de distinguer les risques réels des exagérations. C'est précisément pour cette raison que des projets de collaboration comme celui-ci remplissent une fonction importante. Lorsque les autorités, la défense, la recherche et l'industrie mettent en commun leurs expériences, une image de la situation fondée sur des faits se dessine, démontrant qu'il est possible de mobiliser au-delà des frontières organisationnelles lorsque c'est nécessaire.
– La conclusion générale est que toutes les organisations doivent renforcer en continu leur cyberdéfense à l'aide de l'IA et de l'automatisation, tandis que les grands laboratoires d'IA doivent renforcer leur propre responsabilité en matière de cybersécurité au sens large. Mais il faut prendre les gros titres avec des pincettes. La part des cyberattaques menées par des agents IA reste jusqu'à présent infime, conclut Krister.
Plus d'informations
Pour en savoir plus sur le projet, consultez AI Sweden et le Centre national de cybersécurité.
Le contenu ci-dessus est publié par un tiers via Nordic Defence Sector et ne constitue pas un contenu éditorial de la rédaction de NDS.