Basalt ha participado en el proyecto nacional «Mitigación nacional de ciberamenazas impulsadas por IA». Durante seis meses, autoridades, defensa, investigación y sector empresarial han trabajado conjuntamente para fortalecer la capacidad de Suecia para hacer frente a las ciberamenazas impulsadas por IA. La contribución de Basalt ha consistido en investigar la capacidad de los modelos de IA más pequeños para encontrar y explotar vulnerabilidades de seguridad.
El proyecto comenzó en primavera, poco después de que el modelo de IA Mythos llamara la atención por su capacidad para encontrar vulnerabilidades en software. El Centro Nacional de Ciberseguridad (NCSC) ha coordinado el trabajo, AI Sweden ha actuado como entidad aglutinadora y Vinnova lo ha financiado. Los participantes han puesto su competencia a disposición de una tarea común, independientemente de a quién representen o con quién compitan habitualmente.
El Director de IA de Basalt, Krister Hedfors, ha colaborado en el trabajo de evaluar también la capacidad de modelos de lenguaje más pequeños para encontrar y explotar vulnerabilidades de seguridad en software. La cuestión de los modelos más pequeños es importante porque pueden descargarse y ejecutarse localmente, fuera del alcance de las restricciones que puedan imponer las grandes empresas de IA.
– Mythos fue un dato interesante para su época, pero no existe una frontera nítida en capacidad entre Mythos y los modelos de IA más pequeños que pueden ejecutarse en hardware propio. Incluso los modelos de IA que pueden ejecutarse en ordenadores personales identifican hoy vulnerabilidades de seguridad de forma más rápida y eficaz que la mayoría de los hackers humanos. Sin embargo, no hay una línea recta que lleve de ahí a que escapen y hackeen ordenadores en internet. El incidente de Hugging Face surgió cuando OpenAI ejecutó miles de agentes con todas las funciones de seguridad desactivadas, sin supervisión durante semanas seguidas», afirma Krister Hedfors, Director de IA en Basalt.
La actividad principal de Basalt consiste en ayudar a organizaciones que gestionan información sensible desde el punto de vista de la seguridad.
– Si se tienen requisitos de seguridad especialmente elevados o modelos de IA especialmente potentes, conviene, por supuesto, ir algunos pasos más allá en cuanto a aislar y proteger los sistemas. Esto puede incluir la capacidad de establecer sistemas con air gap y protección contra señales reveladoras, donde entonces confiamos en las leyes de la física además del software y la configuración, lo que naturalmente proporciona una seguridad adicional, dice Krister.
En el ruido mediático en torno a los incidentes relacionados con la IA, puede resultar difícil distinguir los riesgos reales de las exageraciones. Precisamente por eso, proyectos de colaboración como este cumplen una función importante. Cuando autoridades, defensa, investigación y sector empresarial combinan sus experiencias, surge una visión objetiva de la situación, lo que demuestra que es posible movilizarse por encima de los límites sectoriales cuando es necesario.
– La conclusión conjunta es que todas las organizaciones necesitan fortalecer continuamente su ciberdefensa con ayuda de la IA y la automatización, al tiempo que los grandes laboratorios de IA necesitan reforzar su propia responsabilidad respecto a la ciberseguridad en general. Pero hay que tomarse los titulares con cautela. La proporción de ciberataques procedentes de agentes de IA es, hasta ahora, extremadamente pequeña, dice Krister.
Más información
Lea más sobre el proyecto en AI Sweden y Nationellt cybersäkerhetscenter.
El material anterior ha sido publicado por un tercero a través de Nordic Defence Sector y no constituye contenido editorial de la redacción de NDS.