Basalt medverkar i det nationella projektet ”Nationell mitigering av AI-drivna cyberhot”

Basalt har deltagit i det nationella projektet ”Nationell mitigering av AI-drivna cyberhot”. Under sex månader har myndigheter, försvar, forskning och näringsliv arbetat tillsammans för att stärka Sveriges förmåga att möta AI-drivna cyberhot. Basalts bidrag har varit att undersöka vad mindre AI-modeller klarar när det gäller att hitta och utnyttja säkerhetsbrister.

Projektet startade i våras, kort efter att AI-modellen Mythos uppmärksammats för sin förmåga att hitta sårbarheter i mjukvara. Nationellt cybersäkerhetscenter (NCSC) har koordinerat arbetet, AI Sweden har varit sammanhållande aktör och Vinnova har finansierat det. Deltagarna har ställt sin kompetens till förfogande för en gemensam uppgift, oavsett vilka de i vanliga fall representerar eller konkurrerar med.

Basalts Director of AI, Krister Hedfors, har medverkat i arbetet med att utvärdera även mindre språkmodellers förmågor att både hitta och utnyttja säkerhetsbrister i mjukvara. Frågan om mindre modeller är viktig eftersom de kan laddas ner och köras lokalt, utom räckhåll för de spärrar som de stora AI-bolagen kan sätta.

– Mythos var en intressant datapunkt för sin tid, men det finns ingen skarp gräns i förmåga mellan Mythos och mindre AI-modeller som kan köras på egen hårdvara. Även AI-modeller som kan köras på persondatorer identifierar i dag säkerhetsbrister snabbare och mer effektivt än de flesta mänskliga hackare. Däremot saknas en rät linje därifrån till att de rymmer iväg och hackar datorer på internet. Hugging Face-incidenten uppstod när Open AI körde tusentals agenter med samtliga säkerhetsfunktioner avstängda, oövervakade i veckor i sträck”, säger Krister Hedfors, Director of AI på Basalt.

Basalts kärnverksamhet handlar om att hjälpa verksamheter som hanterar säkerhetskänslig information.

– Om man har särskilt stora säkerhetskrav eller särskilt starka AI-modeller bör man förstås gå några steg längre när det gäller att isolera och skydda systemen. Det kan inbegripa förmågan att upprätta luftgapade system och skydd mot röjande signaler, där vi då förlitar oss på fysikens lagar utöver mjukvaror och konfiguration, vilket naturligtvis ger en ytterligare trygghet. säger Krister.

I mediebruset kring AI-relaterade incidenter kan det vara svårt att skilja verkliga risker från överdrifter. Just därför fyller samverkansprojekt som detta en viktig funktion. När myndigheter, försvar, forskning och näringsliv lägger samman sina erfarenheter växer en saklig lägesbild fram, vilket visar att det går att mobilisera över verksamhetsgränser när det behövs.

– Den sammanvägda slutsatsen är att samtliga organisationer löpande behöver stärka sitt cyberförsvar med hjälp av AI och automation, samtidigt som de stora AI-labben behöver stärka sitt eget ansvarstagande för cybersäkerhet i stort. Men ta rubrikerna med en nypa salt. Andelen hackerattacker från AI-agenter är hittills försvinnande liten, säger Krister.

Mer information

Läs mer om projektet hos AI Sweden och Nationellt cybersäkerhetscenter.