Basalt ha partecipato al progetto nazionale "Mitigazione nazionale delle minacce informatiche basate sull'IA". Per sei mesi, autorità, difesa, ricerca e settore industriale hanno lavorato insieme per rafforzare la capacità della Svezia di affrontare le minacce informatiche basate sull'IA. Il contributo di Basalt è consistito nell'indagare cosa sono in grado di fare i modelli di IA più piccoli nel trovare e sfruttare vulnerabilità di sicurezza.
Il progetto è iniziato in primavera, poco dopo che il modello di IA Mythos aveva attirato l'attenzione per la sua capacità di individuare vulnerabilità nel software. Il Centro nazionale per la cybersicurezza (NCSC) ha coordinato il lavoro, AI Sweden è stato l'attore coordinatore e Vinnova lo ha finanziato. I partecipanti hanno messo a disposizione le proprie competenze per un obiettivo comune, indipendentemente da chi normalmente rappresentano o con chi normalmente competono.
Il Director of AI di Basalt, Krister Hedfors, ha contribuito al lavoro di valutazione delle capacità anche dei modelli linguistici più piccoli, sia nel trovare sia nello sfruttare vulnerabilità di sicurezza nel software. La questione dei modelli più piccoli è importante poiché possono essere scaricati ed eseguiti localmente, fuori dalla portata dei limiti che le grandi aziende di IA possono imporre.
– Mythos è stato un punto di dati interessante per il suo tempo, ma non esiste un confine netto in termini di capacità tra Mythos e i modelli di IA più piccoli che possono essere eseguiti su hardware proprio. Anche i modelli di IA che possono essere eseguiti su computer personali oggi identificano vulnerabilità di sicurezza più velocemente e in modo più efficace della maggior parte degli hacker umani. Manca invece una linea diretta che porti da lì al fatto che questi modelli sfuggano al controllo e inizino a violare computer su internet. L'incidente di Hugging Face si è verificato quando Open AI ha eseguito migliaia di agenti con tutte le funzioni di sicurezza disattivate, senza supervisione per settimane di fila”, afferma Krister Hedfors, Director of AI presso Basalt.
L'attività principale di Basalt consiste nell'aiutare organizzazioni che gestiscono informazioni sensibili dal punto di vista della sicurezza.
– Se si hanno requisiti di sicurezza particolarmente elevati o modelli di IA particolarmente potenti, è ovviamente opportuno fare qualche passo in più per isolare e proteggere i sistemi. Ciò può includere la capacità di istituire sistemi air-gapped e protezioni contro segnali compromettenti, dove ci si affida alle leggi della fisica oltre che a software e configurazioni, il che naturalmente offre una sicurezza ulteriore, afferma Krister.
Nel clamore mediatico attorno agli incidenti legati all'IA, può essere difficile distinguere i rischi reali dalle esagerazioni. Proprio per questo, progetti di collaborazione come questo svolgono una funzione importante. Quando autorità, difesa, ricerca e settore industriale mettono insieme le proprie esperienze, emerge un quadro oggettivo della situazione, il che dimostra che è possibile mobilitarsi oltre i confini organizzativi quando necessario.
– La conclusione complessiva è che tutte le organizzazioni devono rafforzare continuamente la propria difesa informatica con l'aiuto dell'IA e dell'automazione, mentre i grandi laboratori di IA devono rafforzare la propria responsabilità in materia di cybersicurezza in generale. Ma bisogna prendere i titoli dei giornali con le pinze. La percentuale di attacchi hacker da parte di agenti IA è finora estremamente ridotta, afferma Krister.
Maggiori informazioni
Per saperne di più sul progetto, visita AI Sweden e Centro nazionale per la cybersicurezza.
Il materiale sopra riportato è pubblicato da terzi tramite Nordic Defence Sector e non costituisce contenuto editoriale della redazione di NDS.