IA agentica: i modelli di sicurezza tradizionali non bastano più. Serve cambiare approccio. Il punto di vista di Reply

ChatGPT è stato reso disponibile a fine 2022 e in brevissimo tempo ha dato un gigantesco scossone al mercato, spingendo tutti i big del settore tech a inseguire OpenAI per non rimanere indietro. L'IA generativa, però, non è più una novità e la parola d'ordine del momento è Agentic AI, l'IA basata su agenti in grado di svolgere compiti con diversi gradi di autonomia, di effettuare un ragionamento e di percepire il contesto in cui agiscono.

Un passaggio epocale, che può dare una spinta enorme alla produttività personale e aziendale. Ma non privo di rischi: chi controlla questi agenti di IA? Come possiamo essere sicuri che le loro azioni seguano i principi di etica, correttezza e inclusività? Per capirne di più, ne abbiamo parlato con Reply, multinazionale italiana specializzata nella progettazione e nella realizzazione di soluzioni basate sui nuovi canali di comunicazione e media digitali che, tramite la sua società Spike Reply, specializzata in cybersecurity e nella gestione dei rischi legati alle tecnologie, ha realizzato un framework per la sicurezza e la governance dei sistemi di IA.

“Noi ci occupiamo di più di vent’anni di sviluppare framework di gestione e controllo dei rischi legati alle tecnologie ma con l’avvento dell’Intelligenza Artificiale – e in particolare degli agenti autonomi – la sfida si è fatta più complessa che mai”, afferma Sonia Crucitti, Partner di Spike Reply. "Per costruire il nostro framework abbiamo messo intorno allo stesso tavolo esperti di normative, risk management, cybersecurity e data governance: solo integrando queste competenze possiamo presidiare una superficie di rischio oggi più ampia e articolata che mai. Senza un solido framework di governo dei rischi non è possibile passare dall’adozione sperimentale all’industrializzazione dell’AI. La capacità di standardizzare processi, misurare l’esposizione e implementare controlli continui è ciò che a nostro avviso trasforma l’intelligenza artificiale da promessa di laboratorio a leva operativa, scalabile e sicura per il business".

Sicurezza, privacy e governance nell'era dell'agentic AI

Laura Bertalero, Senior manager di Spike Reply, non ha dubbi: con l'arrivo dell'IA basata su agenti, "la classica security by design non è sufficiente. Bisogna passare ad una compliance and security by design". In pratica, iniziare a pensare già da subito, durante le fasi di sviluppo degli agenti, a come proteggerli. Non solo dal punto di vista di possibili attacchi informatici e manipolazioni, ma anche - e soprattutto - sotto il profilo della governance e dall'accountability, cioè di chi ha la responsabilità di garantire che gli agenti agiscano in maniera etica.

Per questo "il modello di security stesso deve poter monitorare delle deviazioni comportamentali nel tempo".  In pratica, significa che bisognerà verificare costantemente che i sistemi di IA lavorino correttamente e in maniera affidabile. Al contrario dei tradizionali software, infatti, le IA cambiano, mutano comportamento, e non basta limitarsi a cercare e risolvere i bug per garantire che si comportino come previsto.

Abbiamo già degli esempi pratici di come col tempo le IA possono fare errori, anche disastrosi, se non adeguatamente realizzate. "Degli agenti di IA hanno recentemente cancellato un database di produzione", afferma Giovanni Ferraris, senior advisor di Spike Reply. Il riferimento è al caso Replit, di cui abbiamo parlato qui. Sin qui, si potrebbe trattare di un comune, per quanto gravissimo, errore anche umano: aver consentito all’agente IA l’accesso in produzione senza un adeguato controllo non è corretto. Ma la novità è che dopo l'incidente, l'IA responsabile ha cercato di giustificarsi, adducendo una serie di scuse invece di ammettere l'errore. Per questo è necessario prevedere "meccanismi di presidio particolarmente potenti", dice Ferraris.

L'IA Act europeo? Una corretta misura di controllo, secondo Spike Reply

Secondo Bertalero, questi incidenti possono essere agevolati da un minore controllo, come può avvenire oltreoceano per una minore presenza di norme stringenti sullo sviluppo e l'utilizzo di sistemi di IA. Da noi, invece, sono già in vigore diverse normative, tra cui l'AI Act, che è un regolamento "più che corretto" in presenza di ambienti che possano mettere a rischio i diritti fondamentali dell’uomo, dice Bertalero che aggiunge che, applicando correttamente le normative esistenti che richiedono l’adozione di modelli di controllo del rischio, "gli agenti possono essere controllati". Anche perché, al momento, gli agenti attuali non prendono ancora decisioni, che sono saldamente nelle mani delle persone.  

Quattro i principi chiave per la governance dell'IA: 

• Fairness (equità): Assicurare che i sistemi di IA operino in modo equo e imparziale, evitando discriminazioni.
• Accountability (responsabilità): Stabilire chi è responsabile delle azioni e delle decisioni dell'IA, con una forte enfasi sull'intervento umano (Human in the Loop).
• Transparency (trasparenza): Rendere chiari i processi decisionali dei sistemi di IA.
• Explainability (spiegabilità): Essere in grado di spiegare come e perché un sistema di IA è arrivato a una determinata conclusione o azione.

Non sono le uniche aree cruciali e secondo Bertalero è necessario concentrare l'attenzione anche su ulteriori aspetti: data governance e cybersecurity, in primis, che nel mondo dell'IA prendono un'accezione diversa e quindi devono essere declinate con nuovi processi e nuovi strumenti. Ed è fondamentale focalizzarsi anche su contestability e redress (contestabilità e possibilità di risarcimento), cioè bisogna garantire il controllo delle decisioni prese dall'IA e dei dati che essa tratta, per poter valutare opportunamente eventuali richieste di risarcimento, come previsto dalle normative a protezione di consumatori e utilizzatori.

Nel panorama in rapida evoluzione degli agenti di IA, si stanno sviluppando nuovi standard e protocolli, quali il Model Context Protocol (MCP) che si presenta come uno standard di comunicazione fondamentale, spesso citato nell'ambito dei protocolli Agent to Agent. Questi standard devono essere adottati secondo appropriati schemi di protezione, per evitare  possibili vulnerabilità, quali quella denominata Identity Mesh. Questa vulnerabilità si manifesta nella propagazione automatica dell'identità tra gli agenti e i tool che essi invocano. In altre parole, il protocollo MCP, nella sua implementazione di base, non prevede controlli rigorosi sull'identità e deve quindi essere affiancato a specifiche tecniche di protezione. Senza l’applicazione di queste protezioni,  il rischio è che l’identità di un agente  autorizzato a chiamare uno strumento, possa essere propagata senza verifiche adeguate, creando un potenziale punto debole. L'impatto di questa falla è notevole: il 92% degli scenari in produzione che utilizzano questo protocollo è attualmente a rischio a causa della vulnerabilità Identity Mesh. Questo sottolinea un punto critico: pur essendo uno standard, l'utilizzo "out-of-the-box" di MCP, senza l'adozione delle dovute precauzioni e delle necessarie cautele nella gestione delle identità degli agenti, espone le aziende a rischi significativi.

Il problema dell'identità degli agenti

La gestione dell'identità per gli agenti di IA è una sfida complessa che richiede un approccio innovativo per l'autenticazione e l'autorizzazione di tutti i componenti coinvolti: agenti, sub-agenti e strumenti. Ogni agente deve avere un'identità digitale univoca, tracciabile e verificabile, con autorizzazioni limitate per scopo e tempo. A questo scopo si possono usare tecnologie già esistenti, come la blockchain, la PKI e i certificati. Ma stanno anche emergendo nuove soluzioni per rilevare e assegnare automaticamente identità digitali a tutti gli agenti che interagiscono, specialmente nelle comunicazioni agente-agente e nelle chiamate a strumenti esterni.

È fondamentale essere cauti, come dimostrato da una vulnerabilità di MCP, che propaga automaticamente l'identità e può mettere a rischio gli scenari di produzione. L'obiettivo è prevenire situazioni in cui un agente si impersonifica in un altro per manipolare operazioni o ottenere informazioni, simile a un attacco "man in the middle" nel mondo umano. In questo contesto, il principio Zero Trust Network Access (ZTNA), che si basa su "non fidarsi di nessuno e verificare tutto", può venire applicato anche al mondo degli agenti, così da ridurre i rischi.

In definitiva, l'IA basata su agenti sta rapidamente trasformando il modo di lavorare delle persone, aiutandole a essere più produttive, ma non è esente da rischi. Le aziende sono chiamate non solo a proteggere i sistemi di IA come già fanno con le loro infrastrutture IT e OT, ma dovranno anche garantire che i loro modelli operino secondo standard etici e conformi alle norme. Sotto questo profilo, le normative europee, tra cui l'AI Act, sono secondo Spike Reply uno strumento importantissimo, dato che mettono nero su bianco quali sono le responsabilità di chi sviluppa e utilizza le IA, oltre a indicare una serie di best practice fondamentale per l'intero settore.  

Il framework sviluppato da Spike Reply, supporta le aziende in questo percorso, integrando i processi e gli strumenti più adeguati nel ciclo di vita dell’IA, aiutando così ad accelerarne l’adozione.