Più visibilità e sicurezza per i sistemi di IA con F5 AI Gateway

L'IA sa entrando rapidamente nei processi di aziende di ogni dimensione e settore: secondo un report di F5, 3 aziende su 4 stanno adottando soluzioni di intelligenza artificiale. Nella maggior parte dei casi, utilizzando i servizi di IA tramite delle chiamate API. E mentre questa tecnologia diventa sempre più centrale, ci si inizia a porre il problema di avere visibilità su questi processi:  per contenere i costi delle GPU, per garantire la conformità normativa, e anche per verificare che i tempi di risposta degli strumenti di IA siano sufficientemente rapidi. 

Per ovviare a questi problemi F5 ha reso disponibile F5 AI Gateway, una soluzione containerizzata che ottimizza le prestazioni, l'osservabilità e le capacità di protezione.

Strumenti di IA sotto controllo con F5 AI Gateway

F5 AI Gateway può essere implementato sul cloud pubblico o privato, così come all'interno dei data center on premise. Si integra nativamente con le piattaforme NGINX e BIG-IP dell'azienda, per sfruttare i servizi leader di F5 per la sicurezza e la distribuzione delle app in implementazioni tradizionali, multicloud o edge.

Protegge i modelli e le soluzioni di IA da attacchi di tipo prompt injection e impedisce che utenti malintenzionati possano manipolare l'output dei LLM per ottenere informazioni riservate. 

Oltre a garantire la sicurezza, ottimizza il bilanciamento del carico, l'instradamento del traffico e la limitazione della velocità per gli LLM locali e di terze parti, assicurando la disponibilità del servizio e garantendo prestazioni migliori. Il caching semantico elimina i task duplicati dagli LLM, migliorando così l'esperienza dell'utente e abbattendo i costi operativi.

“Gli LLM stanno sbloccando nuovi livelli di produttività ed esperienze utente migliorate per i clienti, ma richiedono anche una supervisione e un'ispezione profonda al momento dell'inferenza, nonché maggiori difese contro nuovi tipi di minacce”, spiega Kunal Anand, Chief Innovation Officer di F5. “Rispondendo a questi nuovi requisiti e integrandoci con le soluzioni affidabili di F5 per la gestione del traffico API, consentiamo ai clienti di distribuire con fiducia ed efficienza le applicazioni basate sull'intelligenza artificiale in un panorama di minacce sempre più esteso”.

Secondo Shari Lava, Senior Director, AI and Automation di IDC, "Le applicazioni basate sull'AI diventeranno una pietra miliare per quasi tutte le aziende e le organizzazioni nei prossimi anni. L'introduzione da parte di F5 di un gateway AI nel suo stack di servizi applicativi consente ai clienti di avere una maggiore flessibilità nella costruzione della struttura delle applicazioni AI, pur disponendo di una maggiore protezione e ottimizzazione dei modelli".