AI Grid Intelligent Orchestration, l'inferenza IA distribuita secondo Akamai

Akamai accelera sull'intelligenza artificiale, ma lo fa a modo suo. Il colosso statunitense ha infatti reso disponibile la prima implementazione del design di riferimento NVIDIA AI Grid, un insieme di infrastrutture di IA distribuite geograficamente e interconnesse che operano come una piattaforma unificata. Un approccio che consente di allocare in modo sicuro i carichi di lavoro dove funzionano meglio, bilanciando prestazioni, costi e latenza.

Akamai distribuisce l'inferenza sull'edge: 4.400 nodi per elaborare l'IA in maniera più efficiente

A oggi le AI Factory sono strutture monolitiche che gestiscono enormi carichi di lavoro di intelligenza artificiale. Un approccio efficace, ma non particolarmente efficiente in certi casi. Per questo NVIDIA ha presentato AI Grid, il suo design di riferimento per una rete di centri di calcolo per IA distribuiti, in grado di orchestrare in maniera più intelligente i carichi di lavoro. 

La prima realtà che ha concretizzato questa visione, implementandola sulla propria rete, è Akamai con AI Grid Intelligent Orchestration, che a tutti gli effetti è l'evoluzione di Akamai Inference Cloud. L'infrastruttura è basata su migliaia di GPU NVIDIA RTX PRO 6000 Blackwell Server Edition installate sui circa 4.400 nodi edge di cui è composta la rete Akamai.

Il cuore dell'infrastruttura è un orchestratore che ha il compito di analizzare le richieste di inferenza e smistarle sui siti edge in base al traffico, alla distanza dell'utente, al carico di ogni sito edge. Un approccio che, secondo l'azienda, è in grado di migliorare in maniera significativa la gestione dei token, abbassando anche il prezzo per singolo token. Questo perché l’orchestratore utilizza tecniche come il caching semantico e l’instradamento intelligente per indirizzare le richieste verso i siti edge più indicati, riservando i cicli GPU premium ai carichi di lavoro più impegnativi.

Numerosi i casi applicativi. Nell'ambito finanziario, è possibile sfruttare l'IA per il rilevamento evoluto delle frodi, oltre che per fornire raccomandazioni di marketing più efficaci. Nel caso dei videogiochi, invece, Akamai afferma che gli sviluppatori di videogiochi avranno modo di gestire l'IA degli NPC assicurando latenze mediamente basse, inferiori ai 50 ms. Altri esempi concreti e già adottati dai clienti sono l'uso di questa rete di IA per il doppiaggio in tempo reale e la transcodifica di filmati.

"Le AI factory sono state progettate specificamente per i carichi di lavoro di training e per i modelli di frontiera, e un’infrastruttura centralizzata continuerà a garantire la migliore ‘tokenomics’ per questi casi d’uso", afferma Adam Karon, Chief Operating Officer and General Manager, Cloud Technology Group di Akamai. "Tuttavia, video in tempo reale, IA fisica ed esperienze personalizzate altamente simultanee richiedono inferenza nel punto di contatto, non un viaggio di andata e ritorno verso un cluster centralizzato. La nostra orchestrazione intelligente AI Grid consente alle AI factory di scalare l’inferenza verso l’esterno, sfruttando la stessa architettura distribuita che ha rivoluzionato la distribuzione dei contenuti per instradare i carichi di lavoro di IA in 4.400 sedi, al giusto costo e nel momento giusto".

“Le nuove applicazioni AI native richiedono latenza prevedibile ed efficienza dei costi su scala globale”, commenta Chris Penrose, Global VP, Business Development, Telco di NVIDIA. "Con l’implementazione operativa di NVIDIA AI Grid, Akamai sta creando il tessuto connettivo per l’IA generativa, agentica e fisica, portando l’intelligenza direttamente ai dati e abilitando la prossima ondata di applicazioni in tempo reale”.