IA: non c'è solo NVIDIA. Oracle rende disponibili su OCI gli acceleratori AMD Instinct MI300X

Oracle ha aggiornato la Oracle Cloud Infrastructure con una nuova unità OCI Compute Supercluster, BM.GPU.MI300X.8. La peculiarità di questa unità è che utilizza gli acceleratori AMD Instinct MI300X per i calcoli relativi all'intelligenza artificiale come l'inferenza o l'addestramento dei LLM.

Arrivano gli OCI Supercluster con AMD MI300X 

Gli OCI Supercluster AMD MI300X supportano fino a un massimo di 16.384 GPU per singolo cluster, e sono progettati per gestire e alimentare modelli di IA con centinaia di miliardi di parametri. Risultano quindi ideali per l'addestramento dei Large Language Model, così come per l'inferenza, cioè la generazione degli output dei prompt. 

Secondo i test effettuati da Oracle, le capacità di inferenza e addestramento dell’IA degli acceleratori AMD MI300X sono adatte a soddisfare casi d’uso ottimali dal punto di vista della latenza, anche con batch di grandi dimensioni, e la capacità di integrare modelli LLM più ampi in un singolo dispositivo. 

Fra i clienti della soluzione Fireworks AI, realtà che offre una piattaforma per generare modelli di IA personalizzati come Llama 3.1, Mistral, Stability Diffuision e molti altri. “Fireworks AI aiuta le imprese a sviluppare e distribuire sistemi di AI complessi in un’ampia gamma di settori e casi d’uso”, spiega Lin Qiao, CEO di Fireworks AI. “La quantità di memoria disponibile in AMD Instinct MI300X e nell’open software ROCm ci permettono di scalare i servizi per i nostri clienti mentre i modelli continuano a crescere”.

“Le capacità di inferenza degli acceleratori AMD Instinct MI300X si aggiungono all’ampia selezione di unità bare metal ad alte prestazioni che OCI offre per eliminare l’overhead del calcolo virtualizzato, comunemente utilizzato per le infrastrutture di IA”, commenta Donald Lu, senior vice president, software development di Oracle Cloud Infrastructure. “Siamo entusiasti di offrire una più ampia scelta agli utenti che desiderano accelerare i carichi di lavoro AI a un prezzo competitivo”.