AMDOracleAs a serviceBig del CloudIntelligenza Artificiale

IA: non c'è solo NVIDIA. Oracle rende disponibili su OCI gli acceleratori AMD Instinct MI300X

di pubblicata il , alle 17:34 nel canale data IA: non c'è solo NVIDIA. Oracle rende disponibili su OCI gli acceleratori AMD Instinct MI300X

Gli OCI Supercluster con AMD MI300X supportano fino a 16.384 GPU in un singolo cluster, sfruttando la stessa tecnologia di rete ultraveloce utilizzata dagli altri acceleratori OCI. Sono progettati per l’esecuzione di carichi di lavoro impegnativi nel campo dell’intelligenza artificiale, tra cui l’inferenza e l’addestramento di modelli linguistici di grandi dimensioni

 

Oracle ha aggiornato la Oracle Cloud Infrastructure con una nuova unità OCI Compute Supercluster, BM.GPU.MI300X.8. La peculiarità di questa unità è che utilizza gli acceleratori AMD Instinct MI300X per i calcoli relativi all'intelligenza artificiale come l'inferenza o l'addestramento dei LLM.

Arrivano gli OCI Supercluster con AMD MI300X 

Gli OCI Supercluster AMD MI300X supportano fino a un massimo di 16.384 GPU per singolo cluster, e sono progettati per gestire e alimentare modelli di IA con centinaia di miliardi di parametri. Risultano quindi ideali per l'addestramento dei Large Language Model, così come per l'inferenza, cioè la generazione degli output dei prompt. 

AMD Instinct MI300X

Secondo i test effettuati da Oracle, le capacità di inferenza e addestramento dell’IA degli acceleratori AMD MI300X sono adatte a soddisfare casi d’uso ottimali dal punto di vista della latenza, anche con batch di grandi dimensioni, e la capacità di integrare modelli LLM più ampi in un singolo dispositivo. 

Fra i clienti della soluzione Fireworks AI, realtà che offre una piattaforma per generare modelli di IA personalizzati come Llama 3.1, Mistral, Stability Diffuision e molti altri. “Fireworks AI aiuta le imprese a sviluppare e distribuire sistemi di AI complessi in un’ampia gamma di settori e casi d’uso”, spiega Lin Qiao, CEO di Fireworks AI. “La quantità di memoria disponibile in AMD Instinct MI300X e nell’open software ROCm ci permettono di scalare i servizi per i nostri clienti mentre i modelli continuano a crescere”.

“Le capacità di inferenza degli acceleratori AMD Instinct MI300X si aggiungono all’ampia selezione di unità bare metal ad alte prestazioni che OCI offre per eliminare l’overhead del calcolo virtualizzato, comunemente utilizzato per le infrastrutture di IA”, commenta Donald Lu, senior vice president, software development di Oracle Cloud Infrastructure. “Siamo entusiasti di offrire una più ampia scelta agli utenti che desiderano accelerare i carichi di lavoro AI a un prezzo competitivo”.

0 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
^