AWS e NVIDIA insieme sull'IA. L'obiettivo? Creare l'infrastruttura di IA più scalabile al mondo

AWS e NVIDIA insieme sull'IA. L'obiettivo? Creare l'infrastruttura di IA più scalabile al mondo

Le nuove istanze P5 su Amazon EC2 saranno basate sulle GPU H100 Tensor Core di NVIDIA. La potenza di calcolo totale del cluster è di ben 20 exaFLOP e servirà per addestrare modelli di deep learning estremamente complessi

di pubblicata il , alle 15:21 nel canale data
AWSNVIDIAAs a serviceBig del Cloudintelligenza artificiale
 

L'architettura di IA on-demand più scalabile al mondo. Questo l'obiettivo della partnership stretta fa AWS e NVIDIA, che mirano a ottimizzare questa infrastruttura per il training di large language model (per capirci, quelli che interpretano e comunicano in linguaggio naturale, stile ChatGPT) e per lo sviluppo di applicazioni di IA generativa (per esempio, la generazione di immagini e video partendo da prompt). Secondo le due aziende, la potenza complessiva arriverà a ben 20 exaFLOP.

NVIDIA e AWS realizzano un supercluster per il deep learning

La nuova infrastruttura per i calcoli di IA di AWS e NVIDIA sarà basata su delle istanze P5 di Amazon EC2 basate sulle GPU H100 Tensor Core dell'azienda californiana. Queste istanze sono le prime a sfruttare la seconda generazione dell'infrastruttura di rete Elastic Fabric Adapter, che garantisce una banda molto ampia (3.200 Mbps) così da consentire ai clienti di utilizzare fino a un massimo di 20.000 GPU H100.

hopper-h100

La collaborazione fra NVIDIA e AWS non è in ogni caso nata ora: è da 13 anni che le due imprese collaborano. Il primo esempio sono state le istanze AWS basata su GPU CG1. Le nuove GPU H100 però sono ideali per accelerare i calcoli sui large language model: ognuna di esse garantisce 16 petaFLOP di potenza di calcolo, permettendo di accelerare i calcoli fino a 6 volte rispetto ad altre soluzioni. Questo, secondo AWS, permette di ridurre i tempi di addestramento dei modelli di IA a poche ore, invece di giorni interi. Il risultato sono costi di sviluppo abbattuti fino al 40%. 

Fra i clienti della soluzione aziende quali Anthropic, Cohere, Hugging Face, Pinterest e Stability AI. "Utilizziamo il deep learning in modo estensivo attraverso la nostra piattaforma per operazioni come l'etichettatura e la categorizzazione dei miliardi di foto caricate sulla nostra piattaforma e per abilitare la ricerca visiva che permette ai nostri utenti la capacità di passare dall'ispirazione all'azione", afferma David Chaiken, Chief Architect di Pinterest. "Abbiamo costruito e implementato questi casi d'uso sfruttando le istanze GPU di AWS come P3 e le ultime istanze P4d. Siamo entusiasti di utilizzare le istanze Amazon EC2 P5 dotate di GPU H100, EFA e Ultraclusters per accelerare lo sviluppo dei nostri prodotti e portare nuove esperienze basate sull'IA Empatica ai nostri clienti".

0 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^