A3, il nuovo supercomputer di Google Cloud progettato per l'IA e basato su GPU NVIDIA H100

A3, il nuovo supercomputer di Google Cloud progettato per l'IA e basato su GPU NVIDIA H100

Le nuove macchine virtuali A3 si appoggeranno a CPU Xeon Scalable di quarta generazione e GPU NVIDIA H100 Tensor Core, accelerando fino a 30 volte i calcoli dell'interferenza rispetto alle VM A2.

di pubblicata il , alle 17:11 nel canale Cloud
Google CloudNVIDIABig del Cloudintelligenza artificiale
 

Google sta puntando tutto sull'intelligenza artificiale, come abbiamo visto nei numerosi annunci fatti in occasione del più recente Google I/O. I servizi che fanno leva sui modelli di apprendimento di IA sono numerosi, e tutti hanno lo stesso problema: richiedono un'enorme potenza di calcolo per gestire le elaborazioni relative ai Large Language Model. Per questo Google Cloud aveva reso disponibili macchine virtuali basate sulle GPU L4 Tensor Core di NVIDIA. 

In occasione di Google I/O, il colosso ha annunciato un nuovo supercomputer progettato proprio per accelerare i calcoli relativi all'addestramento dei modelli di machine learning: A3. Le VM basate su A3 consentiranno ai clienti di Google Cloud di accelerare significativamente l'addestramento dei propri modelli di machine learning. 

Il supercomputer A3 di Google Cloud per accelerare i calcoli relativi all'IA

Il nuovo supercomputer A3 di Google Cloud è basato sui tensor core H100 di NVIDIA e sfrutta una IPU (Infrastructure Processing Unit) in grado di trasferire dati a 200 GB/s per spostare informazioni da una GPU all'altra, bypassando il processore centrale. Un accorgimento che ha consentito a Google di ottenere una banda passante 10 volte superiore a quelle delle VM A2. 

nvidia H100

A3 è un'architettura scalabile, che può arrivare a ben 26 exaFlops nell'elaborazione dei calcoli relativi all'IA. Rispetto ad A2, i calcoli sull'inferenza sono 30 volte più veloci. 

Una singola macchina virtuale basata su A3 può sfruttare fino a 8 GPU H100 e si appoggia su  CPU Intel Xeon Scalable di quarta generazione. Ogni host può avere fino a 2 TB di RAM DDR5 a 4.800 MHz. 

Secondo Noam Shazeer, CEO di Character.AI, "le istanze VM A3 di Google Cloud forniscono la potenza di calcolo e la scalabilità per i nostri carichi di lavoro di addestramento e inferenza più impegnativi. Non vediamo l'ora di sfruttare la loro esperienza sull'AI e la leadership nell'infrastruttura su larga scala per fornire una solida piattaforma per i nostri carichi di lavoro ML".
5 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
Gringo [ITF]11 Maggio 2023, 17:37 #1
Povero Intel Ponte Veccho e Rialto .... per ora nessuno lo "Caga".... un vero peccato.
mail9000it11 Maggio 2023, 20:56 #2

2TB di RAM !

caspita.
ma ci gira crysis ? (cit.)
mail9000it11 Maggio 2023, 21:02 #3

Traduzioni tra due lingue

Una domanda sorta in questo momento.

Ma queste AI che vengono addestrate con vagonate di dati ?
Qualcuno sta provando ad usarle per le traduzioni automatiche da una lingua all'altra ?
Esistono da tempo programmi di traduzione (lontani dalla perfezione), ma non ho idea se queste AI possono portare a un miglioramento sulla qualità delle traduzioni automatiche.
marco_zanardi12 Maggio 2023, 08:23 #4
...spaventoso, mi viene in mente la scena di Matrix in cui le macchine coltivavano piantagioni di esseri umani... Le IA si stanno allenando sui nostri dati!!! In un certo senso, quell'era è già iniziata!
DevilsAdvocate12 Maggio 2023, 08:50 #5
Originariamente inviato da: mail9000it
Una domanda sorta in questo momento.

Ma queste AI che vengono addestrate con vagonate di dati ?
Qualcuno sta provando ad usarle per le traduzioni automatiche da una lingua all'altra ?
Esistono da tempo programmi di traduzione (lontani dalla perfezione), ma non ho idea se queste AI possono portare a un miglioramento sulla qualità delle traduzioni automatiche.


Per quello basta una delle AI più piccole:
https://towardsdatascience.com/how-...er-50e3a366cbca

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^