Con Maia 200 Microsoft alza l'asticella degli acceleratori per l'IA

Quando si parla dell'hardware impiegato per l'intelligenza artificiale, inevitabilmente si finisce per parlare di NVIDIA, ma l'azienda californiana non è l'unica a occuparsi di progettare e produrre hardware dedicato all'IA: i principali hyperscaler hanno infatti avviato programmi per produrre il proprio hardware specializzato. A questo proposito, Microsoft ha annunciato un'evoluzione del suo acceleratore per l'IA: si chiama Maia 200, è prodotto da TSMC con processo produttivo a 3 nm e, secondo l'azienda, offre prestazioni fino a quattro volte quelle di Amazon Trainium 3.

Microsoft presenta Maia 200, l'acceleratore per l'IA

Maia 200 segna un'evoluzione per la linea di acceleratori per l'IA Maia di Microsoft, inaugurata con il lancio di Maia 100 avvenuto nel 2023. I processori Maia sono progettati specificamente per l'inferenza e, dunque, per fungere da "motore" dietro l'accesso ai modelli linguistici di grandi dimensioni.

Il nuovo Maia 200 integra 216 GB di memoria HBM3e con una banda totale di 7 TB/s, assieme a 272 MB di memoria SRAM e 28 connettori Ethernet a 400 Gbps per un totale di 1,4 TB/s di banda di rete. Tale banda è impiegata per connettere gli acceleratori fra di loro all'interno di ciascun server, dove ne vengono installati quattro, così come tra i vari server, per costruire cluster che arrivano a 6.144 acceleratori.

Microsoft afferma che i nuovi acceleratori sono in grado di offrire prestazioni sensibilmente più alte rispetto tanto alla generazione precedente, quanto alla concorrenza. Nello specifico, ciascun chip è in grado di offrire fino a 10 PFLOPS in FP4 e circa 5 PFLOPS in FP8. Per avere un metro di confronto, Trainium3 di Amazon offre 2,5 PFLOPS in FP4 e in FP8, mentre la TPU v7 di Google offre 4,6 PFLOPS in FP8. Il TDP di Maia 200 è di 880 W, contro i 700 W di Trainium3 e i 1.000 W di TPU v7.

Maia 200 sarà inizialmente messo in opera nella regione US Central, seguita da US West 3, per poi arrivare progressivamente nel resto delle regioni di Azure. Microsoft ha altresì messo a disposizione un SDK per ottimizzare i modelli per i nuovi acceleratori.

Un dato interessante da notare è che le voci dicevano fino a poco tempo fa che Maia 200 sarebbe stato prodotto usando il processo Intel 18A e che sarebbe dunque dovuto essere uno dei casi di successo di tale processo produttivo. Le cose sono andate diversamente e Microsoft ha continuato ad affidarsi a TSMC come per la generazione precedente.