Nuovi processori per l'IA in arrivo da IBM: nel 2025 saranno disponibili Telum II e IBM Spyre Accelerator

In occasione di Hot Chips 2024 IBM ha annunciato due nuovi processori per i mainframe IBM Z, entrambi progettati per accelerare i calcoli relativo all'IA nel mondo enterprise: Telum II, una CPU contenete un acceleratore per l'elavorazione dell'IA, e Spyre Accelerator, un acceleratore puro. Sono progettati per l'elaborazione dei calcoli tipici dei Large Language Model e sono caratterizzati da tecnologie evolute di I/O che, secondo l'azienda, permetteranno di ridurre significativamente i consumi energetici. 

IBM annuncia Telum II

I nuovi processori di IBM sono basati sulla tecnologia a 5 nm di Samsung. Telum II è dotato di 8 core ad elevate prestazioni funzionanti a 5 Ghz e rispetto alla precedente incarnazione è stata aumentata la cache a bordo della CPU: la virtual cache L3 ammonta ora a 360 MB mentre la virtual cache L4 è di ben 2,88 GB. 

Fra le caratteristiche chiave una nuova DPU (Data Processing Unit) per l'accelerazione dell'I/O, in grado di offrire un significativo aumento di prestazioni rispetto alla precedente versione di Telum. IBM indica un incremento di 4X delle prestazioni, che ora raggiungono i 24 TOPS (24 miliardi di miliardi di operazioni al secondo). Big Blue specifica però che al di là di questo valore, è l'ottimizzazione dell'architettura a fare una grande differenze: Telum II è progettato per consentire ai modelli di runtime di lavorare parallelamente ai carichi di lavoro più esigenti, offrendo al contempo inferenza ad alta velocità e bassa latenza. Inoltre, è stato aggiunto il supporto per INT8 come tipo di dato, migliorando così la capacità di calcolo e l'efficienza nelle applicazioni in cui è preferito INT8, e consentendo così l'uso di modelli di IA più recenti.

"Abbiamo apportato miglioramenti a livello di sistema", si legge nel comunicato dell'azienda. "Questi miglioramenti consentono a ciascun acceleratore IA di accettare calcoli da qualsiasi core per migliorare il bilanciamento del carico tra tutti e otto gli acceleratori IA. Questo permette a ciascun core di accelerare i calcoli dell'IA tenendo bassa le latenze".

Arriva IBM Spyre Accelerator

IBM Spyre Accelerator è il frutto degli sforzi congiunti di IBM Research e IBM Infrastructure. Si tratta di una soluzione che include 32 core dedicati ad accelerare i calcoli relativi all'IA, core che adottano un'architettura simile a quella dei processori Telum II. Più acceleratori IBM Spyre Accelerator possono essere connessi allo stesso sistema IBM Z tramite il bus PCIe. 

Sia IBM Telum II sia Spyre Accelerator sono progettati per supportare un insieme più ampio e variegato di modelli con casi d'uso chiamati "ensemble AI". L'uso dell'ensemble AI fa leva su più modelli di intelligenza artificiale per migliorare le prestazioni complessive e l'accuratezza delle previsioni rispetto ai modelli individuali.

Un caso concreto di utilizzo dell'ensemble AI è quello del rilevamento delle frodi finanziarie, ambito in cui tradizionalmente si utilizzano le classiche reti neurali per la valutazione del rischio iniziale che vengono poi combinate con i LLM per migliorare le performance e l'accuratezza. 

Telum II e Spyre Accelerator saranno disponibili nel 2025.