Anche Qualcomm ha il suo dispositivo per eseguire l'IA in locale: è la AI On-Prem Appliance Solution

Eseguire modelli d'intelligenza artificiale in locale con prestazioni accettabili era, fino a pochissimo tempo fa, un'attività riservata a pochissimi, a causa delle caratteristiche hardware estremamente elevate necessarie. Non quindi senza una certa sorpresa, il CES 2025 ha visto la presentazione di dispositivi proprio per questo scopo: Qualcomm ha annunciato una nuova famiglia di prodotti, chiamata AI On_Prem Appliance Solution e pensata proprio per eseguire gli LLM in locale.

Qualcomm presenta AI On-Prem Appliance Solution

Non è un nome particolarmente originale né facile da ricordare (almeno per noi italofoni) quello scelto da Qualcomm per una serie di dispositivi che, in realtà, fa parte di una nuova famiglia di prodotti che promette per molti versi di cambiare le regole del gioco quando si parla d'intelligenza artificiale.

L'AI On-Prem Appliance Solution è infatti un dispositivo desktop che assomiglia a un normale PC, ma al cui interno sono presenti i coprocessori Qualcomm Cloud AI, pensati specificamente per accelerare i calcoli legati all'IA nei data center. Qualcomm scrive nel comunicato che il dispositivo "mette insieme l'accessibilità e le prestazioni di un server per l'inferenza da datacenter con l'efficienza energetica, il peso e il fattore di forma, il rispetto della privacy sui dati, la personalizzazione e il controllo di una soluzione per l'IA on premise".

Non si tratta di un prodotto acquistabile, ma di una specifica che Qualcomm mette a disposizione degli OEM per creare nuovi dispositivi. Anche se non sono state annunciate le specifiche complete, è noto che i nuovi dispositivi consentiranno di eseguire modelli linguistici di piccole e grandi dimensioni, nonché modelli multimodali di grandi dimensioni, e ne supporteranno un grande numero, sia open source sia proprietari. Ad esempio, Qualcomm sta collaborando con IBM per portare la famiglia di modelli Granite sul dispositivo.

Saranno disponibili tre diverse fasce: bassa, con una scheda Cloud AI Pro con NPU da 16 core in grado di eseguire modelli fino a 10 miliardi di parametri con un consumo di 75 W; media, con una scheda Ultra da 64 core per eseguire modelli fino a 10 miliardi di parametri con 150 W di assorbimento; e alta, che arriva fino a 30 miliardi per 300 W di consumo con due schede Ultra per un totale di 120 core di NPU.

Qualcomm punta al settore aziendale per l'AI On-Prem Appliance Solution, ma non fa distinzioni e cita specificamente le aziende di piccole, medie e grandi dimensioni come possibili clienti, con applicazioni nel mondo dell'industria, della vendita al dettaglio, dei servizi (come, ad esempio, i ristoranti) e della sanità.

Ad accompagnare l'hardware c'è anche la AI Inference Suite, che mette a disposizione di sviluppatori e aziende strumenti e librerie per sviluppare o effettuare il porting di applicazioni d'IA.

"La nostra nuova AI On-Prem Appliance Solution e la AI Inference Suite cambiano l'economia del TCO dell'implementazione dell'intelligenza artificiale, poiché consentono l'elaborazione di carichi di lavoro di intelligenza artificiale generativa da installazioni esclusivamente in cloud a installazioni locali, on premise. Per un'ampia varietà di casi d'uso dell'automazione tramite IA, come i commessi in un negozio, il coaching dei lavoratori, la fornitura d'informazioni specifiche su un sito, la conformità alle normative di sicurezza e il supporto alle vendite e all'assistenza nei negozi, nelle concessionarie o negli stabilimenti, la nostra soluzione AI On-Prem Appliance riduce significativamente i costi operativi dell'IA per le esigenze delle imprese e dell'industria", ha dichiarato Nakul Duggal, Group General Manager for Automotive, Industrial IoT and Cloud Computing, Qualcomm Technologies, Inc. "Le imprese possono ora accelerare l'implementazione di applicazioni di IA generativa sfruttando i propri modelli, con privacy e personalizzazione, mantenendo il pieno controllo, con la certezza che i loro dati non lasceranno la loro sede."