Red Hat presenta Red Hat AI 3: l'intelligenza artificiale open source di livello aziendale

L'intelligenza artificiale generativa non è necessariamente da affidare a terzi e non è necessariamente proprietaria. Sono molte le soluzioni aperte e fra queste spicca Red Hat AI 3, ultima versione della piattaforma di Red Hat che combina Red Hat AI Enterprise Server, Red Hat Enteprise Linux AI e Red Hat OpenShift AI. Tra le novità troviamo un'esperienza d'uso maggiormente coerente, una maggiore scalabilità e l'orchestrazione tramite Kubernetes.

Red Hat AI 3: l'intelligenza artificiale aperta

La prima novità di Red Ht AI 3 è llm-d, che combina vari componenti per rendere possibile una gestione distribuita e intelligente dei modelli linguistici di grandi dimensioni. llm-d si appoggia a Kubernetes per orchestrare diversi modelli, così da ottenere vantaggi in termini di flessibilità e disponibilità dei servizi, nonché alla libreria di trasferimento dei dati a bassa latenza NVIDIA Dynamo e a quella di comunicazione DeepEP Mixture of Experts. Grazie a llm-d, è possibile utilizzare vLLM (un motore open source per l'inferenza) per creare un servizio su più nodi e pertanto scalabile.

Una nuova funzionalità particolarmente interessante è Model as a Service: consente di rendere disponibili i modelli verso sviluppatori e applicazioni in maniera centralizzata, come se ci si appoggiasse a un fornitore esterno (quale, per esempio, OpenAI) che dà accesso ai propri modelli come servizio. È possibile scegliere da un catalogo di modelli, gestirne il ciclo di vita tramite un registro, e monitorarli e configurarli in maniera centralizzata.

Un'ulteriore novità è la disponibilità di modelli approvati e ottimizzati da Red Hat, che includono modelli open source come gpt-oss di OpenAI, DeepSeek-R1, Whisper (per la trascrizione di file audio) e Voxtral Mini (per gli agenti vocali). L'inclusione di tali modelli semplifica lo sviluppo delle applicazioni e la gestione dei modelli stessi.

È stato poi presentato Gen AI Studio, tramite il quale gli ingegneri possono interagire con i modelli e sviluppare rapidamente prototipi; tramite la funzionalità di endpoint delle risorse d'IA, è possibile individuare e utilizzare i modelli disponibili e i server MCP (Model Context Protocol) per appoggiarsi a essi nello sviluppo delle applicazioni. È poi presente un playground interno che consente di sperimentare con i modelli e testare interazioni e parametri.

Per accelerare lo sviluppo delle applicazioni, Red Hat AI 3 introduce un livello API unificato, basato su Llama Stack, che si basa sugli standard di settore come quelli definiti da OpenAI. Per consentire la personalizzazione dei modelli, Red Hat AI 3 introduce un insieme di strumenti basato su InstructLab, che fornisce librerie Python specializzate per elaborare i dati e acquisire documenti non strutturati in un formato leggibile dall'IA. Tra gli strumenti ce ne sono poi per creare dati sintetici e per addestrare gli LLM, nonché per valutare i modelli

"Man mano che le aziende passano dalla sperimentazione alla produzione dell’AI, si trovano ad affrontare una nuova ondata di sfide in termini di complessità, costi e controllo", commenta Joe Fernandes, vice president e general manager AI Business Unit, Red Hat. "Con Red Hat AI 3, forniamo una piattaforma open source di livello aziendale che riduce al minimo questi ostacoli. Grazie a nuove funzionalità come l’inferenza distribuita con llm-d e una base per l’AI agentica, consentiamo ai team IT di rendere operativa con maggiore sicurezza l’AI di nuova generazione, secondo le proprie esigenze, su qualsiasi infrastruttura."