Red Hat accelera sull'IA generativa con l'acquisizione di Neural Magic

L'IA generativa sta rapidamente trasformando il panorama dell'IT e non solo. Come ben sa chi segue Edge9, praticamente ogni azienda che opera nel mondo tech (ma non solo) sta investendo sull'introduzione della GenAI nei propri sistemi. Sviluppando i propri sistemi di IA o appoggiandosi a quelli già esistenti. Ma anche acquisendo aziende che hanno già maturato esperienza e competenza sul tema dell'intelligenza artificiale. È il caso di Red Hat, che ha siglato un accordo per l'acquisizione di Neural Magic, azienda all’avanguardia nel software e negli algoritmi che accelerano i carichi di lavoro di inferenza dell’IA generativa.

Red Hat acquisisce Neural Magic

Neural Magic è un'azienda statunitense nata nel 2018, quando ha iniziato a sviluppare una soluzione per l'inferenza IA. Si tratta di una realtà che ha maturato esperienza nell'ambito del progetto open source vLLM di UC Berkeley, che supporta tutte le principali famiglie di modelli, la ricerca avanzata sull’accelerazione dell’inferenza e diversi hardware tra cui GPU AMD, AWS Neuron, Google TPUs, Intel Gaudi, GPU NVIDIA e CPU x86.

La competenza e la leadership di Neural Magic nel progetto vLLM, combinata con il portfolio di tecnologie Adi IA per il cloud ibrido di Red Hat, offrirà alle aziende un percorso aperto per la creazione di strategie di IA  in grado di soddisfare le loro esigenze specifiche.

Nello specifico, Neural Magic sfrutta la propria esperienza e conoscenza di vLLM per costruire uno stack di inferenza di livello enterprise che consente ai clienti di ottimizzare, distribuire e scalare i carichi di lavoro LLM in ambienti cloud ibridi con il pieno controllo sulla scelta dell’infrastruttura, sulle politiche di sicurezza e sul ciclo di vita dei modelli.

LLM Compressor, per ottimizzare i Large Language Models

Neural Magic sviluppa anche ricerche sull’ottimizzazione dei modelli, e sta realizzando LLM Compressor, una libreria unificata per l’ottimizzazione di LLM con algoritmi di sparsity e quantizzazione all’avanguardia. Oltre a questo, l'azienda gestisce un repository di modelli pre-ottimizzati pronti per essere distribuiti con vLLM.

“I carichi di lavoro AI devono poter essere eseguiti ovunque si trovino i dati dei clienti nel cloud ibrido, cosa che rende necessarie piattaforme e strumenti flessibili, standardizzati e aperti, che consentano alle organizzazioni di scegliere gli ambienti, le risorse e le architetture in linea con le loro esigenze operative e di dati”, spiega Matt Hicks, presidente e CEO di Red Hat. “Siamo entusiasti di integrare il nostro portafoglio AI basato sul cloud ibrido con l’innovazione rivoluzionaria di Neural Magic, con l’obiettivo di confermare il ruolo di Red Hat come innovatore e leader non più solo nell’open source ma anche nell’IA”.

“L’open source ha mostrato più volte di poter promuovere l’innovazione grazie al potere della collaborazione”, afferma Brian Stevens, CEO di Neural Magic. “In Neural Magic abbiamo riunito alcuni dei migliori talenti del settore dell’ingegneria delle prestazioni dell’AI con l’unica missione di creare funzionalità di servizio LLM aperte, multipiattaforma e ultra-efficienti. L’unione con Red Hat non è solo un abbinamento culturale, ma porterà vantaggi significativi alle aziende grandi e piccole nel loro percorso di trasformazione dell’IA”.