Microsoft per l'IA: un nuovo supercomputer e il progetto Microsoft Turing annunciati a BUILD 2020

Microsoft sceglie BUILD 2020, la sua conferenza annuale per gli sviluppatori, per annunciare di aver costruito un supercomputer che è tra i primi cinque al mondo per potenza di calcolo disponibile. Ragion d'essere di questo supercomputer è la creazione dell'infrastruttura necessaria a sfruttare modelli di intelligenza artificiale su vasta scala.

Microsoft costruisce un supercomputer per l'intelligenza artificiale

In un post sul proprio blog, Microsoft spiega come finora gli sforzi per la costruzione di modelli di intelligenza artificiale si siano concentrati su motori di piccola dimensione e separati per ciascun tipo di applicazione. Tipicamente ci si è concentrati sulla creazione di modelli per eseguire compiti specifici: tradurre da una lingua a un'altra, riconoscere oggetti, leggere testo, riconoscere parole all'interno di suoni registrati. Secondo alcune ricerche, però, questi compiti sarebbero svolti meglio da un solo modello di grandi dimensioni.

La ragione della maggiore efficienza di un modello più grande sta nella quantità di informazioni che possono essere elaborate e che sono a disposizione: un modello che abbia appreso una lingua a partire da miliardi di documenti, ad esempio, ha una migliore comprensione delle sfumature del linguaggio, con una migliore rappresentazione della grammatica, della sintassi, delle differenze nel lessico e del contesto. Grazie a questa migliore conoscenza e coscienza della lingua è possibile ottenere risultati migliori rispetto a modelli con una comprensione più limitata.

Per sostenere la richiesta di capacità di calcolo che l'addestramento di un simile modello richiede Microsoft ha costruito un nuovo supercomputer in collaborazione con OpenAI, azienda che si pone l'obiettivo di controllare che l'IA sia utilizzata per fini etici e che portino beneficio all'umanità. All'interno del supercomputer di Microsoft trovano posto 285.000 core di CPU, 10.000 GPU e connettività da 400 Gbps per ciascun server. Questa potenza di calcolo è a disposizione dei clienti e partner di Microsoft, che potranno sfruttarla utilizzando gli strumenti di Azure.

Nel caso in cui non sia necessario utilizzare un intero supercomputer, Microsoft ha annunciato che metterà a disposizione degli sviluppatori i suoi modelli su vasta scala, gli strumenti di ottimizzazione per l'addestramento degli stessi e le risorse di elaborazione necessarie tramite Azure e GitHub.

L'azienda ha anche annunciato progressi significativi in DeepSpeed, una libreria per il deep learning che riduce significativamente la potenza di calcolo e il tempo necessari per addestrare un modello distribuito. Con l'ultimo aggiornamento, reso open source, è possibile addestrare modelli fino a 15 volte più grandi e 10 volte più velocemente rispetto a una situazione con la stessa infrastruttura ma senza DeepSpeed.

Microsoft Turing: il motore per la comprensione del linguaggio è ora open source

Un aspetto particolarmente rilevante dell'annuncio di Microsoft sta nel fatto che l'azienda renderà open source i modelli Microsoft Turing per l'elaborazione del linguaggio e le modalità di addestramento: in questo modo chiunque avrà a disposizione gli strumenti che Microsoft ha impiegato per migliorare la comprensione del linguaggio all'interno dei suoi prodotti.

La principale differenza tra Microsoft Turing e altri modelli sta nel fatto che quest'ultimo non ha bisogno di dati categorizzati o etichettati. Normalmente, infatti, i dati vanno etichettati e categorizzati per indirizzare l'apprendimento da parte del modello; Microsoft Turing non necessita di questo passaggio, particolarmente dispendioso dal punto di vista del tempo, poiché è in grado di imparare da solo a partire dalla mole di documenti fornitigli.

Parte dell'addestramento è anche una parte "generativa": vengono rimosse parole casuali dai documenti e il modello deve indovinare quale parola deve essere inserita. Ripetendo questa operazione per miliardi di volte si genera una maggiore comprensione del contesto, della grammatica, delle sfumature di significato e di altri elementi propri del linguaggio.

Questo tipo di operazioni è simile a quelle che le persone fanno quando imparano una nuova lingua: assimilano contenuti a partire da testi di complessità crescente e, per verificare la propria comprensione, fanno esercizi in cui bisogna riempire gli spazi vuoti con la parola o le parole corrette, fino ad arrivare alla generazione indipendente di nuovi contenuti da zero.

I risultati che Microsoft vanta di aver ottenuto sono ragguardevoli: l'azienda afferma che Bing ha visto miglioramenti del 125% nella risposta alle ricerche in alcune lingue.

Kevin Scott, chief technical officer di Microsoft, afferma che "sviluppando questa infrastruttura all'avanguardia per l'addestramento di modelli di IA su larga scala stiamo rendendo migliore l'intero Azure. Stiamo costruendo computer migliori, sistemi distribuiti migliori, data center migliori. Tutto questo rende le prestazioni e i costi e la flessibilità dell'intero cloud di Azure migliori."