Addio NVIDIA: Amazon ha realizzato internamente il processore per l'IA di Alexa (e non solo)

AWS ha annunciato una novità relativa ad Alexa: l'azienda sta infatti migrando i calcoli relativi ai sevizi di text-to-speech dai server basati su GPU ad altri che invece si appoggiano al chip AWS Inferentia realizzati internamente. Il motivo? Poter contare su latenze più base e abbassare i costi. 

AWS Inferentia, i chip sviluppati da Amazon per potenziare Alexa

I chip AWS Inferentia sono stati sviluppati da zero da AWS con l'obiettivo di ridurre drasticamente i costi senza scendere a compromessi con le prestazioni. A quanto dichiara AWS, sono in grado di incrementare la banda passante del 30% e ridurre i costi per inferenza del 45% rispetto alle GPU G4 usate in precedenza. La latenza dei nuovi chip, invece, è stata ridotta del 25%. 

Un risultato notevole, che migliorerà l'esperienza di Alexa per tutti gli utenti, che ormai sono centinaia di milioni e che usano quotidianamente l'assistente vocale di Amazon per controllare la loro smart home, ottenere informazioni, ascoltare musica.

Non solo Alexa

Nonostante il chip AWS Inferentia sia stato concepito per accelerare i calcoli tipici dell'IA di Alexa, questo non è l'unico campo di applicazione. Un altro servizio che si appoggia su questi nuovi processori è Amazon Rekognition, che sfrutta il deep learning per semplificare l'identificazione di oggetti, persone, testi, così come per eseguire calcoli per il riconoscimento facciale. In questo specifico scenario di utilizzo, si ha un banda passante doppia rispetto a quella ottenibile con le GPU e una latenza di ben 8 volte inferiore. AWS non è l'unica a sfruttare i nuovi chip, che non sono disponibili sul commercio ma possono essere "affittati" come istanze Inf1 di Amazon EC2. Fra queste Snap Inc (che la integra per alcune funzioni di SnapChat) e Conde Nast, che la applica al suo motore di raccomandazioni, e che ha visto un costo per le inferenze inferiore del 72% rispetto alle istanze basate su GPU.