OVHcloud ha rivoluzionato il concetto di data center. Gran parte del merito è del raffreddamento ad acqua

Cos’è il cloud? È dal primo giorno in cui abbiamo iniziato a pubblicare contenuti su Edge9, ormai 4 anni fa, che cerchiamo di dare una risposta a questa domanda. Spesso ci siamo concentrati su risposte “concettuali”, spiegando che il cloud è una modalità di accesso flessibile a risorse di compute e storage, ospitate nei data center dei provider. Questo concetto può essere articolato in modo più o meno approfondito ed è fondamentale per comprendere il potenziale del cloud. Dietro qualsiasi offerta di risorse in cloud, però, da qualche parte c’è un luogo fisico, il data center, e delle macchine, i server veri e propri, che permettono di articolare qualsiasi servizio cloud che i provider offrono ai clienti.

OVHcloud è un cloud provider diverso dagli altri

Da questo punto di vista OVHcloud è molto diversa da tutti gli altri cloud provider. Con l’obiettivo di scoprire davvero quanto sia diversa siamo partiti per un viaggio di due giorni che ci ha portato a visitare la fabbrica dei server di OVHcloud a Croix, in Francia, e uno dei data center più recenti dell’azienda, a Roubaix. Già parlare di fabbrica di server dovrebbe far capire quanto sia profonda la differenza fra OVHcloud e gli altri provider. Tutti gli hyperscaler (AWS, Google Cloud, Microsoft Azure) usano dei server MOLTO diversi da quelli che una qualsiasi azienda, o provider di piccole/medie dimensioni, può acquistare sul mercato e installare nel proprio data center on premise.

Le esigenze e le potenzialità economiche degli hyperscaler portano alla realizzazione di server molto “customizzati” che, normalmente, vengono richiesti ai principali fornitori sul mercato e poi vengono realizzati, in quantità molto significative. Ogni hyperscaler ha la sua strategia per la realizzazione dei data center, dalla quale derivano delle specifiche molto stringenti per la produzione dei server. Gli obiettivi di queste strategie sono molteplici e non si limitano a ottenere i prodotti più performanti al prezzo più vantaggioso. Vista la quantità di server che gli hyperscaler devono gestire, di un ordine di grandezza di svariate centinaia di migliaia di server, un tema centrale è quello del consumo di energia, che ha poi ricadute sulla quantità di energia necessaria per sostenere il carico di lavoro di un data center, sui costi correlati e, tema sempre più centrale, sulla sostenibilità di tutta l’infrastruttura.

OVHcloud, da sempre, ha un approccio diverso. La scelta fatta dall’azienda creata nel 1999 da Octave Klaba, tutt’ora Presidente di OVHcloud, è stata di realizzare tutto "in casa”, quindi di attuare una strategia di integrazione verticale “completa”, che copre tutte le fasi di ingegnerizzazione, prototipazione, produzione, validazione e messa in opera dei data center. Nel 1999 poteva sembrare anacronistico pensare di sviluppare tutto l’hardware di un cloud provider internamente, mentre il mercato mondiale spingeva sempre di più sulla globalizzazione e la specializzazione della produzione in zone del mondo dove c’erano maggiori competenze o sostanziali vantaggi di costo. Oggi, nel 2023, il concetto stesso di globalizzazione sta mostrando i suoi limiti e quindi le scelte fatte nel 1999 OVHcloud si sono rivelate molto lungimiranti.

Dal 1999 OVHcloud produce direttamente tutti i suoi server

La scelta di OVHcloud è stata proprio questa: produrre internamente TUTTO l’hardware dei propri data center. È necessario a questo punto definire cosa intendiamo per produrre. OVHcloud acquista sul mercato i componenti, quindi schede madre, processori, memorie, ssd, hard disk prima di tutto, ma poi ha una vera e propria fabbrica dove assembla server su specifiche che la stessa OVHcloud ha definito. Gli sforzi ingegneristici di OVHcloud si sono concentrati su tre elementi: il sistema di raffreddamento, lo chassis dei server e i rack. Il sistema di raffreddamento è la chiave di tutto, perché la scelta fatta 20 anni fa è stata di concentrarsi sul “watercooling”, quindi un sistema basato sul ricircolo dell’acqua. In questi 20 anni OVHcloud ha fatto costantemente evolvere questo sistema, che è oggi molto avanzato e permette di ottenere dei risultati davvero strabilianti, come ho avuto modo di constatare in prima persona durante la visita di uno dei data center. Avendo già visitato altri data center, fra i più avanzati al mondo, la sensazione entrando nel data center di Roubaix è stata di forte stupore, perché sono strutturati in modo sensibilmente diverso rispetto a un data center tradizionale, per quanto evoluto.

Un “normale” data center è costruito per rendere efficace il sistema di raffreddamento, che nella maggior parte dei casi è basato su un sistema industriale di condizionamento dell’aria, con dei “chiller” che raffreddano l’aria che circola nel data center e compensa il calore generato dai server. Questo comporta la necessità di disegnare la pianta del data center affinché fra i vari rack di server ci siano dei veri e propri corridoi dove l’aria può circolare e tutta la struttura è pensata per ottimizzare questo ricircolo dell’aria. Rack e corridoi sono diventati iconici, tanto che vengono mostrati in un qualsiasi film in cui deve essere mostrato un data center, così come diamo per scontato che l’ambiente all’interno del data center debba essere “controllato” in modo simile a quello di una sala operatoria di un ospedale, con una temperatura all’interno molto bassa.

Il segreto dei data center di OVHcloud è il watercooling

I data center di OVHcloud assomigliano invece a un impianto industriale, sia per i materiali utilizzati, con molto “metallo” in vista, sia per il calore che si percepisce entrando in una delle sale che ospitano i server. Nei data center di OVHcloud NON c’è un impianto di raffreddamento dell’aria. Ma come è possibile garantire il funzionamento ottimale di CPU e GPU, che tendono letteralmente a spaccarsi se non propriamente raffreddate, senza un adeguato impianto di raffreddamento dell’aria? La risposta l’abbiamo già data prima, citando il sistema di watercooling sviluppato da OVHcloud. Ora cerchiamo di descriverne il funzionamento, da cui derivano poi, a cascata, il modo con cui vengono assemblati i server, realizzati i rack e costruiti i data center.

Il primo elemento è chiamato “water block” ed è una placca oggi realizzata completamente in rame, ingegnerizzata da OVHcloud, la cui dimensione è simile a quella del processore che deve raffreddare. All’interno della placca, che viene montata a contatto del processore, viene fatta scorrere forzatamente dell’acqua. Dal water block partono due tubi di rame, uno per il carico e uno per lo scarico, collegati all’impianto di raffreddamento ad acqua del rack. Del rack parleremo dopo, relativamente ai water block è interessante notare che i due tubi vengono saldati con tecnologia laser, senza aggiunta di materiale, e che all’interno della placca vera e propria vengono “disegnati” dei canali per ottimizzare il raffreddamento offerto dall’acqua che ci passa attraverso.

Anche i water block sono prodotti internamente

OVHcloud non si è limitata a ingegnerizzare i water block, ma li produce direttamente in casa, sempre nell’ottica della strategia di integrazione verticale della produzione. Un settore della fabbrica di Croix, gestito da una società terza che lavora esclusivamente per OVHcloud, è quindi dedicato alla produzione dei water block, con specifiche macchine robotizzate. Sempre a Croix c’è un reparto di ricerca e sviluppo dove Ali “the cooling guy” Chehade è a capo del team che si occupa del costante sviluppo di tutte le componenti del watercooling, comprese quelle presenti nel rack che ospita i server. Anche il rack, denominato "autonomous rack", è stato ingegnerizzato da OVHcloud per ottimizzare il raffreddamento ad acqua e ospita 96 server 1U, che hanno un’altezza di 1,75 pollici, equivalenti a 4,4 cm, da ognuno dei quali usciranno i tubi di rame del water block e che poi vanno collegati all’impianto di ricircolo del rack, che poi a sua volta viene collegato alla pompa principale del data center. I water block possono essere più di uno per server, a seconda della configurazione, nel caso siano presenti più CPU o GPU, ma il concetto essenzialmente non cambia. CPU e GPU vengono raffreddate ad acqua, ma poi ci sono altre componenti dei server che comunque generano calore: scheda madre, memoria, ssd, solo per fare alcuni esempi. Qui interviene un’altra innovazione sviluppata da OVHcloud e che è legata al rack stesso, dove viene montata una “porta frigorifera”. In pratica il pannello posteriore del rack è uno sportello dove sono incastonate una serie di ventole e le tubature dell’impianto di raffreddamento da acqua. Il flusso d’aria generato dalle ventole è sufficiente a contenere il calore emesso dalle componenti non raffreddate ad acqua.

Va sottolineato che l’acqua immessa nel circuito di raffreddamento in un data center OVHcloud “tradizionale” ha una temperatura di 25 gradi e quindi non si può considerare “fredda”. Questo è un altro elemento che può far storcere il naso, ma tutto il sistema è basato sul concetto di Delta T, ossia della differenza di temperatura che si genera fra l’acqua che viene immessa nel sistema, la temperatura dell’aria nel data center e la temperatura che raggiunge l’acqua quando passa attraverso il water block. Fino al 2019 OVHcloud ha lavorato con un Delta T di 5 K (gradi kelvin), quindi il sistema doveva essere strutturato per mantenere la temperatura dell’acqua in entrata a 25 gradi, con l’aria del data center a 30 gradi e la temperatura dell’acqua nel water block a 35 gradi. A partire dal 2019 c’è stato un salto generazionale a Delta T pari a 20 K, che permette di rendere il sistema ancora più efficiente. Per chi volesse approfondire, consiglio questo blog post di OVHcloud.

Il watercooling rende i data center OVHcloud più efficienti energeticamente

Tornando al sistema di raffreddamento di un data center tipo di OVHcloud, ci sono tre circuiti: i singoli water block presenti sui server, il sistema di raffreddamento ad aria presente sulla porta del rack e un “heat rejection system” esterno. Anche per le mie limitate conoscenze sulla dinamica dei fluidi, semplifichiamo dicendo che l’acqua presente nel circuito di raffreddamento viene tenuta dal sistema alle temperature previste e questo permette di far funzionare i server e l’intero data center con un’efficienza energetica decisamente superiore rispetto alle soluzioni tradizionali basate sul condizionamento dell’aria.

Il risultato è che OVHcloud riesce a raggiungere una densità di server nei propri data center significativamente superiore rispetto a un data center tradizionale e contemporaneamente ottiene un’efficienza energetica molto difficilmente raggiungibile con le soluzioni più diffuse sul mercato. Nel mondo dei data center l’efficienza energetica è misurata con l’indice PUE, acronimo di Power Usage Effectiveness, tema che abbiamo già affrontato in altri contesti: indica l’efficienza energetica di un data center ed esprime il rapporto fra l’energia totale assorbita e quella per i soli apparati IT, i server. La media del mercato, a livello globale, è di 1,5, mentre i data center di OVHcloud riescono a operare con un PUE di 1,28. Questo permette, nel caso del campus di Roubaix che abbiamo visitato, di gestire i 120.000 server consegnati ai clienti con un cosumo istantaneo di energia di 16MW. L’obiettivo per il campus è di raggiungere, nei prossimi anni, il numero di 400.000 server installati, avendo a disposizione una capacità potenziale di 36,5MW. Nello specifico abbiamo visitato il Data Center RBX8 del campus di Roubaix che ospita attualmente 30.000 server.

Oggi OVHcloud ha 450.000 server installati in 34 data center e ognuno di questi è stato prodotto nella fabbrica di Croix, che è in grado di produrre 60/70.000 server all’anno. Ma come è organizzata la produzione dei server in una fabbrica come quella di OVHcloud? L’approccio è molto rigoroso e di stampo prettamente ingegneristico, anche se poi camminando all’interno della fabbrica, in questa come in una qualsiasi altra fabbrica di PC o server, il lavoro è ancora molto legato all’opera di persone che assemblano i vari componenti. Nella fabbrica di Croix lavorano circa 90 persone su un singolo turno e questo aspetto ci ha colpito, perché in altri contesti si lavora spesso su due, se non addirittura tre turni. Sono diversi i motivi dietro questa scelta, dalle condizioni di lavoro offerte agli operai alla garanzia di un elevato standard qualitativo e la possibilità per i vari settori, tenendo presente che la ricerca e sviluppo è dislocata nei locali attigui alla fabbrica, di interagire e intervenire in tempo reale in caso di problemi.

Una fabbrica all’avanguardia

L’altro aspetto interessante del modo in cui è organizzato il lavoro a Croix è che la produzione del rack e dei server che saranno ospitati all’interno viene sempre effettuata in contemporanea, per fare si che alla fine del ciclo di produzione venga realizzato un rack completo dei server pronto per poi essere installato nel data center di destinazione. All’interno della fabbrica si respira un’atmosfera di efficienza mista a serenità, i vari team sono molto affiatati e si percepisce che i vari operai lavorano insieme da tempo. Dalle parole di Guillaume Hochard, responsabile della produzione che ci ha accompagnato nella visita, ci si rende conto che non è una conseguenza casuale, ma il risultato di una chiara volontà da parte del management di organizzare il lavoro in un certo modo. Modalità che sono funzionali a soddisfare le esigenze di produzione dei data center sparsi per l’Europa. Un elemento che è cambiato negli ultimi anni, necessario per garantire i ritmi di produzione, è il modo con cui viene programmato l’approvvigionamento dei vari componenti. Prima della pandemia e delle conseguenze sulle supply chain mondiali che hanno portato alla carenza di semiconduttori, venivano fatti forecast di 3/4 mesi con i vari fornitori. Adesso è invece necessario bloccare le forniture per 8/12 mesi, altrimenti diventa impossibile garantire i ritmi di produzione.

Un altro elemento che contraddistingue l’integrazione verticale di OVHcloud è quello che internamente viene chiamato “sistema industriale frugale”. Ogni singolo server che viene prodotto, alla fine del suo ciclo di vita che dura circa 6/7 anni, viene riciclato e molte delle sue componenti vengono riutilizzate, in quella che possiamo individuare come una reale applicazione del concetto di economia circolare.