Ottenere 1 petabyte con consumi di 500 W: la sfida (vinta) di Toshiba

Un report del Lab di Toshiba Electronics Europe mostra come creare un sistema in grado di offrire fino a 1 PB di spazio di archiviazione contenendo però al massimo i consumi.

Toshiba: 1 Petabyte in 500 W

L’aumento dei dati online e la loro continua crescita necessitano di risposte in termini di soluzioni per l’archiviazione che si traducono nello sviluppo di sistemi di storage in grado di essere al passo con questo fenomeno.

Questi i parametri chiave:

• Costo: per via dell'immensa quantità di dati, il criterio più importante è quello del costo per capacità ($/TB);
• Dimensioni fisiche: anche lo spazio nei data center è un importante fattore di costo. Usare i dischi rigidi di capacità più elevata in rack con fattore di forma da 19 pollici può minimizzare lo spazio richiesto;
• Dissipazione di potenza: come suggerisce il nome, l'archiviazione online deve essere sempre attiva. Di conseguenza, i consumi energetici contribuiscono direttamente al costo totale di operazione. In più, ogni watt consumato dal sistema di storage deve essere compensato dal sistema di raffreddamento del data center, che porta a sua volta ad ulteriori costi per l'elettricità;
• Prestazioni: dall'archiviazione online ci si aspetta un certo livello di prestazioni, perché nessuno vuole aspettare tempi lunghi per poter salvare o accedere ai propri dati. Nel caso di applicazioni di backup la finestra temporale disponibile è limitata, quindi una quantità di banda ben definita deve essere disponibile in modo tale che i dati possano essere scritti nei tempi previsti. Quando c'è bisogno di ripristinare un backup, i dati devono essere recuperati il più velocemente possibile così che le aziende possano tornare a operare normalmente.

In questo studio Toshiba si è focalizzata sull'ottimizzazione del costo e della dissipazione di potenza minimizzando, allo stesso tempo, le dimensioni fisiche del sistema. L'ottimizzazione delle prestazioni del sistema non era tra gli obiettivi, ma è stata effettuata una misurazione per fornire dei valori di riferimento. Se le alte prestazioni dovessero essere uno degli obiettivi primari, possono essere usate altre soluzioni come gli SSD, per quanto il loro costo per capacità sia maggiore di quello basato sugli hard disk.

L'architettura dell'archiviazione: scelta degli hard disk

I dischi rigidi, o hard disk (spesso abbreviato in HDD, dall'inglese hard disk drive), offrono un costo per capacità di gran lunga minore per l'archiviazione online, di conseguenza ovviamente la scelta per il nostro sistema di storage ricade sugli hard disk. In merito al parametro $/TB, i modelli attuali da 12, 14 e 16 TB sono simili e compresi in un intervallo ridotto. Non c'è pertanto una preferenza specifica quando si cerca di ottimizzare il rapporto $/TB. Tuttavia, quando si usano dischi da 16 TB, sono necessarie meno unità per ottenere una certa capacità rispetto a quando si usano modelli da 12 o da 14 TB. Tutto ciò ha un impatto su un altro criterio di ottimizzazione: dal momento che meno dischi occupano meno spazio, a parità di capacità la dissipazione di potenza sarà anche significativamente più bassa, come mostrato dalla tabella 1.

 Tabella 1: dissipazione di potenza e capienza di HDD enterprise

(fonte: specifiche e manuali dei prodotti Toshiba, ciascuno per scritture/letture casuali QD=1 e blocchi da 64 kB, singolo disco)

Figura 1: dissipazione di potenza per TB per differenti generazioni di HDD

I criteri per individuare i requisiti complessivi di dissipazione di potenza e spazio, di conseguenza, sostengono l'utilizzo degli HDD con la più alta capacità disponibile, in questo caso 16 TB.

I dischi da 16 TB della serie Toshiba MG08 sono disponibili con interfacce SAS o SATA. L'interfaccia SAS ha due canali da 12 GB/s, che la rendono adatta ad architetture dove la velocità e, soprattutto, l'alta disponibilità sono importanti. Ciò avviene a discapito della dissipazione di potenza (i dischi SAS consumano circa 1-2 W in più rispetto ai dischi SATA, a causa dei consumi più elevati dell'interfaccia).

Figura 2: hard disk Toshiba MG08 da 16 TB

Dal momento che un obiettivo era quello di ottimizzare la dissipazione di potenza, è stato scelto il modello MG08ACA16TE con interfaccia SATA.

Il listino delle specifiche riporta i seguenti valori per i singoli dischi:

L'architettura dell'archiviazione: la scelta dell'alloggiamento

I modelli di alloggiamenti a carica superiore da 45-100 dischi con una dimensione standard 4U offrono il migliore utilizzo dello spazio per dischi da 3,5 pollici di livello enterprise di tipo nearline. Questi modelli sono disponibili come server (con una scheda madre da server) o come JBOD con expander SAS singoli o doppi.

Per questo progetto è stato scelto un modello di AIC con 60 alloggiamenti che si inserisce in qualunque rack esistente da 1000 mm grazie al suo design compatto. È importante sottolineare che i modelli con più di 60 dischi sono a volte molto lunghi, quindi non possono essere inseriti in armadi da 1000 mm, poiché richiedono versioni più profonde. Questa variante del JBOD è stata scelta perché permette di misurare facilmente la dissipazione di potenza degli HDD e la cablatura del segnale (backplane, expander). In questa ottica è stato scelto un modello con un singolo expander  così da risparmiare sia in termini di costo sia di dissipazione di potenza. Questa soluzione, inoltre, si abbina bene con i dischi SATA scelti, che hanno un solo canale dati sull'interfaccia. Il modello si chiama AIC-J4060-02 (JBOD, 4 unità di altezza, 60 alloggiamenti, versione 02 = singolo expander).

Figura 3: AIC J4060-02 JBOD

Un JBOD simile da 60 dischi, quando riempito completamente di dischi da 16 TB, ha una capacità di archiviazione lorda di 960 TB, ovvero quasi un petabyte. Il JBOD è connesso all’host bus adapter (HBA) o al controller RAID del server tramite un cavo mini-SAS-HD.

Configurazioni

Il consumo energetico del JBOD completamente riempito è stato misurato sui terminali da 220 V degli alimentatori ridondati. Tutte le misurazioni sono state effettuate con una temperatura ambientale di 24 °C.

In primis è stata misurata la dissipazione di potenza del JBOD acceso, ma senza dischi installati:

    • JBOD acceso, senza dischi, collegamento SAS acceso: 80 W

Il passo successivo è stato l'installazione di un singolo disco nel JBOD e la misurazione in diverse condizioni di wokload. Sono stati scritti blocchi da 64 KB sequenzialmente (un'attività equivalente all'archiviazione, alla registrazione di video e ai backup) insieme a letture sequenziali da 64 KB (equivalente al ripristino dei backup e allo streaming di contenuti multimediali). Per avere un riferimento è stato misurato anche il consumo durante la lettura e la scrittura di blocchi da 4 KB, corrispondenti all'attività di archiviazione dei "dati caldi" (hot data) nei database. Naturalmente questa non è l'applicazione a cui è destinata la configurazione con uno o più hard disk, quindi questi valori sono validi solo come riferimento. Per tutti i setup di test sono state misurate la dissipazione di potenza così come le prestazioni risultanti (IOPS per letture/scritture casuali, MB/s per quelle sequenziali).

In aggiunta a questi casi limite è stato fatto un test che approssimava un'attività reale. È stata letta e scritta in maniera casuale una serie di blocchi con un mix di dimensioni differenti (4 KB: 20%; 64 kB: 50%; 256 KB: 20%; 2 MB: 10%). Per ottenere le migliori prestazioni possibili, tutte le attività di test sintetico sono state eseguite con una profondità della di coda (queue depth, QD) pari a 16. Oltre a questi test è stato anche avviato un processo di copia standard sotto Windows ed è stata misurata la dissipazione di potenza.

I valori per il singolo disco (per differenza dagli 80 W del JBOD non popolato) sono costantemente più bassi dei valori nel listino delle specifiche. È da notare che, contrariamente alle specifiche del singolo disco, i valori per i carichi sequenziali sono più alti che per i carichi casuali. Ciò è dovuto al consumo più elevato degli expander SAS del JBOD che mettono a disposizione una banda più elevata nelle operazioni sequenziali.

Con tutti gli slot del JBOD riempiti di dischi da 16 TB, è stato preso nota della dissipazione di potenza massima all'avvio assieme al consumo quando non in attività (idle) senza attività di lettura e scrittura sui dischi.

JBOD con i dischi in attività, spin-up massimo in 500 ms:     720 W
JBOD non in attività:                                                           420 W

Il consumo massimo quando si avvia il JBOD è sotto il valore calcolato (80 W + 60*6,85 W = 1100 W) perché i dischi sono avviati con un ritardo intenzionale (staggered spin-up). Il valore per il JBOD non in attività è invece più elevato del valore calcolato (80 W + 60*4 W = 320 W) poiché il controller continua a comunicare con i dischi anche quando non è attivo.

60 hard disk in modalità JBOD, carichi paralleli

Nel passaggio successivo tutti e 60 i dischi in modalità JBOD sono stati utilizzati individualmente dal sistema operativo con carichi di lavoro sintetici. I workload descritti in precedenza sono stati eseguiti ed è stata misurata la dissipazione di potenza, così come le prestazioni, per avere un riferimento.

Configurazione RAID locale

Successivamente, i 60 dischi sono stati accorpati in un unico disco virtuale utilizzando un controller RAID, specificamente come RAID10 con 5 sub-array. Dai 480 TB netti risultati sono stati ricavati due dischi logici da 240 TB, formattati in ambiente Windows Server 2016.

Software-defined storage (archiviazione definita tramite software)

Infine, i 60 dischi sono stati configurati per formare un pool di archiviazione in un ambiente di software-defined storage, usando ZFS, gestito dal software JovianDSS di Open-E.

Figura 4: il software Open-E JovianDSS

La ridondanza viene implementata eseguendo il mirroring dei dati, con un pool fatto di 5 sub-array e fornito di un SSD di classe enterprise da 800 GB come cache di lettura e con un altro SSD da 800 GB come buffer di scrittura. La capacità di archiviazione del pool è messa a disposizione del server con il protocollo iSCSI dove poi vengono installati dischi logici da 240 TB. Sono stati effettuati anche test per il disco logico su un RAID locale (letture e scritture casuali, sequenziali e miste; copia di file). Le prestazioni di un disco logico fornite da ZFS tramite iSCSI dipendono fortemente dalla banda di rete e, soprattutto, dalla configurazione con gli SSD che fungono da cache di lettura e da buffer di scrittura. Di conseguenza i valori per i carichi esclusivamente sintetici sono dati qui solo come riferimento.

Conclusioni

Un petabyte (1.000 TB) di archiviazione online su hard disk può ora essere fornito con gli ultimi dischi enterprise da 16 TB di capienza in un JBOD 4U con meno di 500 W di consumi energetici. Questi consumi variano tra 420 W (standby, nessuna attività di lettura/scrittura) e 480 W (lettura/scrittura continue di blocchi di dimensioni differenti).

In configurazioni tipiche, come mirroring o RAID, le capienze nette di archiviazione tra 480 TB (RAID10/striped mirror) e 800 TB (RAID 60/striped double parity) sono disponibili usando 60 dischi da 16 TB. Nel sistema complessivo ciò risulta in un consumo energetico di circa 1 W per TB netto (mirroring) fino a 0,5 W per TB netto (RAID con parità).

Sviluppi futuri

Toshiba Electronics Europe GmbH stima che la capacità totale degli hard disk per enterprise (nearline) consegnati nel 2019 sia di circa 500 exabyte (500.000 petabyte, 500 milioni di terabyte). Se tutti questi hard disk fossero dischi da 16 TB in JBOD da 60 alloggiamenti, ciò porterebbe a un consumo continuo di 225 MW (equivalente a quanto prodotto da una centrale elettrica a carbone di medie dimensioni). Tuttavia, dato che la maggior parte degli hard disk consegnati nel 2019 aveva capienze inferiori, si può presumere che i consumi siano ancora più elevati. E, dal momento che ci si aspetta che la quantità di dati aumenterà ancora in futuro, i consumi necessari per archiviare questi dati avranno un ruolo sempre più importante. Pertanto è responsabilità del settore storage, ed è anche uno degli obiettivi di Toshiba, sviluppare hard disk con capacità sempre più elevate ottimizzando allo stesso tempo la dissipazione di potenza.