CPU in throttling nei datacenter Google? Colpa di un problema "particolare"

Quando i servizi di Google non funzionano bene, viene subito da pensare a un problema della nostra connessione o alla peggio a qualche intoppo tecnico ai server, un malfunzionamento di un componente hardware o un aggiornamento dell'infrastruttura.

Siamo abituati così bene che difficilmente ci verrebbe da pensare che un server di Google potrebbe non funzionare al meglio a causa di alcune ruote rotte che hanno innescato a una reazione a catena che ha minato il funzionamento di alcuni servizi. Detta così sembra una barzelletta, ma è stata proprio Google a raccontare l'accaduto in un post sul proprio blog dedicato al cloud, illustrando come anche nelle migliori infrastrutture l'imprevisto, anche quello meno probabile, sia sempre dietro l'angolo.

Ma cosa è successo di preciso? Improvvisamente, un ingegnere del team dedicato all'affidabilità dei siti ha ravvisato un picco di errori su alcuni server deputati allo stoccaggio in cache dei contenuti a cui gli utenti accedono di frequente. I server sono stati immediatamente messi offline per limitare l'impatto sugli utenti, destinando al compito altri sistemi. Dopodiché è partita la caccia al problema, inizialmente da remoto.

Per prima cosa gli ingegneri di Google hanno identificato alcuni errori di rete BGP (border gateway protocol) che suggerivano come l'intoppo non fosse legato al router ma ai server stessi. Ulteriori approfondimenti hanno fatto emergere messaggi kernel che indicavano una riduzione della frequenza di lavoro delle CPU. Gli ingegneri, infine, hanno scoperto che i sistemi malfunzionanti erano isolati ai server di un singolo rack.

Incapaci di capire a distanza il motivo per cui le CPU causavano errori del kernel, gli ingegneri hanno chiesto ai dipendenti presenti nel datacenter di verificare fisicamente la situazione. Con sorpresa, i lavoratori si sono trovati davanti a un rack inclinato in avanti, a causa di una serie di ruote rotte, probabilmente a causa del peso eccessivo del rack stesso.

L'inclinazione del rack interrompeva il corretto flusso del refrigerante, facendo aumentare la temperatura delle CPU fino al punto da innescare il cosiddetto throttling, ossia la riduzione della frequenza operativa - e di conseguenza un calo delle prestazioni - come misura di preservazione della CPU stessa.

Temendo che il problema potesse essere diffuso, Google ha sostituito tutti i rack che potevano essere vulnerabili allo stesso problema. Lo spiacevole evento ha indotto la casa di Mountain View a riconsiderare il modo in cui sposta i nuovi rack nei suoi datacenter durante l'espansione o la creazione di una infrastruttura.