Z wizytą w chmurach – czyli co widzieliśmy w centrali OVHcloud we Francji

6 kwietnia 2023

OVHcloud jest aktualnie jedyną europejską firmą, która w obszarze usług chmurowych jest w stanie chociaż nawiązać rynkową walkę z amerykańskimi supergigantami. W tym tygodniu mieliśmy okazję zobaczyć jak powstaje infrastruktura dla chmury OVH.

Przyznaję, że mam wiele sympatii dla firm, które robią rzeczy nieco pod prąd, po swojemu. OVHcloud z całą pewnością jest biznesem nietuzinkowym, stawiającym na własną pomysłowość. Przykład? Proszę bardzo. Wiodący europejski dostawca usług chmurowych (ustępujący jedynie amerykańskim gigantom, takim jak AWS czy Microsoft), to firma stawiająca na własne rozwiązania. Swoje serwery projektują sami, tworząc własne racki oraz układy chłodzenia. I to właśnie z okazji 20-lecia własnych systemów chłodzenia wodnego stosowanego w serwerach, francuska firma zaprosiła mnie, oraz mojego redakcyjnego kolegę, Piotra Gołębia, do swojej centrali w samym centrum Flandrii.

Chłodzenie wodą po 20 latach rozwoju

Zacznijmy od tego, że OVH zaczęło stosować chłodzenie wodne już 20 lat temu, w 2003 roku, a więc ledwie 4 lata po założeniu firmy przez Octave’a Klabę, imigranta z Polski. Tak, nie każdy wie, że największa europejska firma chmurowa ma w pewnym sensie polskie korzenie. OVH do dziś pozostaje zresztą firmą rodzinną, co może budzić pewne zdziwienie biorąc pod uwagę skalę działalności. Pierwotnie stosowane chłodzenie wodne, w porównaniu z tym, czego w swoich centrach danych używa dziś OVHcloud, wygląda jak Ford T przy Tesli Model S – pełni wprawdzie tę samą funkcję, ale dzielą je epoki rozwoju. W 2011 roku stosowana już na szeroką skalę metoda chłodzenia wodnego odprowadzała skutecznie 60 W energii cieplnej, podczas gdy znacznie usprawniona dziś – aż 500 W.

Jak efektywna jest metoda chłodzenia stosowana przez OVHcloud? Wskaźnik efektywności zużycia wody (WUE) jaki udało się osiągnąć francuskiej firmie wynosi 0,2 l/kWh. Oznacza to, że objętość jednej szklanki jest zużywana przy odprowadzeniu 1 kWh energii. Średnio w branży ten współczynnik, jak podaje OVH za US Department of Energy, wynosi 1,8 l/kWh. W efekcie tego PUE (power usage effectiveness) grupy OVH jest także wyróżniające się na tle branżowej średniej. Ta wynosi bowiem 1,55, podczas gdy PUE francuskiej firmy to 1,28.

OVH ROUBAIX DATA CENTER (fot. OVH)

System ten jest nadzwyczaj dobrze zaprojektowany głównie dlatego, że OVHcloud samodzielnie tworzy własne serwery (co mogliśmy obserwować na żywo). Firma projektuje dla każdego typu serwera odpowiedni blok wodny procesora lub GPU (co ważne, działający w bezpośrednim kontakcie w jednostką), ale także specjalnie zaprojektowane „plecy” dla szafy rackowej, roboczo nazywane „drzwiami od lodówki”. Zawierają one nie tylko potężny radiator, umożliwiający szybkie oddanie ciepła cieczy z CPU i GPU, ale także przyspieszające cały proces wentylatory, zasysające powietrze od frontu szafy. Taka konstrukcja oczywiście eliminuje wszelkie osłony i drzwiczki od przedniej strony, ale skutkuje efektywną metodą na chłodzenie w skali makro.

Rozwiązania techniczne OVHcloud

Piotr Gołąb podczas wizyty w OVHcloud zauważył kilka interesujących detali w kolejnej nowości z zakresu chłodzenia:

Krzysztof wspomniał o efektywności rozwiązań chłodzenia cieczą, które stosowane są przez OVHcloud, że są to systemy wyjątkowo oszczędne w zapotrzebowanie na czynnik chłodniczy, w tym przypadku wodę destylowaną, że na jeden kilowat wytwarzanego ciepła wystarcza zaledwie 200 ml wody. Jednakże to niejedyny wyróżnik rozwiązań chłodzenia cieczą przez francuskiego producenta. Przyjmuje się, że średnio w pełni obsadzona szafa rack, generuje około 40 kW ciepła. Biorąc pod uwagę dzisiejsze rozwiązania serwerowe, czyli układy graficzne wydzielające średnio 400 W i procesory generujące około 300 W ciepła. OVHcloud deklaruje, że ich system chłodzenia wodnego jest w stanie odebrać z szafy rack około 55 kW ciepła, co powoduje, że ich rozwiązania są już przystosowane dla kolejnej generacji procesorów i układów graficznych, które będą instalowane w najnowszych serwerach. Przy okazji tych rozmów mogliśmy zobaczyć jak prezentuje się ich najnowszy system chłodzenia cieczą układów graficznych. Miedziane bloki wodne na rdzeń i pamięci DDR wykonywane są na miejscu, podobnie jak bloki na CPU. Co ciekawe firma układa karty graficzne w blokach po dwie, jak kanapkę, gdzie jeden układ znajduje się na drugim. Pozwala to oszczędzać miejsce i w pojedynczej obudowie 1U zmieścić osiem układów graficznych jeden nad drugim w formie kanapki. Jak podzielił się z nami producent, wysoka wydajność systemu chłodzenia cieczą pozwala na utrzymywanie układów graficznych w temperaturze około 65 ⁰C. dla wszystkich układów graficznych w pojedynczym module 1U.

Układy graficzne ułożone jeden na drugin z dedykowanym chłodzeniem cieczą OVHcloud

Co więcej, firma stawia na ciągły rozwój i nie boi się inwestycji w ten obszar. Najlepszym tego dowodem jest nowość, która pojawi się w najbliższej przyszłości, czyli serwery w pełni zanurzane w czynniku chłodniczym, tylko nie w stosowanym do tej pory modelu, że serwery zanurzane są w wielkich wannach, tylko będziemy mieć do czynienia

Nowy rodzaj szafy rack z imersyjnym chłodzeniem cieczą

z rozwiązaniem jak najbardziej zbliżonym to aktualnie występujących szaf rackowych. Serwery będą ustawione niczym książki na półce w bibliotece. Z własnych obserwacji wywnioskowałem, że to poszczególne serwery będą w pełni zalewane cieszą dialektryczną, a następnie podłączane do systemu chłodzenia zintegrowanego z szafą rack.

Dzięki takiemu rozwiązaniu lżejsza gorąca woda będzie przemieszczała się w górę szafy rack, a zimna cięższa woda będzie samoczynnie gromadziła się w niższych partiach szafy rack. Co jest jeszcze bardziej interesujące w tym rozwiązaniu, firma rezygnuje z wszelkiego rodzaju pomp wody i wentylatorów, bazując jedynie na zjawisku transportu ciepła (konwekcji).

Dzięki temu rozwiązaniu system chłodzenia będzie całkowicie pasywny. Jego wskaźnik efektywności PPUE ma być zbliżony idealnej wartości 1 i wynosi 1,004, a drugi z kluczowych wskaźników wykorzystania wody WUE ma wynieść 0, dla centrów danych, gdzie średnia temperatura otoczenia wynosi poniżej 43 ⁰C. Kolejnym ważnym plusem takiego rozwiązania jest cisza, brak wentylatorów i pomp, spowoduje, że centrum będzie praktycznie bezgłośne, w odróżnieniu od aktualnie panujących standardów w centrach danych.

Dzięki takim rozwiązaniom oferta francuskiego giganta pozostanie ciekawą alternatywą dla standardowych centrów danych, a co najważniejsze z biegiem czasu stanie coraz bardziej przyjazna środowisku

Podejście do sprzętu

Skala, bo to o nią ostatecznie chodzi, jest w przypadku OVHcloud potężna. Firma posiada 34 centra danych na całym świecie z ponad 450 000 serwerów. Wymaga więc optymalizacji, także jeśli chodzi o zarządzanie zasobami sprzętowymi. Odwiedziliśmy część firmy, która zajmuje się refabrykacją i demontażem serwerów. Magazyn części jest dość imponujący – na półkach znajdują się setki modułów pamięci i procesorów, pochodzących z demontażu starszych maszyn. Ostatecznie trafiają, jeśli są w pełni sprawne, do nowych urządzeń, które mogą pracować jeszcze latami. W trakcie spaceru po tej części firmy dowiedzieliśmy się, że średnio w OVHcloud serwer służy przez około 7 lat, chociaż niektóre egzemplarze działają dłużej. Może się wydawać, że to długo… i to prawda. Chodzi jednak o to, by maksymalnie wyeksploatować cały cykl życia urządzenia. Do niektórych zadań nie potrzeba potężnej wydajności, więc zachowanie części starych maszyn może być dobrym pomysłem. Wadą tego rozwiązania jest oczywiście duża różnica pomiędzy najsłabszymi, a najsilniejszymi zasobami sprzętowymi w firmie – dlatego ostatecznie potężne znaczenie ma zarządzanie usługami i zasobami.

OVH ROUBAIX DATA CENTER (fot. OVH)

Czysta chmura

Ta efektywność ma się jednak odbywać jak najniższym kosztem środowiskowym. OVHcloud ma bardzo ambitne cele w zakresie zrównoważonego rozwoju. Do 2025 roku całość zasilania firmy ma pochodzić ze źródeł niskoemisyjnych. Biorąc pod uwagę to, że zalicza się do tych źródeł także atom, a w zdominowanej przez ten rodzaj energetyki Francji OVH ma znaczącą część swoich centrów danych, cel ten wydaje się być bliski spełnienia. Do 2025 także, firma chce osiągnąć zerową emisyjność z obszarów 1 i 2 (obejmujących bezpośrednie czynniki, takie jak produkcja czy zużycie energii) Global Net-Zero, a do 2030 roku w pełnym zakresie (a więc także z pośrednimi punktami emisji).

Co ważne, informacje na temat emisji będą niedługo dostępne dla klientów OVHcloud w postaci kalkulatora emisji. Będzie on umożliwiał sprawdzenie nie tylko łącznej wartości emisji, ale też pochodzącej z różnych, pośrednich procesów.

Europejskie podejście do chmury

Czas na małe podsumowanie wyprawy na francusko-belgijskie pogranicze. Przede wszystkim zaskoczyła mnie efektywność z jaką OVHcloud tworzy swoje rozwiązania. Możliwe, że owo zaskoczenie wynika po części ze stereotypu dotyczącego podejścia do pracy mieszkańców kraju wina, serów i bagietek. Tymczasem na miejscu mogliśmy obserwować szybko i sprawnie działający zespół. Właśnie – zespół, a nie maszyny. Te wprawdzie na miejscu są używane (np. roboty produkcyjne zajmują się wycinaniem laserowym i wyginaniem płyt stalowych, z których powstają obudowy dla serwerów), ale większość zadań wykonują ludzie. Wyjaśniono mi to w prosty, ale logiczny sposób: elastyczność. Wykwalifikowany pracownik może przejąć wiele funkcji, podczas gdy przestawianie maszyn na inne zadania jest procesem skomplikowanym i czasochłonnym.

Skoro już przy zespole jesteśmy, muszę nadmienić, że wszyscy pracownicy firmy, z którymi zetknęliśmy się podczas wizyty byli bardzo pomocni i przyjaźni. Pozytywne nastawienie dało się wyłowić także z tego, jak odnoszą się do siebie nawzajem – przyjrzałem się nieco zwykłemu firmowemu życiu podczas wizyty w Roubaix (HQ i data center) i Croix (R&D i produkcja). Wydaje się więc, że pomimo wysokiej efektywności, zespół francuskiej firmy jest co najmniej zadowolony. Firma, jako całość, też może mieć powody do zadowolenia. W 1 kwartale 2022 roku zanotowała przychody na poziomie 216 milionów Euro, co oznacza wzrost o 15,4% w stosunku do analogicznego okresu w 2022 r. Biznes więc rośnie i to pomimo ambitnych celów środowiskowych. Rozwój ten polecam obserwować, bo starcie OVHcloud z amerykańskimi hyperscalerami jest zderzeniem dwóch naprawdę różnych modeli biznesowych.