Chłodzenie serwerowni – dlaczego standardowa klimatyzacja nie zawsze wystarcza?

Opublikowane przez Artykuł Sponsorowany Możliwość komentowania Chłodzenie serwerowni – dlaczego standardowa klimatyzacja nie zawsze wystarcza? została wyłączona Pozostałe

Chłodzenie serwerowni – dlaczego standardowa klimatyzacja nie zawsze wystarcza?

Chłodzenie serwerowni musi działać przez całą dobę. Serwery, macierze, przełączniki i zasilacze wydzielają ciepło bez względu na porę dnia czy roku. Zwykła klimatyzacja komfortu nie zawsze radzi sobie z takim obciążeniem, nie zapewnia też odpowiedniego przepływu powietrza i kontroli wilgotności. System trzeba dobrać do rzeczywistej ilości ciepła, gęstości mocy w szafach rack, sposobu rozprowadzania powietrza oraz wymaganej redundancji. W większych lub mocno obciążonych serwerowniach stosuje się między innymi jednostki szafowe, systemy In-Row i układy z wodą lodową.

Serwerownia może przypominać zwykłe pomieszczenie techniczne, ale pod względem chłodzenia działa zupełnie inaczej. Sprzęt IT niemal cały czas zamienia pobieraną energię elektryczną w ciepło. Trzeba je sprawnie odebrać i odprowadzić poza budynek.

Samo obniżenie temperatury w pomieszczeniu nie wystarczy. Chłodne powietrze musi dotrzeć do wlotów urządzeń, a system powinien pracować również nocą, zimą, przy większym obciążeniu oraz po awarii jednej z jednostek.

Dlaczego urządzenia IT stale wydzielają ciepło?

Serwery, macierze dyskowe, przełączniki, routery, systemy pamięci masowej i urządzenia zasilające pobierają energię przez całą dobę. Niemal cała ta energia ostatecznie trafia do pomieszczenia jako ciepło.

Obciążenie cieplne serwerowni:

• występuje przez cały rok, także zimą;
• nie znika po zakończeniu pracy biura;
• może szybko wzrosnąć po dodaniu nowych urządzeń;
• skupia się na małej powierzchni;
• bywa inne w każdej szafie rack.

W bilansie cieplnym liczą się nie tylko serwery. Ciepło wydzielają też zasilacze UPS, jednostki dystrybucji zasilania, oświetlenie i pozostałe elementy instalacji. Do pomieszczenia może ono przenikać również przez ściany, dach i okna albo wraz z powietrzem z zewnątrz.

Pobór mocy sprzętu IT pozwala wstępnie ocenić ilość wydzielanego ciepła, ale to za mało, aby prawidłowo dobrać klimatyzację. Projektant sprawdza też, które urządzenia pracują jednocześnie, jak płynie powietrze oraz ile rezerwy potrzeba na późniejszą rozbudowę. Ważne są również warunki w samym pomieszczeniu.

Jakie warunki trzeba utrzymać w serwerowni?

Temperatura przy wlocie do urządzeń

Temperatura na ścianie serwerowni nie mówi wszystkiego. Najważniejsze jest powietrze, które dociera do wlotów urządzeń IT. W tym samym pomieszczeniu przy podłodze może być chłodno, a w górnej części szafy może już powstać strefa przegrzania.

Wytyczne ASHRAE TC 9.9 dla wielu klas sprzętu chłodzonego powietrzem podają zalecany zakres 18–27°C na wlocie. Nie jest to jednak jedna właściwa nastawa dla każdej serwerowni. Trzeba sprawdzić klasę środowiskową urządzeń, dokumentację producenta i warunki gwarancji. Sprzęt pracujący w szafach o dużej gęstości mocy może wymagać bardziej rygorystycznych warunków.

Zbyt mocne chłodzenie także nie pomaga. Podnosi zużycie energii, a przy słabej kontroli wilgotności i punktu rosy może prowadzić do kolejnych problemów. Celem nie jest więc jak najniższa temperatura, lecz stabilne warunki przy wlocie do każdego urządzenia.

Wilgotność i punkt rosy

Zbyt wilgotne powietrze może sprzyjać kondensacji i korozji. Zbyt suche zwiększa z kolei ryzyko wyładowań elektrostatycznych. Oba skrajne przypadki są niekorzystne dla sprzętu.

Nie każda serwerownia musi jednak utrzymywać sztywny zakres wilgotności względnej, na przykład 45–55%. Obecne wytyczne biorą pod uwagę również temperaturę punktu rosy. Dopuszczalne wartości zależą od klasy urządzeń i zastosowanych zabezpieczeń antystatycznych, dlatego trzeba je określić w projekcie na podstawie używanego sprzętu.

Liczy się też stabilność. Nagły skok temperatury lub wilgotności może być groźniejszy niż niewielkie, kontrolowane odchylenie, które nadal mieści się w wymaganiach producenta.

Klimatyzacja komfortu a chłodzenie serwerowni

Klimatyzacja komfortu ma tworzyć przyjemne warunki dla ludzi w biurze, mieszkaniu, sali konferencyjnej czy lokalu usługowym. Obciążenie zmienia się tam w ciągu dnia. System usuwa zarówno ciepło jawne, które podnosi temperaturę, jak i ciepło utajone związane między innymi z obecnością ludzi i wilgocią.

W serwerowni wygląda to inaczej. Dominuje ciepło jawne, a urządzenia pracują bez dłuższych przerw. System musi stale odbierać dużą ilość ciepła, nie osuszając przy tym niepotrzebnie powietrza.

Cecha	Klimatyzacja komfortu	System chłodzenia serwerowni
Główne zastosowanie	Pomieszczenia przeznaczone dla ludzi	Pomieszczenia z infrastrukturą IT
Charakter obciążenia	Zmienny, zależny od obecności użytkowników	Stały lub długotrwały, całodobowy
Praca zimą	Nie każdy model chłodzi przy niskiej temperaturze zewnętrznej	System dobiera się do całorocznego chłodzenia
Udział chłodzenia jawnego	System jest przystosowany również do usuwania wilgoci	Wysoki udział chłodzenia jawnego
Kontrola wilgotności	Zwykle ograniczona	Możliwa dokładna kontrola i współpraca z czujnikami
Sterowanie	Najczęściej według temperatury w pomieszczeniu	Według warunków przy wlotach sprzętu i obciążenia IT
Monitoring	Podstawowy	Alarmy, historia parametrów, integracja z BMS lub DCIM
Redundancja	Zazwyczaj niewymagana	Często stosowana, np. w układzie N+1

Zwykły klimatyzator split może wystarczyć w małej serwerowni o niewielkim obciążeniu, jeśli producent dopuszcza jego ciągłą pracę w trybie chłodzenia przy panujących na zewnątrz temperaturach. Często potrzebne są jednak dwie jednostki działające naprzemiennie, sterownik rotacyjny, system alarmowy i odpowiednia rezerwa wydajności.

Ryzyko rośnie, gdy jeden klimatyzator biurowy jest jedyną ochroną całej infrastruktury. Awaria sprężarki, zanik zasilania, zatkany filtr lub wyłączenie urządzenia podczas mrozu mogą wtedy szybko podnieść temperaturę w serwerowni.

Jak dobrać system chłodzenia do serwerowni?

Najpierw trzeba spisać urządzenia, zmierzyć pobór mocy i sprawdzić obecną oraz planowaną gęstość obciążenia w każdej szafie. Znaczenie ma też układ pomieszczenia, dostęp do instalacji wody lodowej, miejsce na jednostki zewnętrzne, wymagany poziom niezawodności i możliwość prowadzenia prac serwisowych.

Dobrze zaprojektowana klimatyzacja serwerowni nie może opierać się wyłącznie na obliczeniu całkowitej mocy chłodniczej. Trzeba również zaplanować drogę chłodnego powietrza do szaf i odprowadzenie powietrza ogrzanego. System powinien działać przez cały rok, kontrolować wilgotność, przekazywać alarmy i utrzymać bezpieczne warunki po awarii jednej z jednostek.

Jednostki szafowe

Szafy klimatyzacji precyzyjnej stoją w pomieszczeniu technicznym lub tuż obok niego. Mogą tłoczyć powietrze pod podłogę podniesioną, do kanałów albo bezpośrednio do serwerowni.

Takie rozwiązanie dobrze sprawdza się w średnich i większych obiektach, w których można uporządkować obieg powietrza. Jednostki szafowe mogą wykorzystywać bezpośrednie odparowanie czynnika chłodniczego – są wtedy określane jako CRAC. Modele współpracujące z wodą lodową nazywa się CRAH.

Systemy In-Row

Jednostki In-Row montuje się pomiędzy szafami rack. Dzięki temu powietrze pokonuje krótszą drogę niż przy chłodzeniu całego pomieszczenia. Urządzenie odbiera gorące powietrze blisko źródła i podaje schłodzony strumień w stronę wlotów serwerów.

In-Row przydaje się przy dużej gęstości mocy, nierównym rozmieszczeniu obciążenia lub rozbudowie działającej już serwerowni. Dobrze współpracuje z zabudowanym zimnym albo gorącym korytarzem. Nadal trzeba jednak prawidłowo ustawić szafy, wypełnić wolne miejsca panelami zaślepiającymi i uszczelnić szczeliny, przez które powietrze mogłoby ominąć sprzęt.

Układy wykorzystujące wodę lodową

W większych obiektach ciepło może odbierać instalacja wody lodowej. Woda płynie do wymienników w jednostkach CRAH, urządzeniach In-Row lub innych elementach zamontowanych blisko sprzętu IT.

Taki układ osiąga wysoką wydajność i pozwala centralnie sterować chłodzeniem kilku pomieszczeń. Może też korzystać z free coolingu, jeśli pozwalają na to warunki zewnętrzne i konstrukcja instalacji.

System wody lodowej jest bardziej złożony. Potrzebuje dobrze zaprojektowanej hydrauliki, pomp, armatury i automatyki, a także ochrony przed wyciekiem. Trzeba również przemyśleć rezerwę źródła chłodu.

Chłodzenie blisko szafy lub bezpośrednio cieczą

Przy bardzo dużej gęstości mocy chłodzenie samym powietrzem może już nie wystarczyć albo zużywać zbyt dużo energii. W takiej sytuacji stosuje się na przykład wymienniki na tylnych drzwiach szaf oraz systemy bezpośredniego chłodzenia cieczą.

Rozwiązania te spotyka się zwłaszcza w infrastrukturze HPC, systemach sztucznej inteligencji i innych instalacjach, w których jedna szafa pobiera dużo mocy. System musi pasować do konkretnego sprzętu IT. Nie jest to prosta przeróbka zwykłej klimatyzacji.

Dlaczego przepływ powietrza ma tak duże znaczenie?

Nawet duża moc chłodnicza nie pomoże, jeśli powietrze krąży w przypadkowy sposób. Najczęstsze problemy to:

• mieszanie zimnego nawiewu z gorącym powietrzem wylotowym;
• powrót ogrzanego powietrza na przód szafy;
• puste miejsca w szafach bez paneli zaślepiających;
• przewody blokujące przepływ pod podłogą techniczną;
• źle rozmieszczone nawiewniki;
• różne kierunki przepływu powietrza w urządzeniach;
• nadmiar powietrza w jednej części pomieszczenia i niedobór w innej.

Podstawą jest układ zimnych i gorących korytarzy. Fronty szaf, którymi sprzęt pobiera powietrze, kieruje się do zimnego korytarza, a tyły – do gorącego. Zabudowanie jednego z korytarzy jeszcze skuteczniej ogranicza mieszanie się obu strumieni.

Amerykański Departament Energii wskazuje, że oddzielenie gorących i zimnych korytarzy, montaż paneli zaślepiających oraz uszczelnienie przepustów poprawiają rozprowadzanie powietrza. Zaleca również mierzenie temperatury przy wlotach sprzętu, a nie tylko na powrocie do klimatyzatora.

Redundancja – co stanie się po awarii jednostki?

Jeśli brak chłodzenia może zatrzymać ważne usługi, instalacja powinna działać mimo awarii pojedynczego elementu. Często wybiera się układ N+1. Oznacza to, że oprócz urządzeń potrzebnych do pokrycia całego obciążenia dostępna jest jeszcze jedna jednostka rezerwowa.

Redundancja to coś więcej niż dwa klimatyzatory. Trzeba sprawdzić wszystkie wspólne elementy:

• zasilanie i zabezpieczenia elektryczne;
• sterowniki i czujniki;
• obiegi chłodnicze lub hydrauliczne;
• pompy i źródło wody lodowej;
• jednostki zewnętrzne;
• komunikację z systemem nadrzędnym;
• możliwość wykonania serwisu bez wyłączania całego chłodzenia.

Urządzenia mogą pracować na zmianę, aby podzespoły zużywały się równomiernie. Automatyka powinna włączyć jednostkę rezerwową zaraz po awarii podstawowej lub przy wzroście obciążenia. Nie można czekać, aż temperatura znacznie przekroczy bezpieczny poziom.

Co warto monitorować w serwerowni?

Dobry monitoring wykrywa kłopot, zanim urządzenia zaczną się przegrzewać. Termometr przy drzwiach nie pokaże przecież, co dzieje się w każdej szafie.

Zależnie od wielkości serwerowni kontroluje się:

• temperaturę przy wlotach urządzeń, najlepiej na kilku wysokościach szafy;
• temperaturę powietrza powrotnego;
• wilgotność względną i punkt rosy;
• stan jednostek chłodzących;
• zabrudzenie filtrów i spadki ciśnienia;
• pobór mocy sprzętu IT;
• obecność wody pod urządzeniami i instalacją;
• otwarcie drzwi;
• zanik zasilania;
• pracę wentylatorów, pomp i sprężarek.

Alarm musi trafić do osoby, która może szybko zareagować. Służą do tego systemy BMS, DCIM i SNMP, a także wiadomości e-mail lub powiadomienia telefoniczne. Warto również zapisywać historię parametrów. Powolny wzrost temperatury może wskazywać na zabrudzony wymiennik, słabszy przepływ powietrza albo kończącą się rezerwę chłodniczą.

Jakich błędów unikać przy projektowaniu chłodzenia?

Systemu nie dobiera się wyłącznie do powierzchni pomieszczenia. Dwie serwerownie o takim samym metrażu mogą mieć zupełnie inne potrzeby. W jednej działa kilka małych urządzeń, a w drugiej stoją gęsto wyposażone szafy rack.

Do częstych błędów należą też:

• brak miejsca na przyszłą rozbudowę infrastruktury;
• brak rezerwy na wypadek awarii jednej jednostki;
• montaż czujnika temperatury w niereprezentatywnym miejscu;
• kierowanie zimnego powietrza bez zaplanowania jego drogi powrotnej;
• brak możliwości chłodzenia przy niskiej temperaturze zewnętrznej;
• przewymiarowanie urządzeń, które przez to często się włączają i wyłączają;
• brak koordynacji klimatyzacji z zasilaniem awaryjnym i ochroną przeciwpożarową;
• utrudniony dostęp do urządzeń, filtrów i innych części wymagających serwisu;
• brak prób instalacji pod rzeczywistym lub symulowanym obciążeniem.

Po uruchomieniu systemu trzeba sprawdzić kilka trybów pracy, w tym działanie po wyłączeniu jednej jednostki. Dopiero taka próba pokaże, czy zaplanowana redundancja rzeczywiście chroni serwerownię.

Najważniejsze wnioski

• Sprzęt IT wydziela ciepło przez całą dobę, dlatego serwerownia potrzebuje ciągłego chłodzenia o każdej porze roku.
• Zwykła klimatyzacja komfortu nie zawsze nadaje się do pracy 24/7 i dokładnego sterowania warunkami.
• Temperaturę trzeba mierzyć przede wszystkim przy wlotach urządzeń, a nie tylko na ścianie pomieszczenia.
• Droga przepływu powietrza jest równie ważna jak nominalna moc chłodnicza.
• Jednostki szafowe, systemy In-Row i instalacje wody lodowej odpowiadają na inne potrzeby związane ze skalą obiektu i gęstością mocy.
• Redundancja powinna obejmować cały układ chłodzenia, a nie tylko dodatkowy klimatyzator.
• Kontrola temperatury, wilgotności, zasilania i wycieków pomaga wykryć problem przed awarią.
• Ostateczny dobór instalacji musi wynikać z bilansu cieplnego, dokumentacji sprzętu IT oraz analizy ryzyka.