Технология жидкостного охлаждения РСК

При построении современных центров обработки данных (ЦОД) на основе высокопроизводительных вычислительных систем или серверных ферм одним из основных потребителей электроэнергии является подсистема охлаждения. Энергия, потребляемая подсистемой охлаждения, может варьироваться от 2-6% до 60-70% от общего количества энергии ЦОД. Десятикратная разница достигается за счет увеличения эффективности отвода тепла от генерирующих ее элементов – серверов, систем хранения, коммуникационных подсистем. Серверная составляющая близка к 90-95% от общего объема генерации тепла, поэтому вопрос эффективности отвода тепла в современном ЦОД – это вопрос построения максимально эффективной системы отвода тепла от массива серверов.

Сравнение двух равных по производительности ЦОД

Технология прямого жидкостного охлаждения РСК обеспечивает прецизионное отведение тепла от сервера, используя охлаждающую пластину, полностью покрывающую всю элементосодержащую поверхность вычислительного узла и в свою очередь охлаждаемую жидкостью. Данный подход обеспечивает наиболее полный теплосъем со всей площади компонентов сервера, исключая локальные перегревы и воздушные карманы, что увеличивает срок службы электронных компонентов, а также повышает отказоустойчивость всего решения.

	Технология применяемая РСК позволяет реализовать жидкостное охлаждение для стандартных серверных плат, процессоров и памяти, но также и дополнительных карт расширения, таких как ускорители или сопроцессоры, карты ввода/вывода и прочее. При этом для всех элементов расширения так же обеспечивается эффективное прямое жидкостное охлаждение.
Узел РСК Торнадо		Узел РСК Торнадо с двумя сопроцессорами Intel Xeon Phi

На основе технологии прямого жидкостного охлаждения РСК была создана архитектура высокоплотного размещения серверов в стойке с прямым жидкостным охлаждением всех серверов - РСК Торнадо, обеспечивающая плотность упаковки до 128 серверов в стойке размеров 80х80х200 см. Такая архитектура позволяет отвести до 100кВт тепловой энергии от одной стойки.

В свою очередь за счет более эффективного механизма переноса тепла, реализованного в жидкостной системе охлаждения, достигается существенная экономия электроэнергии, по сравнению с традиционными системами воздушного конвекционного и принудительного охлаждения. При использовании фрикулинга достижимый для системы коэффициент PUE (коэффициент эффективности использования энергии) равен 1,06, т.е. на охлаждение тратится не более 6% электроэнергии, потребляемой вычислителем. Суммарная экономия затрат на охлаждение составляет до 68 % по сравнению с воздушной или воздушно-водяной системами охлаждения (у которых типичный коэффициент PUE равен 1.5-2).

Экспериментальные данные

Влияние температуры на отказоустойчивость компонентов:

При увеличении температуры на 10°C надежность электронных устройств с длительным сроком эксплуатации уменьшается на 50%
Повышение температуры на 15°C увеличивает частоту отказов жесткого диска в два раза

**Сравнительное тестирование систем на основе воздушного и жидкостного охлаждения РСК**
Тип охлаждения	Воздушный	Жидкостной
Приложение	NAMD V.2.9 (2012-04-30), x86_64, ICC12.1, –O3 –xAVX
Тест	ApoA1 (92224 атомов, 65000 шагов, 12A cutoff+PME 4 steps, periodic)
Процессор	Intel® Xeon® E5-2690 step C2, (2,90 ГГц, 8 ядер, 20M кеш-памяти, 8,00 GT/s Intel® QPI
Память	64ГБ (8*8 ГБ DDR3-1600 Samsung® PC3-12800 ECC Reg. DIMM, p/n: M392B1K70DM0-CK0)
Серверная системная плата	Intel Server Board S2600JFF
Система охлаждения	3 штатных вентилятора Intel Server H2200JF, Tвх=17С	Технология жидкостного охлаждения РСК
Внешний вид вычислительных узлов

	Воздушное	Жидкостное	Разница
Время выполнения теста	63 мин. 21 сек. (3801 секунды)	59 мин. 29 сек. (3569 секунды)	6,5% (1,065х)
Средняя электрическая мощность	491 Вт	425 Вт	15,5% (1,155х)
Потребленная сервером энергия	0,518 кВт/ч	0,421 кВт/ч	23% (1,230х)
PUE	1,6	1,06	50% (1,5х)
Оценка общей потребленной энергии для теста	0,83 кВт/ч	0,44 кВт/ч	88% (1,88х)