Проектирование системы охлаждения дата-центра
Проектирование системы охлаждения дата-центра
Ещё недавно дата-центры ассоциировались преимущественно с огромными зданиями, заполненными серверными стойками. Сегодня инженеры рассматривают куда более необычные концепции — вплоть до размещения вычислительных систем на орбите Земли.
В октябре 2026 года Google вывела на орбиту прототип для исследования работы вычислительного оборудования. Одной из важных инженерных задач проекта стало обеспечение теплоотвода: в вакууме привычное воздушное охлаждение невозможно, поэтому необходимо использовать другие механизмы передачи тепла.
Однако проблемы охлаждения актуальны не только для космических систем.
Согласно исследованию Международного энергетического агентства (IEA), в 2024 году дата-центры потребили около 415 ТВт·ч электроэнергии, или 1,5% мирового потребления. К 2030 году на Земле этот показатель, согласно базовому прогнозу агентства, может достичь 945 ТВт·ч.
Рост вычислительных мощностей сопровождается увеличением тепловыделения. Практически вся электрическая энергия, потребляемая серверным оборудованием, в конечном счёте преобразуется в тепло, которое необходимо отводить.
При проектировании дата-центра инженерам требуется ответить на несколько вопросов:
-
Как изменяется электрическая мощность серверов при увеличении вычислительной нагрузки?
-
Насколько быстро нагреваются GPU, CPU и конструкция серверного модуля?
-
При каких условиях достаточно пассивного теплоотвода?
-
Когда необходимо включать активную систему охлаждения?
-
Как работа охлаждения влияет на суммарное энергопотребление?
Один из способов исследовать эти вопросы до создания физического объекта — создать цифровую модель в Engee.

Модель дата-центра model.engee показывает, как меняющаяся вычислительная нагрузка влияет на электропотребление и температуру дата-центра. Сеть 10,5 кВ питает серверы через кабельную линию, трансформатор и выпрямитель, который формирует DC-шину напряжением 800 В. Тепловая модель объединяет 32 стойки с 2 304 GPU и 1 152 CPU и рассчитывает температуру чипов с учётом их теплоёмкости и отвода тепла.
В течение часа нагрузка несколько раз растёт и снижается. По результатам моделирования можно сравнить профиль нагрузки, напряжение DC-шины, суммарную мощность, температуры GPU и CPU и работу вентиляторов. Охлаждение реагирует на температуру стойки, а потребляемая вентиляторами мощность добавляется к общей электрической нагрузке ЦОДа.
Описание дата-центра
В качестве объекта исследования рассматривается дата-центр, состоящий из 32 серверных стоек . Каждая стойка содержит 18 вычислительных модулей, в каждом из которых размещаются 4 GPU и 2 CPU.

Таблица 1 — Состав моделируемого дата-центра
|
Параметр |
Значение |
|
Количество серверных стоек |
32 |
|
Вычислительных модулей в одной стойке |
18 |
|
Общее количество вычислительных модулей |
576 |
|
GPU в одном вычислительном модуле |
4 |
|
CPU в одном вычислительном модуле |
2 |
|
Общее количество GPU |
2 304 |
|
Общее количество CPU |
1 152 |
|
Номинальная мощность GPU |
2 500 Вт |
|
Номинальная мощность CPU |
250 Вт |
|
Мощность GPU в простое |
375 Вт |
|
Мощность CPU в простое |
75 Вт |
|
Суммарная расчётная мощность GPU |
5,76 МВт |
|
Суммарная номинальная мощность CPU |
0,288 МВт |
|
Суммарная расчётная мощность процессоров |
6,048 МВт |
Модель электроснабжения
Модель показывает путь электроэнергии от трёхфазной сети 10,5 кВ до серверного оборудования. Напряжение проходит через кабельную линию и понижающий трансформатор (опытные энергетики наверняка заметят нереалистично большую мощность трансформатора на схеме, в реальном ЦОДе питание распределили бы между несколькими трансформаторами и независимыми вводами, но мы моделируем укрупненно, поэтому нам можно). Затем трёхфазный выпрямитель формирует DC-шину с напряжением около 800 В. Конденсатор на шине сглаживает изменения напряжения при колебаниях нагрузки.
Серверы представлены переменным сопротивлением. К мощности GPU и CPU добавляются потери питания и мощность вентиляторов. Поэтому на графиках можно увидеть, как изменение загрузки и работы охлаждения влияет на суммарную мощность, ток и напряжение шины.

Тепловая модель вычислительного модуля
Один вычислительный модуль содержит четыре GPU и два CPU. Для каждого типа чипов модель рассчитывает электрическую мощность по текущей загрузке: у GPU дополнительно учитывается потребление памяти HBM, а при высокой температуре — дополнительные потери. Потреблённая мощность поступает в тепловой баланс как выделяемое тепло. GPU и CPU обладают теплоёмкостью, поэтому их температура меняется постепенно даже при резком скачке нагрузки. Тепло отводится через тепловые порты в стойку и далее в систему охлаждения. Модель выдаёт температуры GPU и CPU отдельно: они могут различаться между собой и не обязаны совпадать с показанием датчика температуры стойки.
В Engee нет готовых тепловых моделей ГПУ и ЦПУ. Поэтому напишем их (см. gpu.ngpc и cpu.ngpc) на языке физического моделирования Engee. К полученным моделям подключим теплопередачу от внешней среды, стойки и системы охлаждения.

Тепловая модель дата-центра
После моделирования одного модуля перейдем к тепловой модели всего ЦОДа. Поскольку в ЦОДе 18 модулей в каждой из 32 стоек, мощность одного модуля умножается на 18 × 32 = 576. Для этой операции тоже пришлось создать отдельные физические компоненты (см. исходный код в thermal_multiplier.ngpc), которые масштабируют тепловой поток между этим модулем и общей тепловой сетью. Их первое уравнение, T_A = T_B, сохраняет одинаковую температуру соединённых тепловых узлов. Второе, N_A·Q_A + N_B·Q_B = 0, задаёт соотношение потоков с учётом их направлений. Так один модуль может представлять теплообмен множества модулей без 576 копий тепловой схемы.

Тепло-электрическая модель дата-центра
После создания тепловой модели дата-центра перейдем к электрической части. Рассчитанная мощность серверов проходит через коэффициент 1,105754 (1/КПД): так к потреблению чипов добавляются потери питания. Затем к ней прибавляется входная мощность вентилятора P_fan. Получается полная электрическая нагрузка ЦОДа.
Нижняя часть — представление нагрузки на DC-шине. Датчик измеряет напряжение U между портами + и −. Из него и полной мощности вычисляется эквивалентное сопротивление R = U²/P для блока Variable Resistor. Если напряжение шины меняется, сопротивление подстраивается, чтобы потребляемая мощность оставалась близкой к заданной.

Модель системы охлаждения
Система охлаждения получает тепло от серверных стоек и следит за температурой теплового узла. Датчик сравнивает её с уставкой 25 °C. Если температура растёт, управляющий сигнал увеличивает скорость вентиляторов; ограничитель удерживает её в допустимом диапазоне. Небольшая задержка в цепи датчика нужна для расчёта модели. Мощность, которую потребляют вентиляторы, возвращается в электрическую модель и прибавляется к нагрузке серверов.
На схеме есть и пассивный теплообмен с внешней средой. Его интенсивность задают тепловые сопротивления, а температуру снаружи — отдельный источник. Поэтому результат зависит от погоды: холодный наружный воздух помогает отводить тепло, а при показанных на схеме 30 °C снаружи удерживать стойку у уставки 25 °C приходится активному охлаждению.
Так модель позволяет увидеть не только температуру стоек, но и цену её поддержания: при росте вычислительной нагрузки вентиляторы работают интенсивнее и увеличивают общее электропотребление ЦОДа.

Часовой график дата-центра
В отличие от жилого сектора, где есть резкие утренние и вечерние пики, коэффициент заполнения графика нагрузки ЦОД (отношение средней нагрузки к пиковой) обычно составляет 0,85–0,95:
На графике показана вычислительная нагрузка в течение часа. Короткие спады и повторные подъёмы позволяют проследить, как вслед за профилем меняется потребляемая серверами мощность. К ней добавляется мощность вентиляторов, поэтому суммарное потребление ЦОДа зависит и от вычислений, и от работы охлаждения.
Результаты симуляции
На графике мощности вентилятора видна реакция охлаждения на нагрев: при повышении температуры вентилятор ускоряется, при снижении тепловой нагрузки его потребление уменьшается. График напряжения DC-шины помогает проверить, как электрическая часть модели переносит эти изменения суммарной нагрузки.
Графики температур показывают тепловую инерцию: после роста нагрузки GPU и CPU нагреваются постепенно, а после её снижения остывают не сразу. Температуры чипов следует сравнивать с показанием датчика стойки отдельно — это разные точки тепловой модели. Именно по датчику стойки система охлаждения стремится удерживать уставку 25 °C.
Выводы
В демо-проекте создана тепло-электрическая модель дата-центра. Написаны модели GPU и CPU на языке физического моделирования Engee, задан меняющийся профиль вычислительной нагрузки, показан путь энергии от трёхфазной сети до DC-шины серверов.
Модель позволяет наблюдать, как загрузка влияет на потребляемую мощность, температуру чипов и работу вентиляторов. В расчёте учитываются тепловая инерция оборудования, температура внешней среды и дополнительное электропотребление системы охлаждения.
Дальше модель можно развить: добавить несколько независимых вводов и трансформаторов, распределить нагрузку между машзалами, уточнить характеристики вентиляторов и теплообмена, а также проверить сценарии отказа питания и охлаждения.
Использованные источники
- Язык физического моделирования Engee – назначение декларативного языка и структура раздела документации.