Серверное оборудование выделяет огромное количество тепла. Процессоры, память, диски, блоки питания — каждый компонент генерирует тепловую энергию. Если температура превысит допустимые значения, железо начнёт троттлить, терять производительность, выходить из строя. Системы кондиционирования ЦОД — это не просто кондиционеры побольше. Это инженерные решения, которые обеспечивают точный микроклимат: температуру 18-27°C, влажность 40-60%, равномерное распределение холодного воздуха.
В статье разберём принципы расчёта тепловой нагрузки, архитектуру воздушных потоков, типы систем охлаждения и методы контроля температуры. Материал поможет спроектировать систему кондиционирования для машинного зала на 10-500 киловатт, избежать перегрева оборудования и снизить энергопотребление на охлаждение.
Почему нужна специализированная система охлаждения
Обычные офисные кондиционеры не справятся с серверной. Плотность тепловыделения в ЦОД достигает 5-20 кВт на квадратный метр — в десятки раз выше, чем в офисе. Стойка с современными серверами может генерировать 10-15 кВт тепла. Если поставить 10 таких стоек в комнату 50 м², получим 100-150 кВт тепловой нагрузки. Это как включить 150 обогревателей одновременно.
Офисный кондиционер рассчитан на 2-5 кВт холодопроизводительности и предназначен для комфорта людей. Он работает периодически, поддерживает температуру ±2-3°C, не критичен к влажности. Серверы требуют непрерывной работы, точности ±1°C, контроля влажности, резервирования систем. Поэтому для кондиционирования серверных используют прецизионные (точные) кондиционеры или центральные чиллерные системы.
Что происходит при перегреве
Когда температура процессора превышает 80-85°C, срабатывает тепловая защита. Сервер снижает частоту ядер (троттлинг), падает производительность. При 90-95°C сервер выключается аварийно. Регулярные перегревы сокращают срок службы компонентов: для каждых +10°C сверх нормы время до отказа уменьшается вдвое.
Диски чувствительны к температуре. HDD оптимально работает при 25-40°C. При 50°C резко растёт вероятность сбоев, данные могут повредиться. SSD выдерживает до 70°C, но при длительной работе в жаре деградирует флеш-память. Память DDR4/DDR5 тоже греется: модули с высокой плотностью могут выделять 10-15 Вт каждый, требуют активного обдува.
Блоки питания теряют КПД при нагреве. Если в прохладной серверной БП выдаёт 94% КПД, то при +35°C эффективность падает до 88-90%. Это значит, что больше энергии уходит в тепло, которое нужно отводить. Получается замкнутый круг: чем жарче, тем больше греется оборудование и тем сложнее его охладить.
Расчёт тепловой нагрузки
Прежде чем выбирать систему кондиционирования, нужно посчитать, сколько тепла выделяет оборудование. Основная формула: тепловая мощность (кВт) = потребляемая электрическая мощность (кВт). Почти вся электроэнергия, которую потребляют серверы, превращается в тепло.
Для точного расчёта суммируйте максимальную мощность всех устройств в стойке. Например, сервер с двумя блоками питания по 750 Вт обычно потребляет 400-600 Вт под нагрузкой. Но при пиковой нагрузке (все ядра загружены, диски пишут, сеть работает на максимуме) он может выдать 700-800 Вт. Для расчёта охлаждения берите именно пиковое значение, чтобы система не захлебнулась при нагрузке.
Примерные значения тепловыделения
| Тип оборудования | Потребляемая мощность | Тепловыделение |
|---|---|---|
| Сервер 1U (2 процессора, 128 ГБ RAM) | 200-400 Вт | 200-400 Вт |
| Сервер 2U (4 процессора, 512 ГБ RAM) | 500-800 Вт | 500-800 Вт |
| Серверная платформа высокой плотности | 300-600 Вт | 300-600 Вт |
| Сетевой коммутатор 48 портов | 50-150 Вт | 50-150 Вт |
| Система хранения 12-24 диска | 300-500 Вт | 300-500 Вт |
| Стойка 42U (плотная загрузка) | 8-15 кВт | 8-15 кВт |
К тепловой нагрузке оборудования добавьте теплопритоки извне: освещение (100-150 Вт/м²), люди (100 Вт на человека), солнечное излучение через окна (если есть), тепло от стен и потолка. Для серверной без окон и с минимальным присутствием людей внешние притоки составляют 5-10% от нагрузки оборудования.
Итоговая формула холодопроизводительности: Q = (P_серверы + P_сеть + P_СХД + P_прочее) × 1,1 + Q_внешние. Коэффициент 1,1 — запас на пиковые нагрузки и потери в воздуховодах. Например, машинный зал с 20 стойками по 5 кВт каждая: (20 × 5) × 1,1 + 10 = 120 кВт холодопроизводительности.
Архитектура воздушных потоков
Недостаточно просто поставить мощный кондиционер. Нужно организовать движение воздуха так, чтобы холодный поток попадал точно на вход серверов, а горячий выход не смешивался с холодным входом. Иначе получится рециркуляция: горячий воздух подмешивается к холодному, температура на входе растёт, серверы перегреваются даже при достаточной мощности охлаждения.
Горячий и холодный коридоры
Стойки расставляют рядами. Между рядами формируют коридоры: холодный (перед лицевой панелью серверов) и горячий (за задней панелью). Серверы засасывают воздух спереди, нагревают внутри, выбрасывают сзади. Все стойки в ряду ориентированы одинаково: лицом к лицу или задом к заду.
Кондиционеры подают холодный воздух в холодный коридор — обычно через фальшпол с перфорированными панелями. Воздух проходит через серверы, нагревается, выходит в горячий коридор, поднимается к потолку. Под потолком располагают воздухозаборники кондиционеров, которые втягивают горячий воздух, охлаждают его и снова подают вниз.
Такая схема работает, если холодный и горячий коридоры изолированы друг от друга. Если этого нет, горячий воздух перемешивается с холодным, эффективность падает. Для изоляции используют потолочные или торцевые панели, закрывают проходы между стойками, устанавливают занглушки в пустые юниты.
Изоляция горячего коридора
Более эффективное решение — полностью закрыть горячий коридор. Ставят потолок и торцевые двери, получается замкнутый объём. Горячий воздух не смешивается с холодным, температура в горячем коридоре может достигать 40-50°C, но это нормально — серверам важна температура на входе, а не на выходе.
Изоляция горячего коридора даёт несколько плюсов. Во-первых, можно поднять температуру подачи холодного воздуха с 16-18°C до 22-24°C — это снижает энергопотребление кондиционеров. Во-вторых, исчезает риск локального перегрева: даже если один сервер выделяет больше тепла, это не влияет на соседей. В-третьих, уменьшается требуемый расход воздуха — кондиционеры могут работать на меньших оборотах, меньше шума и износа.
Типы систем кондиционирования
Для ЦОД применяют несколько типов систем, каждая с плюсами и минусами. Выбор зависит от мощности, бюджета, требований к надёжности.
Прецизионные кондиционеры (CRAC/CRAH)
Computer Room Air Conditioner (CRAC) — автономные шкафы-кондиционеры, специально для серверных. Холодопроизводительность от 10 до 150 кВт на блок. Работают круглосуточно, поддерживают температуру с точностью ±1°C, контролируют влажность. Внутри — компрессор, испаритель, вентиляторы. Снаружи — конденсатор (обычно на крыше или фасаде).
CRAC подходит для машинных залов на 50-300 кВт. Ставят несколько блоков по периметру комнаты, работают параллельно, обеспечивают резервирование по схеме N+1 или 2N. Если один блок выходит из строя, остальные подхватывают нагрузку. Плюс — автономность, не нужна центральная инженерная инфраструктура. Минус — высокое энергопотребление (PUE 1,5-1,8), шум, необходимость фреонового контура.
Computer Room Air Handler (CRAH) — похожая конструкция, но без собственного компрессора. CRAH получает холодную воду из чиллера, прогоняет воздух через теплообменник. Энергоэффективнее CRAC (PUE 1,3-1,5), тише, проще в обслуживании. Но требует центральной системы холодоснабжения.
Чиллерные системы
Для крупных ЦОД (500+ кВт) строят централизованную систему: чиллер (холодильная машина) вырабатывает холодную воду 7-12°C, насосы прокачивают её по трубам к фанкойлам (теплообменникам) в машинном зале. Фанкойлы продувают воздух через холодную воду, отдают холод, возвращают тёплую воду в чиллер.
Чиллер ставят снаружи здания или в техническом помещении. Он охлаждает воду, используя градирню (испарительное охлаждение) или сухой конденсатор (воздушное охлаждение). Испарительные градирни эффективнее, но требуют водоподготовки и защиты от замерзания зимой. Сухие конденсаторы проще, но менее эффективны при жаре.
Плюсы чиллерной системы: высокая энергоэффективность (PUE 1,2-1,4), масштабируемость, возможность фрикулинга зимой. Минусы: высокая стоимость, сложность монтажа, нужны специалисты для обслуживания.
Рядное охлаждение (In-Row Cooling)
Блоки охлаждения встраивают прямо в ряд стоек. Холодный воздух подаётся локально, на расстоянии 1-2 метров от серверов. Нет длинных воздуховодов, нет потерь, высокая точность. Подходит для стоек с высокой плотностью (10-20 кВт на стойку), где обычное охлаждение не справляется.
Рядные кондиционеры компактны (ширина 300-600 мм), занимают место одной стойки, подключаются к водяному контуру или фреоновому. Эффективность высокая (PUE 1,1-1,3), но стоимость выше, чем у классических CRAC. Используют в блейд-серверах, GPU-кластерах, высоконагруженных серверных платформах.
Организация фальшпола и подпотолочного пространства
Фальшпол (raised floor) — пространство высотой 30-80 см под полом машинного зала. Туда укладывают кабели, трубы, воздуховоды. Но главная функция — подача холодного воздуха. Кондиционеры подают воздух в подпольное пространство, оттуда он выходит через перфорированные панели в холодные коридоры.
Перфорация панелей — от 15% до 60% площади. Чем выше плотность стойки, тем больше нужна перфорация. Панели с 25% перфорацией подходят для стоек 3-5 кВт, с 60% — для 10-15 кВт. Расположение перфорированных панелей критично: ставьте их только в холодных коридорах, перед стойками. Если поставить в горячем коридоре — получите рециркуляцию.
Подпотолочное пространство (plenum) — под техническим потолком или прямо над стойками. Туда уходит горячий воздух из горячих коридоров. Высота 50-100 см, чтобы воздух свободно циркулировал. Оттуда горячий воздух засасывают кондиционеры. Важно герметизировать проходы труб и кабелей через потолок, чтобы воздух не перетекал мимо воздухозаборников.
Контроль температуры и мониторинг
Датчики температуры и влажности устанавливают в нескольких точках: на входе и выходе стоек, в холодных и горячих коридорах, на разных высотах. Это позволяет отслеживать распределение температуры, находить горячие точки, корректировать поток воздуха.
Оптимальная температура на входе сервера — 22-24°C. Современные серверы по стандарту ASHRAE A2 допускают до 35°C, но работа при таких значениях снижает надёжность и КПД. На выходе — 35-45°C, в изолированном горячем коридоре может быть до 50°C.
Влажность поддерживают в диапазоне 40-60%. Низкая влажность (<30%) приводит к статическому электричеству, которое может повредить электронику. Высокая влажность (>70%) вызывает конденсат на холодных поверхностях, коррозию контактов. Прецизионные кондиционеры автоматически увлажняют или осушают воздух.
Системы мониторинга (DCIM, BMS) собирают данные с датчиков, строят тепловые карты, предупреждают о превышении порогов. Современные системы охлаждения интегрируются с мониторингом и автоматически регулируют обороты вентиляторов, температуру подачи, распределение нагрузки между блоками.
Фрикулинг: бесплатное охлаждение зимой
Когда на улице холодно (ниже +10-15°C), можно использовать наружный воздух для охлаждения. Это называется фрикулинг (free cooling). Экономия энергии — до 60% в холодное время года. Есть два типа: прямой и косвенный.
Прямой фрикулинг: наружный воздух проходит через фильтры, подаётся в машинный зал, охлаждает серверы, выбрасывается наружу. Простая схема, высокая эффективность. Минус — воздух с улицы несёт пыль, влагу, перепады влажности. Нужны мощные фильтры, контроль влажности, защита от загрязнений. Применяют редко, в основном в северных регионах с сухим климатом.
Косвенный фрикулинг: холодный наружный воздух охлаждает воду в теплообменнике или конденсатор чиллера. Воздух в машинном зале остаётся внутри замкнутого контура, не контактирует с улицей. Влажность и чистота не меняются. Чиллер с фрикулингом зимой работает почти без компрессора, только насосы прокачивают воду — энергопотребление падает в 5-10 раз.
В климате России фрикулинг работает 6-8 месяцев в году (октябрь-апрель). Окупается за 2-3 года. Для новых ЦОД — must-have технология.
Резервирование и надёжность
Серверы работают круглосуточно, простой недопустим. Системы кондиционирования должны иметь резерв. Схема резервирования N+1: установлено N блоков для нагрузки, плюс 1 резервный. Если один блок выходит из строя, остальные продолжают работу без перегрузки. Например, нагрузка 120 кВт — ставят 4 блока по 40 кВт. Три обеспечат 120 кВт, четвёртый — резерв.
Более надёжная схема 2N: две полностью независимые системы, каждая тянет 100% нагрузки. Одна система — основная, вторая — резервная или они делят нагрузку 50/50. При отказе любой системы вторая подхватывает полную нагрузку. Используют в критичных ЦОД (Tier III, Tier IV).
Обслуживание систем — раз в 3-6 месяцев: чистка фильтров, проверка фреона, контроль датчиков, смазка подшипников вентиляторов. Фильтры забиваются пылью, расход воздуха падает, температура растёт. Утечка фреона снижает холодопроизводительность на 10-20% за год. Регулярный сервис продлевает срок службы оборудования с 7-10 до 12-15 лет.
Энергоэффективность: снижаем PUE
Power Usage Effectiveness (PUE) — главная метрика энергоэффективности ЦОД. PUE = общая потребляемая мощность / мощность IT-оборудования. Идеальное значение — 1,0 (вся энергия уходит на IT). Реальные значения: плохие ЦОД — PUE 2,0-2,5, средние — 1,5-1,8, хорошие — 1,2-1,4, лучшие в мире — 1,05-1,15.
Основной потребитель энергии после серверов — система охлаждения. На неё уходит 30-50% от всей мощности ЦОД. Снижение энергопотребления охлаждения напрямую снижает PUE. Способы оптимизации:
- Повышение температуры подачи холодного воздуха с 18°C до 24°C снижает нагрузку на кондиционеры на 20-30%
- Изоляция горячих коридоров устраняет рециркуляцию, повышает эффективность на 15-20%
- Фрикулинг зимой экономит 40-60% энергии охлаждения
- Переход на чиллерную систему вместо CRAC снижает PUE на 0,2-0,3 пункта
- Применение частотных преобразователей на вентиляторах и насосах экономит 15-25%
Каждая десятая доля PUE — это сотни киловатт экономии в год для среднего ЦОД. При стоимости электричества 5-7 руб/кВт·ч окупаемость инвестиций в энергоэффективность — 1-3 года.
Практические рекомендации по выбору системы
Для мини-серверной на 10-30 кВт подойдут 1-2 прецизионных кондиционера CRAC по 15-20 кВт. Простой монтаж, не требует инженерной инфраструктуры. Резервирование N+1: два блока по 15 кВт для нагрузки 20 кВт. Фальшпол необязателен, можно подавать воздух через напольные блоки или потолочные диффузоры.
Для машинного зала на 100-200 кВт выбирайте между CRAC и CRAH. CRAC — если нет центральной системы холодоснабжения. CRAH — если можно поставить чиллер на крыше или рядом. CRAH эффективнее и тише. Обязателен фальшпол, изоляция горячих коридоров, мониторинг температуры. Резервирование N+1 или N+2.
Для крупного ЦОД (500+ кВт) стройте чиллерную систему с фрикулингом. Один или несколько чиллеров, фанкойлы в машинном зале, гидравлическая развязка, автоматическое управление. Инвестиции выше, но долгосрочная экономия окупает затраты. PUE можно снизить до 1,2-1,3. Резервирование 2N для критичных нагрузок.
Для высокоплотных стоек (15+ кВт) добавьте рядное охлаждение. Невозможно прокачать достаточно воздуха через фальшпол для стойки 20 кВт — локальное давление не хватает. Рядные блоки решают проблему, подавая холод точечно. Используют вместе с базовой системой кондиционирования: базовая держит общую температуру, рядная — гасит пики.
Ошибки при проектировании и эксплуатации
Недооценка тепловой нагрузки — главная ошибка. Считают по паспортной мощности блоков питания или по средней загрузке серверов. В реальности оборудование работает на пиках, а не на средних значениях. Закладывайте максимальную паспортную мощность плюс 10-20% запас.
Отсутствие изоляции коридоров приводит к рециркуляции. Горячий воздух подмешивается к холодному, температура на входе серверов растёт на 5-10°C, система не справляется. Изолируйте горячие коридоры или хотя бы поставьте заглушки в пустые юниты стоек, закройте зазоры.
Неправильное расположение перфорированных панелей. Если поставить их не перед стойками, а между рядами или в горячем коридоре, холодный воздух уйдёт мимо серверов, смешается с горячим. Ставьте панели только в холодных коридорах, точно перед входом воздуха в стойки.
Игнорирование мониторинга. Без датчиков не видно, где перегрев, где лишний холод, как работает система. Установите минимум 4-6 датчиков: в холодном коридоре вверху и внизу, в горячем коридоре, на выходе кондиционеров. Настройте оповещения при превышении порогов.
Редкое обслуживание. Фильтры забиваются за 3-6 месяцев, холодопроизводительность падает на 10-15%, растёт нагрузка на компрессоры, повышается энергопотребление. Чистите фильтры раз в квартал, проверяйте фреон раз в полгода, калибруйте датчики раз в год.
Интеграция с системами управления
Современные системы кондиционирования интегрируются с системами мониторинга ЦОД (DCIM) и управления зданием (BMS). Протоколы интеграции: Modbus, BACnet, SNMP. Контроллеры кондиционеров передают данные: температуру, влажность, состояние компрессоров, аварии. DCIM собирает данные, строит графики, рассчитывает PUE, управляет режимами работы.
Продвинутые системы автоматически регулируют температуру подачи в зависимости от нагрузки. Если серверы загружены слабо, можно поднять температуру с 22°C до 25°C — снизится энергопотребление. При пиковой нагрузке система опускает температуру до 20°C, чтобы избежать перегрева. Динамическое управление экономит 10-15% энергии без риска для оборудования.
Интеграция с системами питания позволяет контролировать PUE в реальном времени. DCIM знает, сколько потребляют серверы (из PDU), сколько — системы охлаждения (из счётчиков кондиционеров), сколько — освещение и прочие системы. Рассчитывает PUE ежечасно, показывает тренды, помогает находить резервы оптимизации.
Подбор оборудования для конкретных задач
Если строите инфраструктуру для виртуализации или облачных сервисов, плотность стоек будет средней (5-8 кВт). Подойдут стандартные прецизионные кондиционеры или чиллерная система. Важно обеспечить равномерное охлаждение по всему залу, чтобы виртуальные машины могли мигрировать между хостами без риска перегрева.
Для GPU-кластеров и высокопроизводительных вычислений плотность достигает 15-25 кВт на стойку. Графические процессоры выделяют по 300-400 Вт каждый, в стойке может быть 8-16 GPU. Обычное охлаждение не справится — нужно рядное или даже жидкостное охлаждение. Жидкостное охлаждение подводит воду к радиаторам прямо на процессорах и GPU, отводит тепло без шума и с высоким КПД.
Для хранилищ данных (СХД с множеством дисков) важна стабильность температуры. Диски чувствительны к перепадам: резкое охлаждение или нагрев на 10°C вызывает термические деформации, растёт вероятность сбоев. Поддерживайте температуру ±1-2°C, используйте прецизионные кондиционеры с точным контролем.
При развёртывании больших объёмов готовых сборок серверов учитывайте, что их тепловыделение может отличаться от стандартных конфигураций. Замеряйте реальное энергопотребление под нагрузкой, корректируйте расчёт охлаждения.
