Иммерсионное охлаждение серверов: принцип работы и преимущества

Рост вычислительных мощностей привёл к резкому увеличению тепловыделения в дата-центрах. Традиционные системы воздушного охлаждения достигли предела эффективности: кондиционеры потребляют до 40% энергии ЦОД, а плотность размещения серверов ограничена возможностями вентиляции. Иммерсионное охлаждение серверов решает эту проблему радикально — оборудование полностью погружают в диэлектрическую жидкость, которая отводит тепло в 1200 раз эффективнее воздуха.

Технология актуальна для высоконагруженных инфраструктур: AI/ML-кластеров, майнинг-ферм, HPC-систем, edge-датацентров. В России иммерсионные ЦОД появились в 2020-х, сейчас их строят Yandex, Сбер, МТС — там, где критична энергоэффективность и компактность.

Как работает иммерсионный ЦОД

Серверы размещают в герметичных резервуарах (баках) объёмом от 200 до 2000 литров. Оборудование полностью погружено в специальную жидкость — синтетическое масло или фторуглеродный теплоноситель. Жидкость не проводит ток, поэтому серверы работают без риска короткого замыкания.

Процесс теплоотвода выглядит так:

1. Нагрев жидкости. Процессоры, память и другие компоненты выделяют тепло. Жидкость у горячих поверхностей мгновенно нагревается и поднимается вверх — работает естественная конвекция.
2. Циркуляция. Нагретая жидкость выходит из бака через верхний патрубок, холодная — поступает снизу. Насосы прокачивают теплоноситель через внешний теплообменник.
3. Охлаждение. В теплообменнике жидкость отдаёт тепло вторичному контуру — обычно это вода из градирни или чиллера. Охлаждённая жидкость возвращается в бак.
4. Повторный цикл. Система работает непрерывно, поддерживая температуру жидкости в диапазоне 40-50°C.

В одном баке размещают до 40-60 серверов серверов форм-фактора 1U-2U. Стойки не нужны — оборудование крепится на специальных направляющих, которые опускаются в резервуар. Плотность размещения достигает 100-150 кВт на стойку против 10-15 кВт при воздушном охлаждении.

Типы жидкостей для иммерсионного охлаждения

Выбор теплоносителя определяет эффективность, безопасность и стоимость эксплуатации ЦОД. Используют два класса жидкостей.

Однофазные жидкости (single-phase immersion cooling)

Теплоноситель остаётся в жидком состоянии во всём диапазоне рабочих температур. Тепло отводится за счёт циркуляции жидкости через теплообменник. Типичные представители:

Жидкость	Теплопроводность, Вт/(м·К)	Температура кипения, °C	Особенности
Синтетическое масло (3M Novec, Shell GTL)	0,14-0,16	250-300	Доступно, совместимо с пластиком и резиной, требует фильтрации
Минеральное масло	0,12-0,14	260-340	Дешевле, но деградирует со временем, оставляет осадок
ПАО (полиальфаолефины)	0,15-0,17	280-320	Стабильны, не окисляются, высокая цена

Однофазные системы проще в обслуживании: достаточно насосов и теплообменника. Жидкость служит 5-7 лет, затем требуется замена из-за накопления частиц и окисления. Стоимость теплоносителя — от 3000 до 15 000 рублей за литр в зависимости от типа.

Двухфазные жидкости (two-phase immersion cooling)

Теплоноситель кипит при низкой температуре (45-65°C), пар поднимается к конденсатору в верхней части бака, там охлаждается и стекает обратно. Тепло отводится за счёт фазового перехода — это эффективнее циркуляции жидкости.

Используют фторуглероды (3M Fluorinert, Solvay Galden):

• Температура кипения: 50-65°C
• Теплота парообразования: 88-110 кДж/кг
• Не горючие, химически инертные
• Стоимость: от 20 000 рублей за литр

Двухфазные системы дороже в закупке, но эффективнее: процессоры работают при температуре 50-55°C против 70-80°C в однофазных системах. Это критично для серверных процессоров с TDP выше 300 Вт — например, AMD EPYC 9004 или Intel Xeon Platinum 8480+.

Экономия энергии в иммерсионном ЦОД

Основной источник экономии — отказ от систем кондиционирования. В традиционном ЦОД на охлаждение уходит 30-40% потребляемой мощности. Иммерсионная система снижает эти затраты до 5-10%.

Сравнение энергопотребления

Тип охлаждения	PUE (Power Usage Effectiveness)	Доля затрат на охлаждение	Температура процессора, °C
Воздушное (CRAC/CRAH)	1,5-1,8	35-40%	75-85
Жидкостное (DLC, Direct Liquid Cooling)	1,2-1,3	15-20%	60-70
Иммерсионное однофазное	1,05-1,15	5-10%	50-60
Иммерсионное двухфазное	1,02-1,08	3-7%	45-55

PUE (коэффициент использования энергии) показывает отношение общего потребления ЦОД к потреблению IT-оборудования. Чем ближе к 1,0 — тем эффективнее. Иммерсионные системы достигают PUE 1,03-1,05 против 1,5-1,8 при воздушном охлаждении.

Реальные цифры экономии

Рассмотрим ЦОД мощностью 1 МВт (IT-нагрузка):

• Воздушное охлаждение: общее потребление 1,6 МВт (PUE 1,6), из них 600 кВт — кондиционеры. Годовые затраты на электроэнергию: 1,6 МВт × 8760 ч × 6 руб/кВт·ч = 84 млн рублей.
• Иммерсионное охлаждение: общее потребление 1,08 МВт (PUE 1,08), из них 80 кВт — насосы и теплообменники. Годовые затраты: 1,08 МВт × 8760 ч × 6 руб/кВт·ч = 57 млн рублей.
• Экономия: 27 млн рублей в год, или 32%.

Дополнительный эффект — снижение нагрузки на электросеть. В регионах с дефицитом мощности это позволяет разместить ЦОД без дорогостоящего усиления подстанций.

Плотность размещения оборудования

Иммерсионное охлаждение позволяет разместить в 5-10 раз больше серверов на квадратный метр по сравнению с воздушным охлаждением. Это критично для дата-центров в городах, где стоимость площадей высока.

Сравнение плотности

Параметр	Воздушное охлаждение	Иммерсионное охлаждение
Мощность на стойку, кВт	10-15	100-150
Серверов в стойке (2U)	20-24	40-60 (в баке)
Площадь на 1 МВт IT-нагрузки, м²	250-300	40-60
Требования к высоте потолков, м	3,5-4,5	2,5-3,0

Пример: для размещения 200 серверных платформ с двумя процессорами (по 10 кВт на сервер) при воздушном охлаждении нужно 130-150 стоек и 350-400 м² площади. Иммерсионная система уместится в 4-5 баках и займёт 50-60 м².

Высокая плотность упрощает масштабирование: можно строить модульные ЦОД в контейнерах. Один 40-футовый контейнер с иммерсионной системой вмещает оборудование мощностью 500-600 кВт — как небольшой традиционный датацентр.

Преимущества иммерсионного охлаждения

1. Энергоэффективность

Снижение PUE до 1,03-1,08 означает, что 92-97% электроэнергии идёт на вычисления, а не на охлаждение. В масштабах крупного ЦОД это миллионы рублей экономии ежегодно.

2. Увеличение срока службы оборудования

Компоненты работают при температуре 45-60°C против 75-85°C в воздушных системах. Низкая температура снижает деградацию полупроводников и электролитических конденсаторов. По данным производителей, срок службы серверной памяти и SSD в иммерсионных системах увеличивается на 20-30%.

3. Бесшумная работа

Жидкость отводит тепло без вентиляторов. В иммерсионном ЦОД нет характерного гула серверных кулеров — уровень шума ниже 40 дБ. Это позволяет размещать дата-центры рядом с офисами или жилыми зданиями.

4. Меньше пыли и загрязнений

Серверы защищены жидкостью от пыли, влаги, коррозии. Не нужны дорогие системы фильтрации воздуха. В промышленных зонах или прибрежных регионах это серьёзное преимущество — коррозия от солевого тумана не страшна.

5. Упрощение логистики охлаждения

В традиционном ЦОД нужно проектировать холодные и горячие коридоры, фальшполы, воздуховоды. Иммерсионная система — это просто баки с трубами. Строительство ЦОД на 1 МВт занимает 3-4 месяца против 8-12 месяцев для классической инфраструктуры.

6. Возможность утилизации тепла

Температура жидкости на выходе из бака — 50-60°C. Это достаточно для отопления зданий, теплиц, бассейнов. Yandex в Мянцялясском ЦОД (Финляндия) передаёт тепло в городскую сеть — местные жители получают дешёвое отопление, компания снижает затраты на охлаждение.

Недостатки и ограничения технологии

1. Высокая стоимость внедрения

Оборудование для иммерсионного охлаждения дороже традиционного:

• Резервуар на 500 л с системой циркуляции: 1,5-2 млн рублей
• Жидкость для заправки (500 л синтетического масла): 1,5-7,5 млн рублей
• Теплообменники и насосы: 500-800 тыс. рублей
• Адаптация серверов (снятие вентиляторов, герметизация): 10-20 тыс. рублей на сервер

Капитальные затраты (CAPEX) на иммерсионный ЦОД на 30-50% выше, чем на воздушный. Окупаемость — 2-4 года за счёт экономии на электроэнергии и площадях.

2. Сложность обслуживания

Замена компонентов требует извлечения сервера из бака, очистки от жидкости, сушки. Типичная процедура:

1. Остановить сервер, отключить питание
2. Поднять раму с оборудованием из бака (лебёдкой или подъёмником)
3. Дать жидкости стечь (15-30 минут)
4. Протереть платы безворсовой тканью, просушить сжатым воздухом
5. Заменить неисправный модуль (диск, память, процессор)
6. Опустить сервер обратно в жидкость, подключить питание

Процесс занимает 1-2 часа против 15-30 минут при воздушном охлаждении. Для критичных приложений нужно закладывать избыточность — резервные серверы в другом баке.

3. Ограничения по типам оборудования

Не всё оборудование совместимо с погружением:

• Жёсткие диски (HDD). Классические HDD с воздушной полостью внутри нельзя погружать — жидкость проникнет через дыхательный клапан. Нужны гелиевые диски (Helium-sealed) или SSD. Для хранилищ используют твердотельные накопители SSD или выносят дисковые массивы в отдельный блок с воздушным охлаждением.
• Компоненты с батареями. RAID-контроллеры с батарейками кэша (BBU, Battery Backup Unit) требуют герметизации батарейного отсека. Современные RAID-контроллеры используют Flash-модули (FBWC) — они совместимы с иммерсией.
• Разъёмы и кабели. Ethernet-порты, разъёмы питания нужно герметизировать или использовать специальные водонепроницаемые коннекторы. Некоторые производители выпускают серверы, адаптированные для иммерсионного охлаждения — например, Gigabyte H-серии.

4. Экологические риски

Синтетические масла и фторуглероды требуют специальной утилизации. Разлив жидкости — экологическая угроза, нужны поддоны и системы контроля утечек. В России требования к обращению с диэлектрическими жидкостями регулируются СанПиН 1.2.3685-21.

Применение иммерсионного охлаждения

AI/ML-кластеры

Обучение нейросетей требует GPU-серверов с энергопотреблением 5-10 кВт на юнит. В стойке с воздушным охлаждением реально разместить 4-6 таких серверов (40-60 кВт). Иммерсионная система вмещает 15-20 GPU-серверов на бак (150-200 кВт). Это критично для AI-стартапов и исследовательских центров, где каждый квадратный метр на счету.

Криптомайнинг

ASIC-майнеры для Bitcoin и Ethereum потребляют 3-5 кВт на устройство при TDP чипов 200-300 Вт. Иммерсионное охлаждение позволяет разместить 50-70 майнеров в одном баке. Снижение температуры чипов на 20-25°C увеличивает хешрейт на 10-15% — оборудование работает на предельных частотах без троттлинга.

HPC (высокопроизводительные вычисления)

Суперкомпьютеры для научных расчётов (молекулярная динамика, климатическое моделирование, нефтегазовая разведка) строятся на плотноупакованных нодах. Иммерсионное охлаждение позволяет создавать компактные HPC-кластеры мощностью 1-5 петафлопс в одном помещении.

Edge-датацентры

Небольшие ЦОД для обработки данных IoT-устройств, 5G-сетей, автономных транспортных систем нужно размещать близко к источникам данных — на производствах, в торговых центрах, на транспортных узлах. Иммерсионная система в контейнере или небольшой серверной комнате — оптимальное решение: компактно, тихо, энергоэффективно.

Как выбрать оборудование для иммерсионного ЦОД

Серверы и платформы

Для иммерсионного охлаждения подходят стандартные серверы, но с доработками:

• Удалить вентиляторы — они не нужны, жидкость отводит тепло пассивно
• Заменить HDD на SSD или герметичные гелиевые диски
• Использовать RAID-контроллеры с Flash-кэшем (FBWC) вместо батарейных (BBU)
• Убедиться, что блоки питания и сетевые адаптеры совместимы с погружением (у некоторых моделей есть вентиляционные отверстия с фильтрами — их нужно заглушить)

Производители предлагают готовые решения — серверы, адаптированные для иммерсии. Например, Dell EMC PowerEdge C-серии (C6420, C6520) рассчитаны на плотные вычислительные среды и допускают модификацию под жидкостное охлаждение.

Комплектующие

При сборке серверов для иммерсионного ЦОД обратите внимание:

• Процессоры: выбирайте модели с высоким TDP (200-400 Вт) — иммерсия максимально раскрывает их потенциал. AMD EPYC 9004, Intel Xeon Scalable 4-го поколения работают на пиковых частотах без троттлинга.
• Память: регистровая ECC-память (RDIMM, LRDIMM) совместима с иммерсией. Жидкость не влияет на работу модулей, но снижает температуру чипов на 15-20°C, что увеличивает надёжность.
• Накопители: NVMe SSD (U.2, M.2) — оптимальный выбор. Избегайте SATA HDD без герметизации.
• Сетевые карты: 10GbE, 25GbE, 100GbE адаптеры работают в жидкости без ограничений. Убедитесь, что разъёмы SFP+/QSFP герметизированы или используйте коннекторы с защитой IP67.

Полный список комплектующих для серверов доступен в нашем каталоге — консультанты помогут подобрать конфигурацию под иммерсионное охлаждение.

Резервуары и системы циркуляции

Резервуары изготавливают из нержавеющей стали или композитных материалов. Объём выбирайте из расчёта:

• 20-25 литров жидкости на 1 кВт IT-нагрузки при однофазном охлаждении
• 10-15 литров на 1 кВт при двухфазном охлаждении

Для серверной стойки мощностью 100 кВт нужен бак объёмом 1500-2000 литров. Производители: Submer (Испания), GRC (США), Asperitas (Нидерланды), «Иммерсио» (Россия).

Система циркуляции включает:

• Насосы производительностью 50-100 л/мин на 100 кВт нагрузки
• Теплообменники типа «жидкость-жидкость» или «жидкость-воздух»
• Фильтры для очистки жидкости от частиц и продуктов окисления
• Датчики температуры, уровня жидкости, давления
• Систему контроля утечек (поддоны, датчики влажности)

Стоимость владения иммерсионным ЦОД

Рассмотрим TCO (Total Cost of Ownership) для ЦОД мощностью 500 кВт IT-нагрузки на 5 лет.

Капитальные затраты (CAPEX)

Статья расходов	Воздушное охлаждение, млн руб.	Иммерсионное охлаждение, млн руб.
Строительство/аренда помещения (200 м² / 50 м²)	20	8
Системы охлаждения (CRAC / баки + теплообменники)	15	12
Жидкость (20 000 л синтетического масла)	—	60
Электроподключение (800 кВт / 540 кВт)	12	8
Стойки, кабельные системы	5	2
Итого CAPEX	52	90

Операционные затраты (OPEX, в год)

Статья расходов	Воздушное охлаждение, млн руб.	Иммерсионное охлаждение, млн руб.
Электроэнергия (800 кВт × 8760 ч × 6 руб/кВт·ч)	42	28,3 (540 кВт)
Обслуживание систем охлаждения	2,5	1,8
Замена фильтров, жидкости (раз в 5 лет)	—	0,5
Итого OPEX в год	44,5	30,6

TCO за 5 лет

• Воздушное охлаждение: 52 млн (CAPEX) + 222,5 млн (OPEX × 5) = 274,5 млн рублей
• Иммерсионное охлаждение: 90 млн (CAPEX) + 153 млн (OPEX × 5) = 243 млн рублей
• Экономия: 31,5 млн рублей (11,5%)

Иммерсионный ЦОД окупает повышенные капитальные затраты за 2,5-3 года. Чем дороже электроэнергия и площади, тем быстрее окупаемость — в Москве и Санкт-Петербурге срок сокращается до 1,5-2 лет.

Перспективы развития технологии

Рынок иммерсионного охлаждения растёт на 25-30% ежегодно. Аналитики Grand View Research прогнозируют, что к 2030 году 15-20% новых ЦОД будут использовать жидкостное охлаждение (включая иммерсию и Direct Liquid Cooling).

Драйверы роста:

• Рост плотности вычислений. Процессоры и GPU следующих поколений (Intel Granite Rapids, AMD EPYC Turin, NVIDIA Blackwell) будут потреблять 400-600 Вт на чип. Воздушное охлаждение не справится — нужна жидкость.
• Требования к энергоэффективности. Европейский стандарт EU Code of Conduct for Data Centres требует PUE ниже 1,2 для новых ЦОД. Иммерсионные системы — один из немногих способов достичь этого показателя.
• Дефицит электромощностей. В крупных городах и промышленных зонах сложно получить подключение на 5-10 МВт. Иммерсионный ЦОД с PUE 1,05 потребляет на 30-40% меньше электроэнергии — это упрощает согласование с энергетиками.
• Развитие edge-инфраструктуры. Распределённые микро-ЦОД для IoT, беспилотного транспорта, промышленного интернета вещей требуют компактных и тихих решений. Иммерсионные контейнеры — идеальный формат.

В России технологию внедряют Yandex, Сбер, МТС, ВТБ. Крупнейший проект — иммерсионный ЦОД Сбера в Москве на 3 МВт (запущен в 2023 году). Планируется строительство ещё 10-15 таких объектов к 2027 году.

Иммерсионное охлаждение серверов — технология для высоконагруженных инфраструктур, где критична энергоэффективность и плотность размещения. PUE 1,03-1,08, экономия 30-40% на электроэнергии, увеличение плотности в 5-10 раз — это веские аргументы для AI/ML-кластеров, криптомайнинга, HPC-систем, edge-датацентров. Капитальные затраты на 30-50% выше, чем у воздушного охлаждения, но окупаемость — 2-4 года. При выборе оборудования учитывайте совместимость с погружением: SSD вместо HDD, RAID-контроллеры с Flash-кэшем, герметизация разъёмов. Консультанты Server360 помогут подобрать готовые конфигурации серверов или соберут индивидуальную сборку под иммерсионный ЦОД — переходите в конфигуратор или звоните для консультации.