Центр обработки данных — это техническое помещение, где размещаются серверы, системы хранения данных и сетевое оборудование компании. Фото ЦОД показывают упорядоченные ряды стеллажей с оборудованием, десятки кабелей и мощные системы охлаждения. Но за этой картиной стоит продуманная инфраструктура, где каждый элемент выполняет конкретную задачу.
В этом материале разберём, как устроен типичный дата-центр: от планировки помещения до размещения серверов в стойках. Покажем, где располагаются кабели, как работают системы охлаждения и пожаротушения, какие требования предъявляются к современным ЦОД.
Планировка и зонирование ЦОД
Современный дата-центр делится на функциональные зоны. Основная — машинный зал, где размещаются серверные стойки. Его площадь зависит от масштаба компании: от 50 м² в небольших корпоративных ЦОД до нескольких тысяч квадратных метров в коммерческих дата-центрах.
Стойки располагаются рядами. Между рядами формируются «холодные коридоры» и «горячие коридоры». Холодный коридор — пространство перед лицевыми панелями серверов, куда подаётся охлаждённый воздух. Горячий коридор — за задними панелями, откуда отводится нагретый воздух. Ширина коридоров — 120-150 см, этого достаточно для обслуживания оборудования.
Типичная планировка включает:
- Машинный зал — основная зона с серверными стойками
- Техническое помещение — размещение систем охлаждения, ИБП, распределительных щитов
- Диспетчерская — рабочее место персонала с системами мониторинга
- Шлюз — промежуточная зона между машинным залом и остальными помещениями для контроля доступа
- Кросс-комната — узел связи, где сходятся внешние каналы связи
Высота потолков в машинном зале — минимум 3 метра, часто 4-5 метров. Это необходимо для размещения кабельных трасс, воздуховодов и систем пожаротушения над стойками. Под фальшполом (на высоте 30-60 см от перекрытия) прокладываются кабели питания и охлаждающий воздух.
Стеллажи и размещение оборудования
Серверное оборудование размещается в стандартных 19-дюймовых стойках высотой 42U (где 1U = 44,45 мм). Глубина стойки — 1000-1200 мм, что позволяет установить серверы любой конфигурации.
Стойки выстраиваются в ряды по 10-20 штук. Расстояние между рядами — 120 см для холодного коридора и 90-120 см для горячего. Это обеспечивает доступ к оборудованию: можно открыть дверцу стойки, выкатить сервер на рельсах, заменить комплектующее.
Внутри стойки оборудование монтируется на направляющих. Современные рельсы позволяют выдвинуть сервер без отключения кабелей — удобно для обслуживания. Между устройствами оставляют свободное пространство 1U-2U для циркуляции воздуха.
Типовое наполнение стойки:
| Позиция (U) | Оборудование | Назначение |
|---|---|---|
| 1-5 | Коммутаторы сети | Сетевая инфраструктура |
| 6-8 | Патч-панели | Кабельная разводка |
| 9-36 | Серверы | Вычислительные мощности |
| 37-42 | PDU, кабель-менеджеры | Питание и организация кабелей |
PDU (Power Distribution Unit) — блоки распределения питания, устанавливаются вертикально по бокам стойки или горизонтально. Через PDU подключаются блоки питания серверов. Современные PDU поддерживают удалённый мониторинг: показывают нагрузку по фазам, температуру, позволяют перезагрузить отдельное устройство.
Кабельная инфраструктура
Фото дата-центра всегда показывают множество кабелей. Их количество огромно: в стойке с 20 серверами может быть до 100 сетевых кабелей и 40 кабелей питания. Правильная организация кабельного хозяйства критична для обслуживания и охлаждения.
Кабели делятся на три типа:
- Питание — от PDU к блокам питания серверов, толстые кабели сечением 1,5-2,5 мм²
- Сеть — Ethernet-кабели (Cat6, Cat6a, Cat7) для передачи данных
- Управление — тонкие кабели для out-of-band доступа (iLO, iDRAC, IPMI)
Силовые кабели прокладываются под фальшполом или в специальных коробах по бокам стойки. Сетевые кабели — в лотках над стойками или с использованием вертикальных кабель-менеджеров. Важно разделять питание и данные: электромагнитные помехи от силовых кабелей могут влиять на сетевые соединения.
Маркировка обязательна. На каждом кабеле — бирка с номером порта коммутатора и адресом устройства. Цветовое кодирование упрощает навигацию: синие кабели — продакшн-сеть, жёлтые — управление, красные — резервное питание.
Организация кабелей влияет на охлаждение. Плотный пучок кабелей перед воздухозабором сервера снижает поток воздуха на 15-20%. Поэтому в горизонтальных лотках кабели укладывают свободно, без стяжек, а вертикальные органайзеры располагают по краям стойки, не загораживая серверы.
Системы охлаждения
Современный дата-центр требует мощного охлаждения. Стойка с плотной загрузкой выделяет 10-15 кВт тепла — как десяток электрообогревателей. Без охлаждения температура в машинном зале поднимется до 40-50°C за считанные минуты, что приведёт к отказу оборудования.
Основные схемы охлаждения:
Прецизионные кондиционеры — специализированные установки для ЦОД. Размещаются по периметру машинного зала или в техническом помещении. Подают охлаждённый воздух под фальшпол, откуда он поступает в холодные коридоры через перфорированные плитки. Производительность одного кондиционера — 30-100 кВт холода.
Внутрирядное охлаждение — компактные установки встраиваются непосредственно в ряд стоек. Охлаждают воздух в холодном коридоре, отводят тепло из горячего. Эффективнее периметральных кондиционеров: меньше расстояние от точки охлаждения до сервера, выше КПД.
Жидкостное охлаждение — применяется для высоконагруженных систем. Теплоноситель циркулирует в теплообменниках, установленных в задней части стойки или непосредственно на процессорах. Отводит в 10 раз больше тепла, чем воздушное охлаждение. Используется в суперкомпьютерах и дата-центрах с плотностью мощности выше 20 кВт на стойку.
Температурный режим регулируется строго. Рекомендации ASHRAE (American Society of Heating, Refrigerating and Air-Conditioning Engineers) для дата-центров класса A1-A4:
| Параметр | Значение |
|---|---|
| Температура на входе в сервер | 18-27°C (оптимально 20-22°C) |
| Влажность | 40-60% |
| Точка росы | 5,5-15°C |
| Перепад температур в зале | не более 5°C |
Горячие коридоры часто изолируют: устанавливают потолок и торцевые двери, создавая замкнутый контур. Нагретый воздух не смешивается с холодным, что повышает эффективность охлаждения на 20-30%. В изолированном горячем коридоре температура достигает 35-40°C, но это нормально — оборудование забирает воздух из холодного коридора.
Современные системы охлаждения работают с фривулингом — используют наружный воздух для охлаждения, когда температура на улице ниже 15°C. Это снижает энергопотребление на 40-60% в холодное время года. Для России с длинной зимой фривулинг особенно выгоден.
Системы пожаротушения и безопасности
Пожар в дата-центре — критическая угроза. Нельзя использовать воду: она повредит электронику. Применяются газовые системы пожаротушения, которые вытесняют кислород из помещения или прерывают цепную реакцию горения.
Распространённые решения:
Инертные газы (IG-541, IG-55) — смесь азота, аргона и углекислого газа. Снижают концентрацию кислорода с 21% до 12-13%, при этом безопасны для людей. Время подачи — 60 секунд, газ заполняет помещение полностью. Недостаток — требуется большой объём баллонов: для зала 200 м² нужно 40-50 баллонов по 80 литров.
Хладоны (FM-200, Novec 1230) — химические агенты, подавляющие горение. Эффективнее инертных газов: нужно меньше вещества, баллоны компактнее. Безопасны для оборудования, не оставляют следов. FM-200 удерживается в помещении 10 минут, этого достаточно для ликвидации очага.
Система включает датчики дыма (обычно 2-3 на каждые 50 м²), баллоны с газом, трубопроводы и сопла в потолке или под фальшполом. Управление — автоматическое: при срабатывании двух датчиков подаётся сигнал, через 30 секунд задержки (время для эвакуации) открываются клапаны баллонов.
Дополнительные системы безопасности:
- Контроль доступа — биометрия или карты, журналирование входов
- Видеонаблюдение — камеры в машинном зале, архив записей минимум 30 дней
- Датчики протечек — под фальшполом, рядом с трубами охлаждения
- Мониторинг вибрации — в сейсмоактивных регионах
Помещение дата-центра защищается от несанкционированного доступа. Стены — несущие, бетон или кирпич толщиной от 200 мм. Двери — металлические противопожарные с пределом огнестойкости EI-60 (выдерживают огонь 60 минут). Окна либо отсутствуют, либо защищены решётками и рольставнями.
Инфраструктура электропитания
Серверное оборудование требует бесперебойного питания. Даже кратковременное отключение на 0,1 секунды приводит к перезагрузке серверов и потере данных. Поэтому в ЦОД строится многоуровневая система резервирования.
Типовая схема электропитания:
Уровень 1: Внешние вводы — два независимых ввода от разных подстанций. Если одна линия пропадает, нагрузка автоматически переключается на вторую. АВР (автомат ввода резерва) срабатывает за 0,1-0,3 секунды.
Уровень 2: Дизель-генераторы — резервные источники на случай отключения обеих линий. Мощность — от 200 кВт для небольших ЦОД до нескольких МВт. Запускаются автоматически через 10-15 секунд после пропадания сети. Баки топлива рассчитаны на 24-72 часа непрерывной работы.
Уровень 3: ИБП (UPS) — источники бесперебойного питания на батареях. Подхватывают нагрузку мгновенно, без перерыва. Автономность — 5-15 минут, этого достаточно для запуска генераторов или корректного выключения оборудования. Устанавливаются модульно: блоки по 10-40 кВт объединяются в систему нужной мощности.
Схема резервирования N+1 или 2N. N+1 — одна резервная единица на N рабочих (например, 4 генератора вместо 3 необходимых). 2N — полное дублирование: два независимых тракта питания, каждый способен нести 100% нагрузки. Каждый сервер подключён к обоим трактам через два блока питания.
Распределение внутри зала — через PDU в стойках и напольные PDU (Floor PDU). Современные PDU поддерживают управляемые розетки: можно удалённо включить/выключить конкретный сервер, посмотреть потребление по каждой розетке. Это упрощает диагностику: если сервер завис, его перезагружают через PDU, не приезжая в дата-центр.
Системы мониторинга и управления
Современный ЦОД контролируется автоматически. Системы DCIM (Data Center Infrastructure Management) собирают данные с тысяч датчиков и выводят на единую панель.
Что отслеживается:
- Температура и влажность — в каждом коридоре, на входе и выходе стоек
- Энергопотребление — по стойкам, PDU, отдельным устройствам
- Состояние ИБП — заряд батарей, нагрузка, время автономности
- Работа охлаждения — температура подачи, обратки, производительность
- Состояние генераторов — уровень топлива, моточасы, готовность к запуску
- Протечки, дым, несанкционированный доступ
Датчики температуры располагаются на разных высотах стойки — сверху, посередине, снизу. Это позволяет выявить локальные перегревы: если в верхней части стойки на 5°C теплее, чем внизу, значит, поток воздуха недостаточен. Причина может быть в забитых фильтрах кондиционера или неправильной укладке кабелей.
DCIM-система показывает тепловую карту зала: зелёные зоны — нормальная температура, жёлтые — приближение к пределу, красные — критический перегрев. Оператор видит проблему до того, как она приведёт к отказу.
Удалённое управление оборудованием реализуется через out-of-band доступ. Каждый сервер имеет отдельный порт управления (iLO, iDRAC, IPMI), подключённый к изолированной сети. Через него можно включить сервер, посмотреть консоль, смонтировать виртуальный диск — даже если основная ОС не загружается.
Уровни надёжности ЦОД по Tier
Классификация Uptime Institute делит дата-центры на 4 уровня (Tier) по надёжности:
| Tier | Доступность | Простой в год | Особенности |
|---|---|---|---|
| Tier I | 99,671% | 28,8 часа | Один канал питания и охлаждения, без резерва |
| Tier II | 99,741% | 22 часа | N+1 по критическим компонентам, плановые отключения |
| Tier III | 99,982% | 1,6 часа | N+1, обслуживание без остановки |
| Tier IV | 99,995% | 0,4 часа | 2N, отказоустойчивость, двойное резервирование всего |
Tier III — стандарт для коммерческих ЦОД. Позволяет проводить техобслуживание без остановки: можно отключить один кондиционер, заменить батареи ИБП, обновить коммутатор — оборудование продолжит работать.
Tier IV требуется для критичных систем: банки, телеком, государственные реестры. Стоимость строительства в 2-3 раза выше Tier III, но даже авария (пожар, затопление) не приводит к остановке: всё продублировано.
Физическая организация пространства
Фото ЦОД показывают идеальный порядок. Это не эстетика, а требование надёжности. Каждый элемент на своём месте, каждый кабель промаркирован, каждая стойка документирована.
Маркировка стоек — буквенно-цифровая. Ряды обозначаются буквами (A, B, C…), стойки в ряду — цифрами (01, 02, 03…). Адрес стойки: A-05 (ряд A, пятая стойка). Внутри стойки нумерация снизу вверх, от 1U до 42U. Адрес сервера: A-05-12U (ряд A, стойка 05, позиция 12).
Документация ведётся в DCIM или таблицах: какое оборудование в каждой позиции, кто владелец (отдел, проект), какие комплектующие установлены, когда проводилось последнее обслуживание. При замене компонента — обновляется документация. Это критично для аудита и планирования апгрейдов.
Свободное пространство планируется заранее. Стандарт — заполнение стоек не более 70-80%. Оставшиеся 20-30% — резерв под рост. Если бизнес требует удвоить мощности, не нужно строить новый зал — оборудование размещается в свободных позициях.
Зонирование по нагрузке: высоконагруженные стойки (10-15 кВт) не ставят рядом — иначе локальный перегрев. Их чередуют с менее нагруженными (3-5 кВт) или оставляют промежуточные стойки пустыми. Это выравнивает тепловую нагрузку на охлаждение.
Требования к помещению
Дата-центр строится в помещении с усиленными требованиями:
Несущая способность перекрытий — минимум 1000 кг/м², лучше 1500 кг/м². Стойка с оборудованием весит 500-800 кг, плюс запас прочности. В старых зданиях перекрытия усиливают.
Фальшпол — поднятый пол высотой 30-60 см. Под ним — кабели питания, воздуховоды охлаждения. Панели съёмные, размер 60×60 см, выдерживают нагрузку 1000-1500 кг/м². Покрытие антистатическое: статическое электричество опасно для электроники.
Отделка — негорючие материалы. Стены и потолок — окрашенный бетон, гипсокартон на металлокаркасе (класс КМ0), минеральные плиты. Никакой древесины, пластика, ковролина.
Освещение — светодиодные светильники, 500-700 люкс на уровне пола. Двухуровневое: основное и дежурное. Дежурное — от ИБП, работает при пропадании сети.
Защита от влаги — гидроизоляция пола и стен. Дата-центр не размещается на первом этаже (риск затопления) и верхних этажах (риск протечки кровли). Оптимально — средние этажи или отдельно стоящее здание.
Вентиляция и дымоудаление — отдельно от основного здания. При пожаре дым отводится принудительно, чтобы не повредить оборудование в соседних зонах.
Типовые ошибки при организации ЦОД
Даже в спроектированном дата-центре возникают проблемы из-за ошибок эксплуатации:
Перегруз стоек — установка слишком большого количества оборудования. Стойка рассчитана на 5-7 кВт тепловыделения, а загружают на 12-15 кВт. Охлаждение не справляется, температура растёт, оборудование аварийно отключается. Решение — перераспределить нагрузку, установить дополнительное охлаждение.
Заглушки не установлены — пустые позиции в стойке остаются открытыми. Через них горячий воздух из заднего коридора попадает в передний, смешивается с холодным. Эффективность охлаждения падает на 10-15%. Пустые позиции закрывают заглушками (blanking panels).
Кабели блокируют воздух — перед серверами навален пучок кабелей. Воздухозабор частично перекрыт, температура процессоров растёт на 3-5°C. Кабели размещают в боковых органайзерах, освобождая фронт стойки.
Документация устарела — в таблице указан один сервер, физически установлен другой. При инциденте инженер едет менять не тот блок. Решение — регламент: любое изменение фиксируется в DCIM в тот же день.
Нет резерва мощности — стойки загружены на 95%, ИБП работают на пределе. Добавить новый сервер некуда, расширение требует закупки дополнительного ИБП и месяцев на внедрение. Планировать резерв 20-30% по мощности и месту.
Современные тренды в дизайне ЦОД
Дата-центры эволюционируют в сторону энергоэффективности и плотности:
Модульные ЦОД — готовые контейнеры с оборудованием. Стойки, охлаждение, ИБП, мониторинг — всё встроено. Привозят на площадку, подключают питание и связь. Развёртывание за недели вместо месяцев строительства. Применяется для быстрого расширения или временных проектов.
Жидкостное охлаждение прямого контакта — теплосъёмники устанавливаются на процессоры и GPU. Эффективность в 25 раз выше воздушного охлаждения. Позволяет размещать в стойке оборудование с выделением 50-100 кВт. Пока дорого, но для AI-систем и высокопроизводительных вычислений это стандарт.
Использование возобновляемых источников энергии — солнечные панели, ветрогенераторы. Крупные ЦОД потребляют мегаватты, счета за электричество — миллионы в месяц. Собственная генерация снижает затраты. В регионах с высокими тарифами окупается за 3-5 лет.
AI-мониторинг — машинное обучение анализирует данные датчиков, предсказывает отказы. Алгоритм замечает, что температура одного сервера растёт быстрее обычного — вероятно, забит радиатор или деградирует термопаста. Инженер получает уведомление до того, как сервер перегреется.
Повторное использование тепла — горячий воздух из ЦОД отдаёт тепло через теплообменники в систему отопления здания. Зимой это снижает затраты на обогрев офисов на 30-50%. В Скандинавии дата-центры подключают к городским теплосетям: тепло от серверов обогревает жилые дома.
Практические выводы
Современный ЦОД — это инженерное сооружение с продуманной инфраструктурой. Стеллажи располагаются в ряды с разделением на холодные и горячие коридоры, что обеспечивает эффективное охлаждение. Кабели организованы в лотках и органайзерах, чтобы не блокировать воздушные потоки и упростить обслуживание.
Системы охлаждения, пожаротушения, электропитания резервируются. Даже при отказе одного компонента дата-центр продолжает работать. Мониторинг позволяет отследить температуру, влажность, энергопотребление в реальном времени и предотвратить инциденты.
Для построения корпоративного ЦОД нужны серверы, системы хранения, сетевое оборудование. В каталоге серверов представлены решения Dell, HP, Supermicro — от компактных моделей для небольших стоек до высокопроизводительных систем. Комплектующие — память, диски, контроллеры — позволяют кастомизировать конфигурацию под задачу.
Правильная организация пространства, документирование изменений и регулярное обслуживание — основа надёжной работы ЦОД. Фото дата-центров показывают результат этой работы: упорядоченное размещение оборудования, чистые кабельные трассы, контролируемая среда.
