Уровень Tier III в ЦОД: требования, избыточность и стоимость

Tier III — стандарт отказоустойчивости дата-центра, который обеспечивает доступность инфраструктуры 99,982% времени в год. Это означает не более 1,6 часа простоя ежегодно. Для построения ЦОД уровня Tier 3 нужна полностью резервированная система электропитания и охлаждения с возможностью обслуживания без остановки работы.

Классификацию разработал институт Uptime Institute в 1995 году. Сегодня её используют при проектировании коммерческих дата-центров, облачных провайдеров и корпоративных ЦОД. В России требования к цод tier 3 применяют банки, телекоммуникационные операторы и крупные интернет-компании.

Что означает классификация Tier III

Классификация Uptime Institute делит дата-центры на четыре уровня — от Tier I (базовый) до Tier IV (отказоустойчивый). Уровень Tier III занимает промежуточную позицию: он дороже базового Tier II, но дешевле максимального Tier IV.

Tier 3 дата-центр — это инфраструктура с возможностью планового обслуживания без остановки работы. Вы можете заменить любой компонент системы питания или охлаждения, а серверы продолжат работать. Это критично для онлайн-сервисов, которые не могут позволить себе окна обслуживания.

Главное отличие от предыдущего уровня — наличие двух независимых путей распределения электропитания и охлаждения. В ЦОД уровня tier iii каждая стойка с оборудованием подключена к двум источникам питания и двум контурам охлаждения одновременно.

Доступность и плановый простой

Tier III гарантирует доступность 99,982% в год. Это 1,6 часа допустимого простоя за 12 месяцев. Для сравнения: Tier II допускает 22 часа простоя ежегодно, а Tier IV — всего 26 минут.

Плановое обслуживание в tier iii цод выполняется без остановки работы. Вы можете:

• Заменить ИБП или генератор без отключения нагрузки
• Очистить фильтры системы кондиционирования
• Модернизировать распределительные шкафы
• Добавить новые стойки без простоя существующих

Незапланированный простой возможен только при критическом отказе оборудования или ошибке персонала. Одиночные отказы не приводят к остановке: система автоматически переключается на резервный путь.

Требования к инфраструктуре электропитания

Электропитание в Tier III строится по схеме N+1 с двумя активными путями распределения. Это означает полное резервирование всех компонентов плюс один дополнительный модуль на случай отказа или обслуживания.

Источники питания

ЦОД тир 3 требует минимум два независимых ввода электроэнергии от внешних подстанций. Если один ввод отключится, второй обеспечит 100% нагрузки. Внутри дата-центра питание распределяется по двум параллельным шинам — A и B.

Каждая шина питается от собственного трансформатора, системы ИБП и дизель-генератора. Если произойдёт авария на одной шине, вторая продолжит работу без переключения.

Системы бесперебойного питания

ИБП устанавливаются по схеме N+1 на каждую шину. Для нагрузки 1 МВт на шину нужно четыре модуля ИБП по 400 кВт (3 работают, 1 резервный). При отказе одного модуля оставшиеся три обеспечат питание без перегрузки.

Время автономной работы от батарей — минимум 15 минут при полной нагрузке. Этого хватает для запуска дизель-генераторов, который занимает 8-12 секунд.

Для построения такой системы питания понадобятся надёжные блоки питания для серверов с поддержкой двух входов. Современные стоечные серверы комплектуются двумя или четырьмя блоками питания, которые подключаются к разным шинам распределения.

Дизель-генераторы

На каждую шину питания устанавливается минимум два генератора в конфигурации N+1. Суммарная мощность генераторов на одной шине должна покрывать 100% нагрузки даже при отказе одного агрегата.

Запас топлива рассчитывается на 72 часа автономной работы при полной нагрузке. Для ЦОД мощностью 2 МВт потребуется резервуар на 35-40 тысяч литров дизельного топлива.

Избыточность охлаждения

Система охлаждения в цод уровня tier 3 строится по тому же принципу N+1 с двумя независимыми контурами. Серверное оборудование выделяет тепло, которое нужно отвести непрерывно — даже кратковременный перегрев приведёт к аварийному отключению.

Прецизионные кондиционеры

Для охлаждения используются прецизионные кондиционеры CRAC (Computer Room Air Conditioning) или CRAH (Computer Room Air Handling). Они поддерживают температуру 22-24°C с точностью до 1°C и влажность 45-55%.

Кондиционеры группируются по схеме N+1 на каждый независимый контур. Если в машинном зале установлено шесть агрегатов на контур A и шесть на контур B, то четыре из шести на каждом контуре работают постоянно, а два находятся в горячем резерве.

При отказе одного кондиционера резервный запускается автоматически за 30-60 секунд. Температура в зале меняется не более чем на 2°C.

Подробнее о выборе и настройке климатического оборудования мы писали в блоге о серверах. Современные системы охлаждения позволяют снизить энергопотребление на 20-30% за счёт фрикулинга и адаптивного управления.

Чиллеры и градирни

Прецизионные кондиционеры охлаждаются водой от чиллеров (водоохлаждающих машин). Чиллеры устанавливаются снаружи здания и работают по схеме N+1 на каждый контур.

Градирни отводят тепло от чиллеров в атмосферу. Они также резервируются: при выходе из строя одной градирни остальные покрывают нагрузку. Зимой в холодном климате можно использовать фрикулинг — прямое охлаждение наружным воздухом без включения чиллеров. Это снижает энергопотребление до 40%.

Трубопроводы и насосы

Два независимых контура холодоснабжения прокладываются раздельными трубопроводами. Каждый контур имеет собственные насосы, запорную арматуру и систему фильтрации.

Насосы дублируются по схеме N+1. Трубопроводы проектируются так, чтобы можно было изолировать любой участок без слива всей системы. Это позволяет заменить насос или отремонтировать утечку без остановки охлаждения.

Распределение нагрузки по путям A и B

В тиер 3 цод каждая стойка с серверами подключается одновременно к двум путям — A и B. Серверы с двумя блоками питания подключаются одним блоком к шине A, вторым к шине B. При пропадании питания на одной шине сервер продолжает работу от второй без переключения и задержек.

Переключение между путями

Переключение между путями происходит мгновенно — на уровне блоков питания серверов. Современные блоки питания поддерживают горячее резервирование: они работают параллельно и автоматически перераспределяют нагрузку при отказе одного из источников.

Для сетевого оборудования и систем хранения данных используются статические переключатели STS (Static Transfer Switch). Они переключают нагрузку между путями A и B за 4-6 миллисекунд — оборудование не замечает перерыва.

Балансировка нагрузки

При нормальной работе нагрузка равномерно распределена между путями A и B. Каждый путь загружен на 50-60% мощности. Это даёт запас для поглощения нагрузки второго пути при отказе.

Если путь A загружен на 600 кВт, а путь B на 650 кВт, то при отказе пути A весь ЦОД переключится на путь B, который будет загружен на 1250 кВт. Для этого путь B должен иметь мощность минимум 1400 кВт с учётом резерва N+1.

Плановое обслуживание без остановки

Возможность обслуживания без остановки — ключевое преимущество Tier III перед Tier II. Вы можете выполнять регламентные работы на любом оборудовании, переведя нагрузку на резервный путь.

Процедура обслуживания ИБП

Для замены модуля ИБП на пути A выполняется такая последовательность:

1. Переключить критичную нагрузку на путь B через STS
2. Вывести из работы один модуль ИБП на пути A
3. Выполнить замену или ремонт
4. Ввести модуль в работу и провести тестирование
5. Вернуть нагрузку на путь A

Весь процесс занимает 2-4 часа. Серверы работают без перерыва.

Обслуживание системы охлаждения

Для очистки фильтров или замены компрессора в прецизионном кондиционере используется аналогичная схема. Нагрузка по охлаждению переносится на резервные агрегаты того же контура или на второй контур полностью.

Температура в машинном зале при этом повышается не более чем на 3-4°C и возвращается к норме после включения резервных мощностей.

Модернизация и расширение

Tier 3 позволяет добавлять новые стойки и наращивать мощность без остановки работающего оборудования. Вы подключаете новую стойку к свободным портам распределительных шкафов на путях A и B, устанавливаете серверы и вводите их в эксплуатацию.

Расширение мощности ИБП или системы охлаждения также выполняется поэтапно: сначала на одном пути, затем на втором. Существующая нагрузка продолжает работать.

Отказоустойчивость и одиночные отказы

ЦОД уровня tier iii выдерживает одиночный отказ любого компонента инфраструктуры без потери доступности. Отказать может ИБП, генератор, чиллер, кондиционер, насос, трансформатор — серверы продолжат работу.

Сценарии отказа электропитания

При отключении внешнего ввода A на шину A система автоматически переключается на резервный генератор. Нагрузка на пути A обеспечивается от генератора, нагрузка на пути B работает от основного ввода. Время переключения — 8-12 секунд, в течение которых питание идёт от батарей ИБП.

При отказе одного модуля ИБП нагрузка перераспределяется на оставшиеся модули того же пути автоматически. Если откажут все ИБП на пути A одновременно (что крайне маловероятно), критичные серверы переключатся на путь B через STS или собственные резервные блоки питания.

Сценарии отказа охлаждения

При выходе из строя одного прецизионного кондиционера на контуре A резервный агрегат того же контура запускается автоматически. Если откажут все кондиционеры на контуре A, температура начнёт расти. Система мониторинга подаст аварийный сигнал, и персонал вручную переключит охлаждение на контур B или включит аварийное охлаждение.

Время до критического перегрева серверов при полном отказе охлаждения — 8-12 минут в зависимости от плотности размещения оборудования. Этого достаточно для реакции персонала.

Каскадные отказы

Требования к цод tier 3 не гарантируют защиту от каскадных отказов — ситуаций, когда отказ одного компонента вызывает цепную реакцию. Например, отключение электричества на обоих вводах одновременно или ошибка персонала при переключении нагрузки.

Для защиты от каскадных отказов используются процедуры управления изменениями, обязательное тестирование после обслуживания и жёсткие регламенты работы с критичным оборудованием.

Стоимость построения Tier III

Стоимость построения ЦОД уровня Tier 3 зависит от региона, мощности и текущих цен на оборудование. В 2025-2026 годах средние затраты составляют 120-180 тысяч рублей на 1 кВт IT-нагрузки.

Распределение затрат

Основные статьи расходов при строительстве tier iii цод:

Статья расходов	Доля в бюджете	Затраты на 1 кВт
Система электропитания (ИБП, генераторы, ввод)	35-40%	45-65 тыс. руб.
Система охлаждения (кондиционеры, чиллеры, трубопроводы)	25-30%	32-48 тыс. руб.
Стройка и отделка машинного зала	15-20%	20-30 тыс. руб.
Система мониторинга и управления (BMS, DCIM)	8-12%	10-18 тыс. руб.
Пожаротушение и безопасность	6-8%	8-12 тыс. руб.
Стойки, кабельные системы, прочее	5-8%	6-12 тыс. руб.

Для дата-центра мощностью 1 МВт IT-нагрузки общие капитальные затраты составят 120-180 миллионов рублей. Сюда не входят земля, внешние сети и проектирование.

Сравнение с другими уровнями

Tier II стоит на 30-40% дешевле Tier III за счёт отсутствия полного резервирования. Один путь распределения питания и охлаждения вместо двух сокращает затраты на оборудование и площади.

Tier IV стоит на 40-60% дороже Tier III. Дополнительные затраты связаны с резервированием 2N (два полностью независимых ЦОД в одном здании), усиленными системами мониторинга и более жёсткими требованиями к изоляции отказов.

Операционные расходы

Ежегодные операционные расходы ЦОД тир 3 составляют 15-25% от капитальных затрат. Основные статьи:

• Электроэнергия — 60-70% операционных расходов
• Персонал (дежурные инженеры, администраторы) — 15-20%
• Обслуживание и запчасти — 10-15%
• Аренда или амортизация помещения — 5-10%

Для ЦОД мощностью 1 МВт ежегодные операционные расходы составят 20-35 миллионов рублей в зависимости от региона и тарифов на электроэнергию.

PUE и энергоэффективность

PUE (Power Usage Effectiveness) — показатель энергоэффективности дата-центра. Он показывает отношение общего энергопотребления к энергопотреблению IT-оборудования.

Типичный PUE для tier 3 цод составляет 1,6-1,8. Это означает, что на каждый кВт мощности серверов приходится ещё 0,6-0,8 кВт на охлаждение, ИБП, освещение и прочие системы инфраструктуры.

Способы снижения PUE

Современные технологии позволяют снизить PUE Tier III до 1,3-1,4:

• Фрикулинг — использование наружного воздуха для охлаждения при температуре ниже +15°C
• Горячий коридор / холодный коридор — организация воздушных потоков для уменьшения смешивания горячего и холодного воздуха
• Высокотемпературное охлаждение — повышение температуры подачи до 25-27°C вместо стандартных 22°C
• Высокоэффективные ИБП с КПД 96-98%
• Модульные дизель-генераторы с улучшенной экономичностью на частичных нагрузках

Снижение PUE на 0,1 даёт экономию около 6% энергопотребления ЦОД. Для дата-центра мощностью 1 МВт это 90-120 тысяч рублей в месяц.

Сертификация Tier III

Uptime Institute выдаёт два типа сертификатов: Tier Certification of Design (сертификат проекта) и Tier Certification of Constructed Facility (сертификат построенного объекта).

Tier Certification of Design

Сертификат проекта выдаётся на основе анализа проектной документации. Uptime Institute проверяет:

• Схемы электропитания и охлаждения
• Расчёты резервирования и нагрузок
• Планы размещения оборудования
• Процедуры обслуживания

Стоимость сертификации проекта Tier III — от 25 до 40 тысяч долларов. Срок получения — 3-6 месяцев после подачи документов.

Tier Certification of Constructed Facility

Сертификат построенного объекта выдаётся после физической инспекции дата-центра. Инспекторы Uptime Institute проверяют соответствие реализации проекту, проводят нагрузочные тесты и моделируют отказы.

Стоимость — от 50 до 80 тысяч долларов. Срок получения — 6-12 месяцев с момента готовности объекта.

Нужна ли сертификация

Сертификация Tier III обязательна для коммерческих дата-центров, которые продают услуги колокации и облачной инфраструктуры. Крупные заказчики требуют подтверждённый сертификат перед размещением критичных систем.

Для корпоративных ЦОД сертификация опциональна. Вы можете построить инфраструктуру по требованиям Tier III без получения официального сертификата. Это сэкономит 75-120 тысяч долларов, но лишит вас маркетингового преимущества.

Альтернативы классификации Tier

Помимо Uptime Institute существуют альтернативные стандарты отказоустойчивости дата-центров:

ANSI/TIA-942

Стандарт Telecommunications Industry Association определяет четыре рейтинга дата-центров — от Rated-1 до Rated-4. Rated-3 соответствует Tier III по требованиям к резервированию.

Преимущество TIA-942 — более детальные требования к кабельным системам, расположению оборудования и физической безопасности. Недостаток — меньшая известность на рынке.

EN 50600

Европейский стандарт для дата-центров определяет четыре класса доступности. Класс 3 примерно соответствует Tier III, но допускает меньшие вариации в реализации.

EN 50600 популярен в Европе, но в России применяется редко.

Для кого подходит Tier III

ЦОД уровня tier iii оптимален для организаций, которым критична высокая доступность, но не требуется максимальная отказоустойчивость Tier IV.

Типовые сценарии использования

• Интернет-магазины и маркетплейсы с оборотом от 500 миллионов рублей в год
• Банки и финтех-компании для некритичных систем (не АБС и процессинг)
• Телеком-операторы для размещения биллинга и систем управления сетью
• Облачные провайдеры для IaaS и SaaS со SLA 99,95%
• Корпоративные ЦОД средних и крупных компаний (от 200 серверов)

Когда выбрать Tier II вместо Tier III

Tier II достаточно для задач с допустимым плановым простоем 1-2 раза в год по 4-8 часов. Это офисные системы, внутренние порталы, системы документооборота, CRM и ERP без критичности к доступности 24/7.

Экономия на построении Tier II вместо Tier III составит 30-50 миллионов рублей на мощности 1 МВт.

Когда нужен Tier IV вместо Tier III

Tier IV необходим для систем, которые не допускают простоя вообще: банковский процессинг, биржевые торги, телекоммуникационные сети магистральных операторов, госуслуги федерального уровня.

Дополнительные затраты на Tier IV окупаются только если стоимость одного часа простоя превышает 5-10 миллионов рублей.

Частые ошибки при проектировании Tier III

Ошибки проектирования приводят к невозможности получения сертификата или снижению фактической доступности ниже заявленной.

Недостаточное физическое разделение путей

Пути A и B должны быть физически изолированы друг от друга. Если кабельные трассы обоих путей идут в одном лотке, пожар или механическое повреждение выведет из строя оба пути одновременно.

Правильно: раздельные кабельные трассы с расстоянием минимум 1,5 метра, прокладка в разных помещениях или на разных уровнях здания.

Неправильный расчёт резерва N+1

Формула N+1 означает, что при отказе одного модуля остальные покроют нагрузку без перегрузки. Ошибка — считать N как количество работающих модулей вместо минимально необходимого.

Пример: для нагрузки 1200 кВт нужно четыре ИБП по 400 кВт (N=3, резерв=1). Три ИБП по 400 кВт недостаточно, так как при отказе одного останется только 800 кВт вместо требуемых 1200 кВт.

Отсутствие процедур обслуживания

Возможность обслуживания без остановки существует только на бумаге, если нет детальных процедур для персонала. Каждая операция (замена ИБП, обслуживание кондиционера, добавление стойки) требует пошагового регламента с указанием последовательности переключений.

Ошибка персонала при обслуживании — одна из главных причин простоя в Tier III.

Недостаточная мощность генераторов

Дизель-генераторы должны покрывать 100% нагрузки ЦОД, включая охлаждение. Частая ошибка — расчёт мощности генераторов только по IT-оборудованию без учёта чиллеров, кондиционеров и освещения.

Правильный расчёт: мощность генераторов = мощность IT × PUE × 1,15 (запас на пусковые токи).

Практические рекомендации

При построении tier 3 дата-центра учитывайте эти рекомендации:

• Закладывайте резерв мощности 20-30% для будущего расширения. Дешевле установить более мощные ИБП и генераторы сразу, чем модернизировать через 2-3 года
• Используйте модульные ИБП вместо моноблочных. Модульная архитектура упрощает масштабирование и замену отказавших компонентов
• Автоматизируйте мониторинг всех критичных параметров через DCIM-систему. Ручной контроль не обеспечивает требуемой скорости реакции
• Проводите нагрузочное тестирование минимум раз в год. Имитируйте отказы оборудования и проверяйте автоматическое переключение
• Обучайте персонал работе с резервированной инфраструктурой. Большинство простоев в Tier III вызвано ошибками людей, а не отказами техники

Вопросы и ответы