Подключение СХД к серверу: кабели и конфигурация

Подключение системы хранения данных к серверу — задача, требующая выбора правильного интерфейса, кабелей и настройки доступа. Ошибки на этапе подключения приводят к потере производительности, нестабильной работе или полной недоступности дисковых массивов. Эта инструкция поможет избежать типичных проблем и настроить СХД корректно.

Современные хранилища поддерживают несколько вариантов подключения: SAS для прямого доступа, Fibre Channel для высоконагруженных систем, iSCSI и NFS для работы через Ethernet. Выбор зависит от задач, бюджета и топологии сети.

Выбор интерфейса подключения

Интерфейс определяет скорость, надёжность и сложность настройки. Для каждого сценария есть оптимальный вариант.

SAS (Serial Attached SCSI)

SAS подходит для прямого подключения внешних дисковых полок к серверу. Интерфейс обеспечивает скорость до 12 Гбит/с на канал, низкую задержку и не требует сетевой инфраструктуры. Типичные случаи использования: резервное копирование, архивные системы, расширение дискового пространства одного сервера.

Для подключения понадобится HBA-контроллер с внешними SAS-портами. Такие контроллеры устанавливают в слот PCIe сервера. Кабели SAS бывают двух типов: SFF-8088 (устаревший) и SFF-8644 (современный, поддерживает 12 Гбит/с). Длина кабеля не должна превышать 10 метров — это ограничение протокола.

SAS не поддерживает multipath из коробки: один сервер подключается к одному контроллеру СХД. Для отказоустойчивости используют резервные каналы через второй HBA и второй контроллер хранилища.

Fibre Channel (FC)

Fibre Channel — стандарт для корпоративных СХД, поддерживающий скорости 8, 16, 32 Гбит/с. Протокол работает через FC-коммутаторы (SAN Fabric), что позволяет подключать множество серверов к одному хранилищу с централизованным управлением доступом (зонирование, LUN Masking).

Для подключения нужен FC HBA (например, Emulex или QLogic) в сервере, оптические трансиверы SFP+ в HBA и коммутаторах, оптоволоконные кабели LC-LC. Расстояние зависит от типа оптики: multimode до 300 м, singlemode до 10 км.

FC обеспечивает нативный multipath: сервер видит диски через несколько путей одновременно, операционная система автоматически переключается при отказе канала. Настройка требует знаний WWPN, зонирования и администрирования FC-коммутаторов.

iSCSI

iSCSI передаёт SCSI-команды через обычную Ethernet-сеть. Это самый доступный вариант: не нужны специальные коммутаторы, достаточно выделенной сети 10 GbE или 25 GbE. Подходит для виртуализации, баз данных средней нагрузки, файловых серверов.

Для подключения используют выделенные сетевые карты (желательно с поддержкой iSCSI offload), либо программный инициатор в ОС. СХД выступает в роли iSCSI Target, сервер — Initiator. Настройка включает создание LUN на стороне хранилища, настройку CHAP-аутентификации, подключение через initiator в Linux (open-iscsi) или Windows (iSCSI Initiator).

iSCSI поддерживает multipath через MPIO (Windows) или dm-multipath (Linux). Критично использовать Jumbo Frames (MTU 9000) и отключить flow control для снижения задержек.

NFS / SMB

Файловые протоколы подходят для хранения виртуальных машин (VMware vSphere через NFS), резервных копий, общих папок. NFS v4.1 и выше поддерживает multipath через pNFS, SMB 3.0+ — через SMB Multichannel.

Подключение происходит на уровне ОС: монтирование NFS-шары в Linux/ESXi или подключение SMB в Windows. Для производительности важна настройка rsize/wsize (размер блока чтения/записи), использование 10 GbE и выше.

Схемы физического подключения

Правильная топология обеспечивает отказоустойчивость и максимальную пропускную способность.

Прямое подключение (Direct Attached Storage)

Один сервер соединяется с внешней дисковой полкой через SAS-кабели. Схема проста: два HBA в сервере (для резервирования) подключаются к двум контроллерам СХД. Операционная система видит диски напрямую, управление идёт через драйверы контроллера.

Преимущества: минимальная задержка, не нужны коммутаторы. Недостатки: невозможно разделить хранилище между несколькими серверами, масштабируемость ограничена числом портов HBA.

SAN (Storage Area Network)

Серверы и СХД подключаются к FC или Ethernet-коммутаторам, образуя выделенную сеть хранения. Каждый сервер может обращаться к LUN на хранилище через множество путей (multipath).

Типичная конфигурация: два FC-коммутатора (Fabric A и Fabric B), каждый сервер подключён к обоим коммутаторам двумя HBA, СХД подключена обоими контроллерами к обоим коммутаторам. При отказе любого компонента доступ к данным сохраняется.

Для iSCSI SAN используют те же принципы: выделенные коммутаторы 10/25 GbE, два канала от каждого сервера, VLAN для изоляции трафика хранения от остальной сети.

Converged Network (FCoE, RoCE)

FCoE (Fibre Channel over Ethernet) и RoCE (RDMA over Converged Ethernet) объединяют хранение и обычный сетевой трафик в одной инфраструктуре 10/25/100 GbE. Требуют поддержки DCB (Data Center Bridging) на коммутаторах и адаптерах.

Эти технологии сложны в настройке, но снижают количество кабелей и адаптеров. Подходят для крупных ЦОД с унифицированной инфраструктурой.

Пошаговое подключение СХД через iSCSI

Разберём самый распространённый сценарий — подключение хранилища через iSCSI к серверу на Linux.

Для автоматического подключения при загрузке сервера включите автостарт сервиса: systemctl enable iscsid и systemctl enable iscsi.

Пошаговое подключение СХД через SAS

Подключение через SAS проще, но требует установки HBA-контроллера.

SAS-подключение не требует настройки сети, что упрощает конфигурацию. Однако отсутствие возможности совместного доступа с нескольких серверов ограничивает гибкость.

Настройка multipath для отказоустойчивости

Multipath обеспечивает доступность данных при отказе одного из каналов связи. Настройка зависит от ОС и протокола.

Linux (dm-multipath)

Утилита Device Mapper Multipath (DM-MPIO) встроена в ядро Linux. После установки пакета multipath-tools создайте конфигурацию в /etc/multipath.conf:

defaults {
    user_friendly_names yes
    path_grouping_policy multibus
    failback immediate
}

Эта конфигурация задаёт понятные имена устройств (/dev/mapper/mpatha) и мгновенное переключение на резервный путь при отказе основного. После перезапуска multipathd команда multipath -ll покажет все пути и их состояние.

Windows (MPIO)

В Windows Server MPIO устанавливается через Server Manager → Add Features → Multipath I/O. После установки перезагрузите сервер, откройте MPIO Properties, добавьте Vendor ID и Product ID вашего хранилища в список поддерживаемых устройств (информация есть в документации СХД).

После этого Disk Management покажет один диск вместо нескольких копий. В свойствах диска на вкладке MPIO можно выбрать политику балансировки: Round Robin (чередование путей для производительности) или Fail Over Only (активный/пассивный для надёжности).

VMware ESXi (NMP)

ESXi использует Native Multipathing Plugin (NMP). Для iSCSI настройка включает создание двух VMkernel портов в разных подсетях, подключение к двум портам СХД, выбор политики Path Selection Policy (Round Robin, Most Recently Used, Fixed).

После добавления datastore проверьте количество путей: esxcli storage nmp device list. Для оптимальной производительности установите Round Robin и IOPS=1 (переключение пути после каждой команды).

Типовые конфигурации подключения

Сценарий	Интерфейс	Оборудование	Преимущества
Резервное копирование 1 сервера	SAS 12 Гбит/с	HBA + внешняя дисковая полка	Простота, низкая задержка, не нужна сеть
Виртуализация (до 10 хостов)	iSCSI 10 GbE	2 коммутатора 10GbE + dual-port NIC в каждом хосте	Доступность, масштабируемость, доступная цена
Базы данных (высокая нагрузка)	Fibre Channel 16 Гбит/с	FC HBA + 2 FC-коммутатора	Минимальная задержка, нативный multipath, высокая пропускная способность
Файловый сервер (общие папки)	NFS over 10 GbE	2 сетевые карты 10GbE + коммутаторы	Простота управления, не требует блочного доступа
Архивное хранилище	SAS 6 Гбит/с	Бюджетный HBA + JBOD с SATA-дисками	Максимальная ёмкость при минимальной цене

При выборе конфигурации учитывайте требования к IOPS, пропускной способности, задержкам. Для систем с высокой нагрузкой (СУБД, виртуализация) критично использовать SSD на стороне СХД и каналы 10 GbE или FC 16 Гбит/с.

Частые ошибки при подключении СХД

Не учтён размер блока (Block Size)

По умолчанию многие СХД создают LUN с блоком 512 байт, тогда как современные ОС и приложения ожидают 4 Кбайт (4Kn). Несоответствие приводит к падению производительности до 30%. Решение: при создании LUN выбирать 4K block size, либо использовать 512e (эмуляция).

Отсутствие Jumbo Frames в iSCSI

Использование стандартного MTU 1500 вместо 9000 увеличивает нагрузку на процессор и снижает пропускную способность на 15-20%. Jumbo Frames нужно включить на всех узлах: СХД, коммутаторах, сетевых картах серверов. Проверка: ping -M do -s 8972 192.168.100.10 (Linux).

Использование общей сети для iSCSI

Передача трафика хранения через ту же сеть, что и пользовательский трафик, создаёт конкуренцию за пропускную способность и непредсказуемые задержки. Решение: выделенные VLAN или физически отдельные коммутаторы для iSCSI.

Неправильная политика multipath

Использование политики Fail Over Only вместо Round Robin снижает производительность вдвое: трафик идёт только через один путь, второй простаивает. Round Robin распределяет нагрузку равномерно. Проверьте настройки через multipath -ll (Linux) или MPIO Properties (Windows).

Отсутствие резервирования

Подключение одним кабелем или через один коммутатор создаёт единую точку отказа. Минимальная отказоустойчивая конфигурация: два канала от сервера к двум контроллерам СХД, либо два пути через разные коммутаторы.

Игнорирование прошивок HBA и СХД

Устаревшие прошивки HBA и контроллеров СХД содержат баги, приводящие к зависаниям, потере данных, низкой производительности. Перед вводом в эксплуатацию обновите firmware до последней стабильной версии. Информация о совместимости — в матрице поддержки производителя.

Тестирование производительности после подключения

После настройки проверьте фактическую скорость и задержки. Это поможет выявить узкие места до ввода системы в эксплуатацию.

fio (Linux)

Утилита fio — стандарт тестирования производительности хранилищ. Пример теста случайного чтения 4K блоками (типичная нагрузка СУБД):

fio --name=randread --ioengine=libaio --iodepth=32 --rw=randread --bs=4k --direct=1 --size=10G --numjobs=4 --runtime=60 --group_reporting --filename=/dev/mapper/mpatha

Результат покажет IOPS и задержку (latency). Для SSD ожидайте 50000+ IOPS и задержку <1 мс, для HDD — 150-300 IOPS и 5-10 мс.

CrystalDiskMark (Windows)

Простая утилита с графическим интерфейсом. Запустите тест на смонтированном томе СХД, сравните результаты с характеристиками хранилища. Обратите внимание на 4K Random Read/Write — это ключевые метрики для баз данных и виртуализации.

Проверка multipath

Отключите один из кабелей (или выключите один порт коммутатора) и убедитесь, что доступ к данным не прерывается. В логах системы должно появиться сообщение о переключении пути. После возврата кабеля оба пути должны снова стать активными.

Оптимизация производительности

После базовой настройки выполните дополнительные шаги для максимальной отдачи.

Выравнивание разделов (Alignment)

Смещение начала раздела должно быть кратно размеру блока СХД. Современные утилиты (gdisk, parted) автоматически выравнивают по 1 МБ, что подходит для любых массивов. Проверить: parted /dev/mapper/mpatha align-check optimal 1.

Настройка планировщика I/O

Для SSD и виртуальных дисков используйте планировщик noop или none (отключение переупорядочивания запросов). Для HDD — deadline или mq-deadline. Установка: echo none > /sys/block/sda/queue/scheduler или через параметры ядра.

Отключение барьеров записи (для некоторых RAID)

Если RAID-контроллер СХД имеет батарею или конденсаторы для сохранения кэша, барьеры записи (write barriers) можно отключить для ускорения: опция nobarrier при монтировании ext4 или barrier=0 для XFS. Без защиты кэша это приведёт к потере данных при сбое питания.

Увеличение глубины очереди (Queue Depth)

Для iSCSI увеличьте параметр node.session.queue_depth в конфиге open-iscsi до 128-256 (по умолчанию 32). Это позволяет отправлять больше команд параллельно, повышая IOPS на 20-40% при высоконагруженных системах.

Безопасность подключения

Доступ к хранилищу должен быть защищён от несанкционированного подключения.

CHAP-аутентификация (iSCSI)

Challenge-Handshake Authentication Protocol требует ввода логина и пароля при подключении Initiator к Target. Настройте двусторонний CHAP (Mutual CHAP): сервер аутентифицируется на СХД, СХД — на сервере. Это предотвращает подключение постороннего устройства.

Зонирование (Fibre Channel)

FC-коммутаторы поддерживают зонирование: HBA сервера видит только те порты СХД, которые разрешены в зоне. Используйте World Wide Name (WWN) зонирование вместо портового — это устойчиво к изменению топологии.

Изоляция сети (iSCSI, NFS)

Выделите подсеть только для трафика хранения, запретите маршрутизацию в эту подсеть с других сегментов. Используйте firewall на сервере, разрешив подключения только с IP СХД. Для iSCSI отключите автообнаружение (discovery) после первичной настройки.

Шифрование

Некоторые корпоративные СХД поддерживают шифрование данных на лету (Self-Encrypting Drives) или IPsec для iSCSI. Шифрование защищает от кражи дисков, но снижает производительность на 5-15%. Для критичных данных (персональные данные, финансы) это оправдано.

Вопросы и ответы