Поколения ConnectX: шпаргалка по скоростям
Линейку проще всего запомнить по числам:
- ConnectX-3 (2011) — Ethernet 10/40 GbE, InfiniBand FDR 56 Гбит/с;
- ConnectX-4 (2014) — до 100 Гбит/с на порт; удешевлённый ConnectX-4 Lx — 10/25/40/50 GbE;
- ConnectX-5 (2016) — 100 Гбит/с плюс разгрузка NVMe-oF: сетевой доступ к NVMe-хранилищу почти без участия процессора;
- ConnectX-6 — 200 Гбит/с; массовые версии Lx и Dx — 25/50/100 GbE;
- ConnectX-7 — 400 Гбит/с, ConnectX-8 — 800: это уже уровень ИИ-фабрик, на вторичке таких пока не ждите.
Что из этого покупать на вторичке
Для сети 10–25 Гбит/с — ConnectX-4 Lx с портами SFP28. Порт обратно совместим с SFP+, так что карта поработает и в 10-гигабитной сети, а после замены коммутатора даст 25. Для 40–56 гигабит смотрите QSFP+-модели: ConnectX-3 Pro и ConnectX-4. Для 100GbE — ConnectX-4 или ConnectX-5 с QSFP28, но учтите шину: стогигабитной карте нужен слот PCIe 3.0 x16 или 4.0 x8, иначе скорость упрётся в PCIe.
Проверьте и формат платы. Кроме обычных PCIe-карт полного и низкого профиля встречаются мезонины OCP 2.0/3.0 и проприетарные форматы вроде HP FlexibleLOM — стоят они обычно дешевле всего, но ставятся не в каждый сервер.
За что их любят
Главное слово — RDMA. Карта пишет данные напрямую в память удалённого сервера, минуя его процессор: задержки падают до долей микросекунды, ядра остаются свободными под полезную работу. По Ethernet это работает через RoCE v2 — на нём строят Ceph, NVMe-oF и SMB Direct. Планируете быструю сеть хранения — берите ConnectX-4 Lx или новее, там RoCE v2 есть.
Второе — драйверы. mlx4 (ConnectX-3) и mlx5 (ConnectX-4 и новее) входят в основное ядро Linux, а в ESXi драйвер идёт в поставке начиная с vSphere 6.7. Воткнул — работает. В сообществах Proxmox, TrueNAS и на Хабре эти карты годами фигурируют в руководствах как штатный недорогой способ получить 25–100 гигабит; впрочем, это оценка практиков — Intel X710 и Broadcom в тех же задачах тоже встречаются повсюду.
Карта приехала, а линка нет: режим InfiniBand
Многие ConnectX — карты VPI: один и тот же адаптер умеет быть и InfiniBand, и Ethernet, режим порта переключается программно. Со вторички такие карты часто приезжают в IB-режиме — в Ethernet-сети порт молчит, и новичок решает, что карта мёртвая. Нет: переключите режим порта на Ethernet утилитой mlxconfig, перезагрузите сервер — линк поднимется. Это самый частый вопрос новичков на форумах и самая простая «поломка» в мире Mellanox.
ConnectX-3: дёшево, но конец пути
Самые доступные карты линейки — ConnectX-3 и ConnectX-3 Pro: на Хабре именно из OEM-версий HP 544QSFP собирали «сеть 10–40 Гбит/с с минимальным бюджетом». Но надо понимать, что покупаете. NVIDIA убрала поддержку ConnectX-3 из фирменных драйверов ещё в 2020 году: последняя ветка с ней — MLNX_EN 4.9 LTS, развитие прошивок остановлено на версии 2.42.5000.
Драйвер mlx4 из ядра Linux никуда не делся, и карты работают. Однако на свежих системах копятся шероховатости: на ядре 6.17 (Proxmox 9.1) не собираются утилиты MST, в Proxmox 7.2 включение SR-IOV роняло ядро, в ранних сборках Unraid 6.10 карты не работали вовсе.
Итог простой. ConnectX-3 уместен там, где система не будет обновляться: собрали хранилище на устоявшемся ядре — и пусть себе работает. Для Proxmox 8/9, свежих дистрибутивов и всего, что будет жить и обновляться годами, доплатите за ConnectX-4 — сообщество Proxmox советует так же.
OEM-прошивки, перепрошивка и трансиверы
Заметная часть карт на вторичке — OEM-версии Dell, HPE и Lenovo. От стоковых они отличаются идентификатором PSID и прошивкой: обновления выходят только на сайте вендора и обычно отстают. Проверить, что у вас в руках и какая версия прошивки стоит, можно командой ethtool -i или утилитой mstflint.
Сообщество давно освоило перепрошивку OEM-карт в сток: официальные утилиты (mstflint с ключом allow_psid_change) делают это в несколько команд, а прошивки NVIDIA выкладывает в открытый доступ без сервисных контрактов. Процедура массовая и отработанная, но неофициальная — формально она лишает карту гарантии. Разумный порядок такой: сначала проверить карту как есть, прошивать — осознанно и только если действительно нужно.
С трансиверами проще: жёсткого замка на «родные» модули у ConnectX нет. Карты принимают сторонние SFP+/SFP28/QSFP-модули и DAC-кабели. Переходник QSA (QSFP→SFP+) NVIDIA официально называет совместимым с модулями всех основных производителей, а списки протестированных сторонних модулей публикует в примечаниях к прошивкам. На короткие дистанции внутри стойки берите DAC — дешевле; на длинные — оптику.
Охлаждение: карте нужен серверный сквозняк
Радиаторы у ConnectX пассивные, в расчёте на принудительный обдув серверного корпуса. В штатном сервере проблемы нет — она начинается в тихих корпусах и рабочих станциях: ConnectX-6 Lx без потока воздуха разогревается примерно до 120 °C. Бывает и обратный сюжет — Dell R730xd, обнаружив «чужую» ConnectX-3, разгонял все шесть вентиляторов до 17 000 об/мин.
Практический вывод: в сервере ставьте карту в слот с прямым потоком от вентиляторов, а в десктопе или тихой сборке добавьте направленный вентилятор. Сообщество даже печатает на 3D-принтерах активные кулеры под ConnectX-4 и ConnectX-6 — задача типовая.
Наследие Mellanox и бум ИИ
Покупка Mellanox оказалась одной из самых удачных сделок в истории отрасли. Годовая выручка сетевого направления NVIDIA превысила 31 млрд долларов — более чем в десять раз выше уровня 2020 года. Квартальная выручка от коммутаторов выросла на 647% год к году, до 2,3 млрд. По доле рынка Ethernet-коммутаторов (25,9%) NVIDIA обошла Cisco и Arista. Ethernet-платформу Spectrum-X используют Meta, Oracle и CoreWeave, её же выбрали для проекта Stargate (OpenAI); InfiniBand-коммутаторы Quantum-2 дают 400 Гбит/с на порт.
Для покупателя из этого следует одно: RDMA и разгрузки, ради которых строят крупнейшие ИИ-кластеры мира, — те же технологии, что сидят в ConnectX-карте за скромные деньги. Масштаб другой, инженерия та же.
Mellanox в России: параллельный импорт и гарантия
NVIDIA остановила поставки в Россию в марте 2022 года, а к октябрю закрыла российский офис. Новые карты едут по параллельному импорту, вендорской гарантии нет — отвечает продавец. Хорошая новость: прошивки, драйверы и документация остаются в открытом доступе на network.nvidia.com, утилита mstflint лежит на GitHub — обслуживать карты можно без участия производителя.
Server360 даёт собственную гарантию на адаптеры Mellanox. Поможем с подбором поколения, режимом порта и трансиверами — по телефону или через заявку на сайте.
