Ограничение по задержке снижало пропускную способность систем машинного перевода в MLPerf на 39–55%. Паспорт ускорителя этого не показывает. Можно согласовать дорогой GPU-сервер и получить систему, которая не выдерживает целевую нагрузку или не допущена к корпоративным данным.
Поэтому решение для закупщика такое: свой AI-сервер покупают после проверки правил эксплуатации, испытания целевой модели и расчёта загрузки. Если хотя бы одного основания нет, бери мощности в аренду и проводи ограниченный пилот.
Громкий вывод про Gartner не подтверждается
Утверждение «Gartner признал ИИ-компании незрелыми» нельзя повторять как факт. На странице Gartner AI Controls Assessment нет выборки компаний, доли незрелых участников или вывода о неготовности рынка.

Gartner предлагает инструмент самооценки контроля ИИ. Он сопоставляет процессы компании с NIST AI RMF и ISO/IEC 42001, оценивает три измерения зрелости и превращает найденные пробелы в план исправлений. Старший аналитик Gartner Джош Мёрфи формулирует исходную позицию проще: управление рисками ИИ начинается с корпоративного управления.
Это не диагноз отрасли. Это перечень вопросов, на которые компания должна ответить до допуска модели к своим данным.
Для закупки отсюда следует конкретное ограничение: отсутствие правил нельзя закрыть сервером. Сначала назначь владельца данных и рисков, установи порядок допуска модели и запиши условия её отключения. Только после этого имеет смысл считать GPU, память и сеть.
До выбора GPU нужны три решения
Первое решение касается данных. Кто разрешает модели читать переписку, клиентскую базу, техническую документацию или медицинские записи? Поставщик сервера за этот допуск не отвечает.
Второе — результатов модели. Кто проверяет ответы и кто принимает последствия ошибки? Формулировка «ответственность несёт ИТ» ничего не определяет: у конкретного процесса должен быть владелец.
Третье — остановки. Заранее задай наблюдаемый порог: например, превышение допустимой задержки, падение качества на контрольном наборе или нарушение правил доступа. Без такого порога систему нельзя управляемо вывести из эксплуатации.
Эти решения не дают конфигурацию сервера. Они лишь допускают проект к техническому испытанию. Следующий барьер — воспроизводимый замер на той модели, которую компания собирается запускать.
Паспортная производительность не равна рабочей
MLPerf Inference фиксирует модель, набор данных, сценарий нагрузки и требования к качеству. Правила запрещают кэшировать запросы и промежуточные данные ради искусственного ускорения. Открытая заявка также должна описывать отклонения от закрытого класса тестов. Это позволяет сравнивать системы в одинаковых условиях, а не по выбранной производителем красивой цифре.
Разница между паспортным максимумом и рабочим режимом зависит от задачи. В отчёте MLPerf Inference система A теряла около 10% пропускной способности на моделях компьютерного зрения и до 40% на машинном переводе после введения ограничения по задержке. У системы B потери превышали 50% на всех трёх испытанных моделях.
Даже внутри компьютерного зрения разброс заметен. Для ResNet-50 v1.5 снижение составляло от 3 до 35%, в среднем около 20%. У MobileNet-v1 среднее снижение оставалось ниже 10%.
Поэтому сравнивать серверы только по производительности ускорителя нельзя. Проверь целевую модель, размер контекста, пакет запросов, допустимую задержку и число одновременных обращений. Это тот же принцип, по которому аппаратный ускоритель проверяют в рабочем программном стеке, а не по наличию отдельного вычислительного блока.
HGX B300 — граница класса, а не готовый ответ
NVIDIA описывает HGX B300 как связанный узел из восьми ускорителей B300. Каждый ускоритель содержит 288 ГБ HBM3e, весь узел — 2,30 ТБ. GPU соединены через NVLink и NVSwitch с совокупной полосой 14,4 ТБ/с.
Хостовая часть тоже выходит за рамки обычного «сервера с видеокартами». NVIDIA требует не менее 48 физических ядер на сокет с базовой частотой от 2,0 ГГц, рекомендует 56 ядер и задаёт минимум 2 ТБ системной памяти с пропускной способностью 500 ГБ/с.
Сеть — отдельная часть конфигурации. На базовой плате стоят восемь ConnectX-8 SuperNIC, по одному на GPU, и BlueField-3 DPU. Минимальная вычислительная сеть использует восемь подключений по 400 Гбит/с, рекомендуемая — шестнадцать таких подключений через разветвление портов.
Эти числа показывают масштаб платформы, но не доказывают, что она нужна твоему проекту. Если модель запускается несколько часов в неделю, сначала посчитай стоимость фактически занятых GPU-часов. Если проекту нужен локальный узел меньшего класса, отдельно разберись, какие компоненты определяет конкретная ИИ-нагрузка.
Спецификация под задачу
Ниже не универсальный сервер для ИИ, а расчёт для нагрузки, которая способна занять HGX B300.
Допущение: компания запускает восемь изолированных экземпляров модели одновременно. Рабочий набор каждого экземпляра занимает 200 ГБ памяти ускорителя, а запросы чувствительны к задержке.
Один B200 с 180 ГБ HBM3e такой рабочий набор не вмещает. Один B300 с 288 ГБ оставляет 88 ГБ запаса: 288 − 200 = 88. Для восьми экземпляров нужны восемь B300, то есть одна базовая плата HGX B300. Суммарный рабочий набор равен 1,6 ТБ, а доступная HBM3e — 2,30 ТБ.
Спецификацию для запроса поставщику собирай так:
- Ускорители: одна базовая плата HGX B300 с восемью B300 по 288 ГБ. Расчёт исходит из восьми одновременных экземпляров по 200 ГБ.
- Процессоры: не менее 48 физических ядер на каждый сокет, базовая частота от 2,0 ГГц; целевой вариант — 56 ядер на сокет. Это нижняя и рекомендуемая границы архитектуры NVIDIA, а не результат теста твоей модели.
- Оперативная память: не менее 2 ТБ с пропускной способностью 500 ГБ/с. Меньшая конфигурация выходит за требования NVIDIA к HGX B300.
- Локальные накопители: загрузочный NVMe на 1 ТБ и не менее 1 ТБ NVMe на каждый процессорный сокет для сервера инференса. Для обучения NVIDIA поднимает минимум локального хранилища до 2 ТБ на сокет.
- Сеть ускорителей: восемь ConnectX-8, по одному на GPU, и минимум восемь линий Ethernet по 400 Гбит/с. Рекомендуемый вариант — шестнадцать линий по 400 Гбит/с.
- Служебная сеть: один BlueField-3 DPU на сервер.
- Защищённая загрузка: модуль TPM 2.0.
- Корпус, питание и охлаждение: бери только из спецификации выбранной сертифицированной системы HGX B300. В архитектурном документе из материалов этой статьи нет мощности блоков питания, высоты корпуса и числа резервных модулей — переносить сюда параметры другой платформы нельзя.
Компромисс прямой: такая система оправдана, только если восемь ускорителей получают постоянную работу. При одном экземпляре модели ты используешь одну восьмую вычислительной части узла, хотя оплачиваешь весь сервер, сеть, питание и охлаждение.
Если рабочий набор укладывается в 180 ГБ, из расчёта исчезает причина требовать B300 вместо B200. Если одновременно работает не восемь экземпляров, а два, архитектура HGX B300 оставляет шесть ускорителей без подтверждённой нагрузки. В обоих случаях сначала нужен пилот на арендуемых мощностях.
Что написать в служебной записке
Допуск к капитальной закупке появляется только при совпадении трёх условий:
- назначены владельцы данных, рисков и результатов модели;
- целевая модель прошла воспроизводимый тест с заданной задержкой и качеством;
- прогноз загрузки подтверждает владение сервером, а не эпизодическую аренду.
Нет правил контроля — проект не допускают к корпоративным данным. Правила есть, но замера нет — арендуют ускорители для испытания. Замер и загрузка подтверждены — составляют спецификацию по памяти модели, задержке, пропускной способности и числу одновременных экземпляров.
Фраза про «незрелость по версии Gartner» для этого решения не нужна. Закупку защищают результаты собственного испытания и расчёт загрузки.