Аппаратное обеспечение искусственного интеллекта изменило само понятие “высокой плотности”.”
Еще несколько лет назад разработка корпуса для сервера могла начинаться с определения размеров материнской платы, отсеков для дисков, слотов PCIe, формата блока питания и высоты стойки. Эти параметры по-прежнему важны. Однако проект по вычислениям с использованием ИИ добавляет ещё один уровень сложности: множество мощных ускорителей, размещённых в ограниченном объёме, очень высокая потребность в токе, тяжёлые платы, плотные пучки кабелей, ограничивающие пространство радиаторы, высокоскоростные сетевые соединения и охлаждающее оборудование, которое борется за те же миллиметры пространства.
Это полностью меняет суть работы.
Вопрос уже не сводится просто к тому, “А можно ли разместить в этом корпусе восемь графических процессоров?”
Лучше спросить:
“Сможем ли мы разместить всю систему в этом корпусе и обеспечить её бесперебойную работу при постоянной нагрузке, не создав при этом проблем теплового, электрического или конструктивного характера, а также проблем с техническим обслуживанием?”
Именно в этом заключается философия дизайна, лежащая в основе серьезного Индивидуальный корпус для сервера искусственного интеллекта.
Современные платформы искусственного интеллекта, рассчитанные на уровень стоек, демонстрируют, почему проектированию корпусов следует уделять больше внимания.
Референсная архитектура NVIDIA GB300 NVL72 объединяет 72 графических процессора Blackwell Ultra и 36 процессоров Grace. Компания NVIDIA сообщает, что стойка оснащена системой жидкостного охлаждения, использует восемь силовых полок мощностью 33 кВт и может потребовать до 142 кВт для полной стойки.
Это не обычная плотность размещения оборудования в серверной.
В отдельной документации NVIDIA по управлению питанием Mission Control указана расчетная мощность стойки, равная 120 кВт для модели GB200 NVL72 и 135 кВт для модели GB300 NVL72, при этом максимальный энергетический бюджет узлов составляет примерно 6,7 кВт и 7,5 кВт соответственно. Эти цифры приведены в контексте распределения энергетического бюджета, поэтому их не следует рассматривать как взаимозаменяемые с любыми максимальными техническими характеристиками стоек, однако они иллюстрируют одну и ту же инженерную реальность: современные вычислительные системы на базе искусственного интеллекта способны потреблять огромное количество энергии, занимая при этом очень мало места.
| Ориентир | Опубликованный рисунок | Что это означает для проектирования ограждающих конструкций |
|---|---|---|
| NVIDIA GB300 NVL72 | 72 графических процессора + 36 процессоров Grace | Чрезвычайно плотная компоновка вычислительных систем, сетевого оборудования, источников питания и систем охлаждения |
| Требования к полной стойке GB300 NVL72 | До 142 кВт | Архитектура систем охлаждения и электропитания не может быть второстепенным вопросом |
| Расчет мощности стойки GB300 на примере NVIDIA PRS | 135 кВт | Распределение мощности и запас по мощности необходимо учитывать на системном уровне |
| Пример максимальной мощности узла GB300 в PRS | 7,5 кВт | Отдельные вычислительные лотки могут нести значительную тепловую нагрузку |
| МЭА: ускоренный рост потребления электроэнергии» | ~30% в год в базовом сценарии | Ускоренные вычисления с высокой плотностью, по всей видимости, станут более распространенными |
Общая тенденция указывает на то же самое. Согласно анализу Международного энергетического агентства, посвящённому энергетике и искусственному интеллекту, прогнозируется, что мировое потребление электроэнергии центрами обработки данных достигнет примерно 945 ТВт·ч к 2030 году в базовом сценарии. По прогнозам, потребление электроэнергии серверами с повышенной производительностью, что обусловлено в основном внедрением ИИ, вырастет примерно на 30% в год, по сравнению с примерно 9% у обычных серверов.
Для разработчиков корпусов и закупщиков, работающих по схеме OEM, это имеет значение.
Более мощное аппаратное обеспечение означает больше проектов, в которых плотность мощности, нагрузка на графический процессор, охлаждающая способность, организация кабельной разводки и доступ для технического обслуживания становятся механическими требованиями первостепенной важности.
Один из самых быстрых способов сорвать проект по созданию нестандартного корпуса — приступить к работе в CAD до того, как архитектура вычислительной системы станет стабильной.
Не делай этого.
Прежде чем окончательно утвердить геометрию шасси, инженерная команда должна иметь представление о предполагаемой нагрузке и основных компонентах, которые планируется установить в системе.
Как минимум, заблокируйте:
An Корпус для сервера искусственного интеллекта проектироваться с учетом этого комплексного решения. Изменение одной детали на более позднем этапе может вызвать цепную реакцию, затронувшую остальные элементы конструкции.
Заменить видеокарту?
Расположение разъема может измениться.
Заменить блок питания?
Состав кабельного пучка изменяется.
Установить ещё одну сетевую карту?
Теперь геометрия стояка изменяется.
Увеличить толщину вентилятора?
И вдруг оказалось, что кабель питания видеокарты негде удобно согнуть.
Миллиметры быстро накапливаются.
Это может показаться очевидным, но приводит к дорогостоящим ошибкам.
То, что видеокарта помещается в корпус, еще не означает, что она работает внутри него.
При оценке Серверное шасси с графическим процессором, нам нужно не ограничиваться номинальными размерами карты и проверить фактические монтажные габариты.
Сюда входят корпус платы, радиатор, разъем питания, радиус изгиба разъема, зазор между соседними платами, положение слота на материнской плате, крепежные элементы, расположение райзера, стена вентилятора, прокладка кабелей, а также направление, в котором техническому специалисту необходимо извлечь плату.
Мощные ускорители создают ещё одну проблему: гравитацию.
Длинные платы могут оказывать значительную нагрузку на разъем PCIe и заднюю монтажную поверхность. Вибрации при транспортировке усугубляют эту проблему. Видеокарта, которая нормально работает в стационарном режиме на лабораторном столе, может вести себя совершенно иначе после международной перевозки, установки в стойку, многократных циклов обслуживания или под воздействием вибрации от высокоскоростных вентиляторов.
В случае с плотными системами крепление графического процессора должно быть неотъемлемой частью конструкции корпуса, а не каким-то аксессуаром, о котором вспоминают за два дня до отгрузки.
Тепло не обращает внимания на то, насколько хорошо выглядит чертеж в CAD.
Сервер с высокой плотностью может быть безупречным с механической точки зрения, но при этом иметь ужасные тепловые характеристики.
В системах с воздушным охлаждением в корпусе необходимо обеспечить четко продуманный путь прохождения воздуха. Воздух должен поступать туда, где это предусмотрено аппаратным обеспечением, проходить через компоненты с высоким сопротивлением и выходить из корпуса, не циркулируя повторно через зоны с высокой температурой.
Звучит просто.
Это не так.
Кабели мешают. Корпуса дисков мешают. Корпуса блоков питания мешают. Высокие модули памяти DIMM, райзеры, несущие балки, кронштейны радиаторов, разъёмы, фильтры, объединительные платы и даже неправильно расположенные металлические фланцы могут снижать давление в тракте воздушного потока.
A Стойка для ИИ с высокой плотностью размещения поэтому его невозможно спроектировать, опираясь исключительно на количество положений вентилятора.
“Шесть фанатов” мне практически ничего не говорит.
Мне нужно узнать размеры вентиляторов, их характеристические кривые, статическое давление, сопротивление, температуру на входе, путь отвода отработавших газов, алгоритм управления, сопротивление компонентов, а также что происходит, когда один из вентиляторов останавливается.
Это полезные вопросы.
| Проектный коэффициент | Воздушное охлаждение | Жидкостное охлаждение |
|---|---|---|
| Механическая сложность | Нижний | Выше |
| Зависимость воздушного потока от конструкции шасси | Очень высокий | Предназначено для компонентов с жидкостным охлаждением |
| Интеграция объектов | Как правило, проще | Может потребоваться блок CDU, коллектор, шланги, подключение к водопроводу объекта |
| Требования к управлению утечками | Контур охлаждения отсутствует | Да |
| Порядок обслуживания | Знакомо большинству технических специалистов | Требует соблюдения процедур технического обслуживания с учетом особенностей системы охлаждения |
| Пригодность при увеличении плотности тепла | Становится всё сложнее | Часто это более практично |
| Конкурс на лучший интерьер | Вентиляторы и воздуховоды | Холодные пластины, трубопроводы, коллекторы, соединители |
| Планирование на случай сбоев | Резервирование вентиляторов и потери воздушного потока | Сценарии, связанные с насосом, установкой очистки дизельного топлива (CDU), утечкой, расходом и контуром объекта |
Переезд в Серверный корпус с жидкостным охлаждением Это не избавляет от работ по механическому проектированию. Это меняет характер этих работ.
Теперь важно, как проложены шланги.
Возможность быстрого отсоединения имеет большое значение.
Обнаружение утечек имеет большое значение.
Минимальный радиус изгиба имеет значение.
Расположение коллекторов имеет значение.
Технику необходимо достаточно места, чтобы отсоединить и повторно подключить контур без демонтажа постороннего оборудования и без риска намокания электронных компонентов.
Сама архитектура NVIDIA GB300 NVL72 использует систему обнаружения утечек на уровне стойки и лотка в сочетании с жидкостным охлаждением, что служит полезным напоминанием о том, что управление хладагентом является частью архитектуры системы, а не просто холодной пластиной, привинченной к графическому процессору.
Распределение электроэнергии часто рассматривается как вопрос, относящийся к области электротехники.
В условиях плотного корпуса это также в значительной степени вопрос механики.
Высокоточная электропитание означает использование разъемов большего размера, большее количество кабелей, более жесткие ограничения по радиусу изгиба, дополнительные требования к шинам, более высокие температуры разъемов, а также меньшую свободу при прокладке кабельной разводки в том пространстве, которое остается после установки “важных” компонентов.
Архитектуре власти необходима физическая территория.
Забронируйте.
Шасси, спроектированное с учетом использования нескольких ускорителей, может потребовать наличия резервных источников питания, системы распределения высокого тока, легкодоступных разъемов, безопасного отделения кабелей, обеспечения воздушного потока вокруг зоны блоков питания, а также пространства для замены неисправного модуля без необходимости разборки сервера.
Именно здесь Серверный корпус высокой плотности могут возникнуть проблемы, даже если на бумаге список компонентов выглядит абсолютно совместимым.
Всё подходит.
Ничто не пригодно для использования.
Недавно, просматривая обсуждения в отрасли, я наткнулся на старую ветку на r/sysadmin, посвященную охлаждению стоек высокой плотности, которая меня заинтересовала.
Автор первоначального сообщения располагал несколькими системами NVIDIA DGX, а также оборудованием для хранения данных и изучал, как разместить примерно 30–40 кВт в одной стойке. Один из участников рассказал, что энергопотребление шкафов достигает примерно 36 кВт, и отметил, что запас времени при сбое системы охлаждения может быть крайне мал — около 20 секунд до термического отключения для многих систем в данной конкретной конфигурации. Другие инженеры в этой ветке неоднократно поднимали те же самые вопросы: доступность систем охлаждения, мощность электросети объекта, аварийное отключение, система водоснабжения, наличие специалистов по техническому обслуживанию, а также риски, связанные с концентрацией такого большого количества тепла в одном шкафу.
Эта дискуссия привлекла моё внимание, потому что покупатели иногда начинают проект по созданию индивидуального ИИ с одного заманчивого вопроса:
Сколько вычислительной мощности мы сможем уместить в этом пространстве?
Неправильный первый вопрос.
Лучше всего подойдет:
Какую вычислительную нагрузку этот корпус способен выдерживать непрерывно, безопасно и с обеспечением исправности в реальных условиях эксплуатации?
На экране CAD шасси может выглядеть просто великолепно. Все компоненты идеально вписываются. Каждая единица стойки занята.
И вот начинается рабочая нагрузка.
Трибуна для болельщиков.
Температура кабелей повышается.
Вытяжной воздух из графического процессора сталкивается с другим источником тепла.
Один из компонентов ограничивает пропускную способность.
Техник пытается извлечь плату и обнаруживает, что ей мешают три кабеля и коллектор.
Это не инженерия высокой плотности.
Это упаковка высокой плотности.
Здесь есть разница.
Максимальная плотность размещения компонентов зачастую является нежелательной проектной задачей при разработке корпуса для искусственного интеллекта по индивидуальному заказу.
Да, я это сказал.
“Восемь графических процессоров в корпусе 4U” — это отлично смотрится в сравнительной таблице.
“Максимальная вычислительная мощность на единицу стойки” — это отлично смотрится в презентации по закупкам.
Однако установка ещё одного графического процессора не принесёт пользы, если это приведёт к ухудшению воздушного потока, тепловому ограничению производительности, недоступности разъёмов, перегрузке кабельной разводки питания, затруднению ремонта в полевых условиях или полной потере запаса прочности при отклонении условий в помещении от идеальных лабораторных допущений.
Победившая вольерная конструкция не обязательно будет самой маленькой.
Во многих проектах я предпочитаю создавать корпус немного большего размера с предсказуемой циркуляцией воздуха, надёжной поддержкой видеокарт, продуманным распределением питания, логичной прокладкой кабелей, доступными вентиляторами и достаточным пространством для работы технических специалистов, чем выигрывать соревнование по плотности размещения, из-за которого готовая система становится крайне неудобной в эксплуатации.
Лучший корпус высокой плотности — это тот, который способен выдержать нагрузку.
Не тот, кто выигрывает в игре «Тетрис».
Задайте простой вопрос во время проверки чертежей в CAD:
Что выходит из строя в первую очередь и как это заменить?
Затем проделайте физическую модель ответа.
Может ли техник заменить вентилятор, не снимая графических процессоров?
Можно ли вынуть блок питания с задней стороны?
Можно ли получить доступ к сетевому адаптеру, не затрагивая шланги системы охлаждения?
Можно ли извлечь графический процессор в вертикальном или горизонтальном направлении, не отсоединяя при этом не относящиеся к нему кабели?
Можно ли выполнить техническое обслуживание передней панели без демонтажа всего сервера?
Можно ли быстро добраться до протекающего фитинга?
Можно ли заменить неисправный загрузочный диск, не затрагивая вычислительную часть?
Эти вопросы не выглядят привлекательно.
Они экономят деньги.
Для системного интегратора, монтирующего 50, 100 или 500 устройств, несколько дополнительных минут на обслуживание каждого устройства превращаются в реальные эксплуатационные расходы. Неправильная последовательность доступа также повышает вероятность того, что технические специалисты повредят расположенные поблизости кабели, разъемы, платы или трубки при устранении неполадок, не связанных с данной задачей.
Именно поэтому Корпус для монтажа в стойку по индивидуальному заказу должна быть спроектирована не только с учетом сборки, но и с учетом разборки.
Инженеры-технологи создают его один раз.
Ваш клиент сможет эксплуатировать его в течение многих лет.
Серверы искусственного интеллекта занимают много места.
Иногда чрезвычайно тяжело.
Шасси должно выдерживать эту нагрузку во время сборки, транспортировки, установки в стойку, нормальной эксплуатации и технического обслуживания. Длинные видеокарты, несколько блоков питания, большие материнские платы, медные радиаторы, теплообменники, коллекторы и плотно размещенные накопители — все это может привести к смещению центра тяжести.
Проверьте:
Взятая отдельно, скобка может показаться незначительной.
Умножьте это незначительное отклонение на длинную и тяжелую карточку, добавьте вибрацию при транспортировке, а затем повторите этот процесс для всей производственной партии.
Теперь это имеет значение.
Прототип — это не просто металлический образец, предназначенный для проверки совпадения отверстий под винты.
Используйте его активно.
Установите саму материнскую плату.
Установите сами графические процессоры.
Используйте силовые кабели, соответствующие требованиям промышленного применения.
Установите те же стойки, диски, сетевые адаптеры, вентиляторы, радиаторы, трубки, блоки питания, направляющие и узлы передней панели, которые будут использоваться в готовом сервере.
Затем проверьте неблагоприятные условия.
Проверьте установку компонентов, фиксацию плат, прокладку кабелей, доступ к разъемам, жесткость корпуса, закрепление направляющих, плотность прилегания крышки и последовательность выполнения работ по техническому обслуживанию.
Запустите типовые рабочие нагрузки. Измерьте температуру на входе и выходе, температуру компонентов, работу вентиляторов, зоны повышенной температуры, а также производительность в ожидаемых условиях окружающей среды.
Проверить нагрузку на блок питания, поведение системы резервирования, температуру кабелей и разъемов, распределение питания, а также поведение при запуске.
Что произойдет, если один из вентиляторов перестанет работать?
Что происходит, если возникает неисправность в насосе охлаждающей жидкости или в контуре системы?
Что произойдет, если один блок питания выйдет из строя?
Что произойдет, если фильтр частично забится?
Что происходит при повышении температуры окружающей среды?
Устройство, которое прошло термоиспытания, но поступило с смещенными внутри корпуса графическими процессорами, по-прежнему считается неудачной конструкцией.
Перед началом серийных поставок необходимо провести испытания упаковки, прочности крепления, виброустойчивости, кронштейнов, крепежных элементов и опор для тяжелых компонентов.
Недостаточно четкий запрос предложений приводит к появлению предположений.
Предположения приводят к корректировкам.
Внесение изменений отнимает время.
Если речь идет о проекте по изготовлению шасси для ИИ по индивидуальному заказу, предоставьте поставщику достаточно информации для оценки архитектуры всей системы, а не просто для расчета стоимости пустого металлического корпуса.
Полезный пакет документов для запроса предложений должен включать:
| Ввод данных для запроса предложений | Необходимая информация |
|---|---|
| Форм-фактор | Целевые значения высоты, ширины и глубины U |
| Материнская плата | Модель, размеры, чертежи, места установки |
| GPU | Точная модель, количество, размеры, ширина паза, мощность |
| CPU | Платформа, количество, охладитель |
| Память | Требования к конфигурации модулей DIMM и зазорам |
| Хранение | Тип диска, количество, необходимость «горячей» замены |
| Работа в сети | Модель и количество NIC/DPU |
| PCIe | Схема слотов, подводящие кабели, переключатели, требования к разветвлениям |
| Мощность | Тип источника питания, резервирование, общая номинальная мощность |
| Охлаждение | Воздух/жидкость, технические характеристики вентилятора, требования к радиатору/коллектору |
| ВВОД/ВЫВОД | Требования к переднему и заднему портам |
| Структура | Крепление графического процессора, ручки, направляющие, усиление |
| Сервис | Компоненты, требующие доступа без использования инструментов или быстрого доступа |
| Брендинг | Логотип, цвет, шелкография, этикетки |
| Производство | Количество прототипов, годовой объем, целевой график |
| Рынок | Страны назначения и требования к соблюдению норм |
Чем полнее исходные данные, тем раньше можно выявить механические конфликты.
Найти зазор в 12 мм в CAD — дело несложное.
Но найти его после изготовления инструментов, производства, сборки и международной доставки — это совсем другое дело.
Системы искусственного интеллекта высокой плотности требуют объединения в одном корпусе механического, теплового, электрического и инженерного обеспечения.
Именно поэтому Индивидуальный корпус для сервера искусственного интеллекта ни в коем случае не следует определять исключительно по высоте стойки и количеству графических процессоров.
Начните с полной спецификации материалов.
Постройте модель теплообмена.
Зарезервируйте место для подключения к источнику питания.
Обеспечить поддержку графических процессоров.
Спланируйте маршруты прокладки кабелей.
Заранее определитесь с архитектурой системы охлаждения.
Обеспечьте доступ к тем узлам, которые с наибольшей вероятностью потребуют технического обслуживания.
Затем создайте прототип самой системы, а не пустой корпус.
Вычислительная плотность ИИ будет продолжать расти. Прогнозы МЭА относительно роста потребления электроэнергии ускоренными серверами, а также современные архитектуры стоек мощностью более 100 кВт уже указывают на эту тенденцию.
Производители и системные интеграторы, которые смогут эффективно справиться с такой плотностью, — это не те, кто просто будет выпускать более компактные устройства.
Именно они поймут, что должно произойти внутри этих блоков, когда нагрузка достигает 100%.
Краткий ответ: Специализированный серверный корпус для ИИ — это корпус, сконструированный с учетом конкретной комбинации графических процессоров (GPU), центральных процессоров (CPU), материнской платы, систем хранения данных, сетевого оборудования, источников питания, систем охлаждения и требований к установке в стойку.
В отличие от стандартного серверного корпуса, его внутренняя компоновка может быть оптимизирована с учётом расстояния между ускорителями, конструктивной опоры, воздушного потока, жидкостного охлаждения, прокладки кабелей, резервного питания и доступа для технического обслуживания.
Краткий ответ: Серверный корпус высокой плотности позволяет разместить большое количество вычислительного оборудования, систем хранения данных или ускорителей на ограниченном пространстве в стойке, обеспечивая при этом надлежащее электропитание, охлаждение, конструктивную опору и доступ для технического обслуживания.
Плотность следует оценивать по реальной устойчивой производительности, а не только по количеству компонентов.
Краткий ответ: Нет. Шасси меньшего размера может повысить плотность размещения в стойке, однако шасси высотой 5U или 6U могут обеспечить более эффективную систему охлаждения, оптимальное расстояние между графическими процессорами, удобную прокладку кабелей, возможности расширения и удобный доступ для технического обслуживания.
Выбор подходящего форм-фактора зависит от типа графического процессора, мощности, схемы охлаждения, компоновки материнской платы и эксплуатационных требований.
Краткий ответ: Жидкостное охлаждение становится привлекательным решением в тех случаях, когда плотность тепловыделения, мощность ускорителя, плотность установки в стойке, ограничения по уровню шума или ограничения по воздушному потоку затрудняют эффективное использование традиционного воздушного охлаждения.
При принятии решения также необходимо учитывать водоснабжение объекта, требования к системе CDU, коллекторы, меры по устранению утечек, процедуры технического обслуживания и резервирование.
Краткий ответ: Укажите данные о графическом процессоре, материнской плате, центральном процессоре, блоке питания, устройствах хранения данных, сетевых компонентах, разъемах PCIe, системе охлаждения, габаритах стойки, интерфейсах ввода-вывода, требованиях к напряжению питания, объемах производства и целевом рынке.
Точные чертежи компонентов гораздо полезнее, чем общие формулировки вроде “сервер искусственного интеллекта с 8 графическими процессорами”.”
Краткий ответ: Мощные графические процессоры могут создавать механическую нагрузку на слоты PCIe, кронштейны и конструкцию корпуса во время эксплуатации, транспортировки и технического обслуживания.
Надлежащая фиксация обеспечивает плавное перемещение платы, распределяет механическую нагрузку и снижает риск повреждения разъема или платы.
Краткий ответ: Как правило, нет. Более целесообразной целью является максимально возможная практическая вычислительная плотность, при которой сохраняются тепловые характеристики, надежное электропитание, конструктивная устойчивость и приемлемый доступ для технического обслуживания.
Один дополнительный графический процессор не принесет пользы, если в результате система начнёт снижать производительность или станет сложной в обслуживании.
Марк Ли — основатель компании ISTONECASE, имеющий 20-летний опыт работы в сфере производства серверных шасси. Он специализируется на OEM/ODM-решениях для графических процессоров (GPU) и искусственного интеллекта (AI), а также на шасси для монтажа в стойку, промышленном оборудовании, настенных шасси, сетевых хранилищах (NAS), шасси формата Mini-ITX и многоузловых шасси. Его экспертиза позволяет реализовывать индивидуальные аппаратные проекты для центров обработки данных, вычислений на базе искусственного интеллекта, корпоративных систем хранения данных, периферийных вычислений, сетевых решений и промышленных приложений.
Комментарии
