Аппаратное обеспечение искусственного интеллекта изменило само понятие “высокой плотности”.”
Еще несколько лет назад разработка корпуса для сервера могла начинаться с определения размеров материнской платы, отсеков для дисков, слотов PCIe, формата блока питания и высоты стойки. Эти параметры по-прежнему важны. Однако проект по вычислениям с использованием ИИ добавляет ещё один уровень сложности: множество мощных ускорителей, размещённых в ограниченном объёме, очень высокая потребность в токе, тяжёлые платы, плотные пучки кабелей, ограничивающие пространство радиаторы, высокоскоростные сетевые соединения и охлаждающее оборудование, которое борется за те же миллиметры пространства.
Это полностью меняет суть работы.
Вопрос уже не сводится просто к тому, “А можно ли разместить в этом корпусе восемь графических процессоров?”
Лучше спросить:
“Сможем ли мы разместить всю систему в этом корпусе и обеспечить её бесперебойную работу при постоянной нагрузке, не создав при этом проблем теплового, электрического или конструктивного характера, а также проблем с техническим обслуживанием?”
Именно в этом заключается философия дизайна, лежащая в основе серьезного Индивидуальный корпус для сервера искусственного интеллекта.
Современные платформы искусственного интеллекта, рассчитанные на уровень стоек, демонстрируют, почему проектированию корпусов следует уделять больше внимания.
Референсная архитектура NVIDIA GB300 NVL72 объединяет 72 графических процессора Blackwell Ultra и 36 процессоров Grace. Компания NVIDIA сообщает, что стойка оснащена системой жидкостного охлаждения, использует восемь силовых полок мощностью 33 кВт и может потребовать до 142 кВт для полной стойки.
Это не обычная плотность размещения оборудования в серверной.
В отдельной документации NVIDIA по управлению питанием Mission Control указана расчетная мощность стойки, равная 120 кВт для модели GB200 NVL72 и 135 кВт для модели GB300 NVL72, при этом максимальный энергетический бюджет узлов составляет примерно 6,7 кВт и 7,5 кВт соответственно. Эти цифры приведены в контексте распределения энергетического бюджета, поэтому их не следует рассматривать как взаимозаменяемые с любыми максимальными техническими характеристиками стоек, однако они иллюстрируют одну и ту же инженерную реальность: современные вычислительные системы на базе искусственного интеллекта способны потреблять огромное количество энергии, занимая при этом очень мало места.
| Ориентир | Опубликованный рисунок | Что это означает для проектирования ограждающих конструкций |
|---|---|---|
| NVIDIA GB300 NVL72 | 72 графических процессора + 36 процессоров Grace | Чрезвычайно плотная компоновка вычислительных систем, сетевого оборудования, источников питания и систем охлаждения |
| Требования к полной стойке GB300 NVL72 | До 142 кВт | Архитектура систем охлаждения и электропитания не может быть второстепенным вопросом |
| Расчет мощности стойки GB300 на примере NVIDIA PRS | 135 кВт | Распределение мощности и запас по мощности необходимо учитывать на системном уровне |
| Пример максимальной мощности узла GB300 в PRS | 7,5 кВт | Отдельные вычислительные лотки могут нести значительную тепловую нагрузку |
| МЭА: ускоренный рост потребления электроэнергии» | ~30% в год в базовом сценарии | Ускоренные вычисления с высокой плотностью, по всей видимости, станут более распространенными |
Общая тенденция указывает на то же самое. Согласно анализу Международного энергетического агентства, посвящённому энергетике и искусственному интеллекту, прогнозируется, что мировое потребление электроэнергии центрами обработки данных достигнет примерно 945 ТВт·ч к 2030 году в базовом сценарии. По прогнозам, потребление электроэнергии серверами с повышенной производительностью, что обусловлено в основном внедрением ИИ, вырастет примерно на 30% в год, по сравнению с примерно 9% у обычных серверов.
Для разработчиков корпусов и закупщиков, работающих по схеме OEM, это имеет значение.
Более мощное аппаратное обеспечение означает больше проектов, в которых плотность мощности, нагрузка на графический процессор, охлаждающая способность, организация кабельной разводки и доступ для технического обслуживания становятся механическими требованиями первостепенной важности.
Один из самых быстрых способов сорвать проект по созданию нестандартного корпуса — приступить к работе в CAD до того, как архитектура вычислительной системы станет стабильной.
Не делай этого.
Прежде чем окончательно утвердить геометрию шасси, инженерная команда должна иметь представление о предполагаемой нагрузке и основных компонентах, которые планируется установить в системе.
Как минимум, заблокируйте:
An Корпус для сервера искусственного интеллекта проектироваться с учетом этого комплексного решения. Изменение одной детали на более позднем этапе может вызвать цепную реакцию, затронувшую остальные элементы конструкции.
Заменить видеокарту?
Расположение разъема может измениться.
Заменить блок питания?
Состав кабельного пучка изменяется.
Установить ещё одну сетевую карту?
Теперь геометрия стояка изменяется.
Увеличить толщину вентилятора?
И вдруг оказалось, что кабель питания видеокарты негде удобно согнуть.
Миллиметры быстро накапливаются.
Это может показаться очевидным, но приводит к дорогостоящим ошибкам.
То, что видеокарта помещается в корпус, еще не означает, что она работает внутри него.
При оценке Серверное шасси с графическим процессором, нам нужно не ограничиваться номинальными размерами карты и проверить фактические монтажные габариты.
Сюда входят корпус платы, радиатор, разъем питания, радиус изгиба разъема, зазор между соседними платами, положение слота на материнской плате, крепежные элементы, расположение райзера, стена вентилятора, прокладка кабелей, а также направление, в котором техническому специалисту необходимо извлечь плату.
Мощные ускорители создают ещё одну проблему: гравитацию.
Длинные платы могут оказывать значительную нагрузку на разъем PCIe и заднюю монтажную поверхность. Вибрации при транспортировке усугубляют эту проблему. Видеокарта, которая нормально работает в стационарном режиме на лабораторном столе, может вести себя совершенно иначе после международной перевозки, установки в стойку, многократных циклов обслуживания или под воздействием вибрации от высокоскоростных вентиляторов.
В случае с плотными системами крепление графического процессора должно быть неотъемлемой частью конструкции корпуса, а не каким-то аксессуаром, о котором вспоминают за два дня до отгрузки.
Тепло не обращает внимания на то, насколько хорошо выглядит чертеж в CAD.
Сервер с высокой плотностью может быть безупречным с механической точки зрения, но при этом иметь ужасные тепловые характеристики.
В системах с воздушным охлаждением в корпусе необходимо обеспечить четко продуманный путь прохождения воздуха. Воздух должен поступать туда, где это предусмотрено аппаратным обеспечением, проходить через компоненты с высоким сопротивлением и выходить из корпуса, не циркулируя повторно через зоны с высокой температурой.
Звучит просто.
Это не так.
Кабели мешают. Корпуса дисков мешают. Корпуса блоков питания мешают. Высокие модули памяти DIMM, райзеры, несущие балки, кронштейны радиаторов, разъёмы, фильтры, объединительные платы и даже неправильно расположенные металлические фланцы могут снижать давление в тракте воздушного потока.
A Стойка для ИИ с высокой плотностью размещения поэтому его невозможно спроектировать, опираясь исключительно на количество положений вентилятора.
“Шесть фанатов” мне практически ничего не говорит.
Мне нужно узнать размеры вентиляторов, их характеристические кривые, статическое давление, сопротивление, температуру на входе, путь отвода отработавших газов, алгоритм управления, сопротивление компонентов, а также что происходит, когда один из вентиляторов останавливается.
Это полезные вопросы.
| Проектный коэффициент | Воздушное охлаждение | Жидкостное охлаждение |
|---|---|---|
| Механическая сложность | Нижний | Выше |
| Зависимость воздушного потока от конструкции шасси | Очень высокий | Предназначено для компонентов с жидкостным охлаждением |
| Интеграция объектов | Как правило, проще | Может потребоваться блок CDU, коллектор, шланги, подключение к водопроводу объекта |
| Требования к управлению утечками | Контур охлаждения отсутствует | Да |
| Порядок обслуживания | Знакомо большинству технических специалистов | Требует соблюдения процедур технического обслуживания с учетом особенностей системы охлаждения |
| Пригодность при увеличении плотности тепла | Становится всё сложнее | Часто это более практично |
| Конкурс на лучший интерьер | Вентиляторы и воздуховоды | Холодные пластины, трубопроводы, коллекторы, соединители |
| Планирование на случай сбоев | Резервирование вентиляторов и потери воздушного потока | Сценарии, связанные с насосом, установкой очистки дизельного топлива (CDU), утечкой, расходом и контуром объекта |
Переезд в Серверный корпус с жидкостным охлаждением Это не избавляет от работ по механическому проектированию. Это меняет характер этих работ.
Теперь важно, как проложены шланги.
Возможность быстрого отсоединения имеет большое значение.
Обнаружение утечек имеет большое значение.
Минимальный радиус изгиба имеет значение.
Расположение коллекторов имеет значение.
Технику необходимо достаточно места, чтобы отсоединить и повторно подключить контур без демонтажа постороннего оборудования и без риска намокания электронных компонентов.
Сама архитектура NVIDIA GB300 NVL72 использует систему обнаружения утечек на уровне стойки и лотка в сочетании с жидкостным охлаждением, что служит полезным напоминанием о том, что управление хладагентом является частью архитектуры системы, а не просто холодной пластиной, привинченной к графическому процессору.
Распределение электроэнергии часто рассматривается как вопрос, относящийся к области электротехники.
В условиях плотного корпуса это также в значительной степени вопрос механики.
Высокоточная электропитание означает использование разъемов большего размера, большее количество кабелей, более жесткие ограничения по радиусу изгиба, дополнительные требования к шинам, более высокие температуры разъемов, а также меньшую свободу при прокладке кабельной разводки в том пространстве, которое остается после установки “важных” компонентов.
Архитектуре власти необходима физическая территория.
Забронируйте.
Шасси, спроектированное с учетом использования нескольких ускорителей, может потребовать наличия резервных источников питания, системы распределения высокого тока, легкодоступных разъемов, безопасного отделения кабелей, обеспечения воздушного потока вокруг зоны блоков питания, а также пространства для замены неисправного модуля без необходимости разборки сервера.
Именно здесь Серверный корпус высокой плотности могут возникнуть проблемы, даже если на бумаге список компонентов выглядит абсолютно совместимым.
Всё подходит.
Ничто не пригодно для использования.
Недавно, просматривая обсуждения в отрасли, я наткнулся на старую ветку на r/sysadmin, посвященную охлаждению стоек высокой плотности, которая меня заинтересовала.
Автор первоначального сообщения располагал несколькими системами NVIDIA DGX, а также оборудованием для хранения данных и изучал, как разместить примерно 30–40 кВт в одной стойке. Один из участников рассказал, что энергопотребление шкафов достигает примерно 36 кВт, и отметил, что запас времени при сбое системы охлаждения может быть крайне мал — около 20 секунд до термического отключения для многих систем в данной конкретной конфигурации. Другие инженеры в этой ветке неоднократно поднимали те же самые вопросы: доступность систем охлаждения, мощность электросети объекта, аварийное отключение, система водоснабжения, наличие специалистов по техническому обслуживанию, а также риски, связанные с концентрацией такого большого количества тепла в одном шкафу.
Эта дискуссия привлекла моё внимание, потому что покупатели иногда начинают проект по созданию индивидуального ИИ с одного заманчивого вопроса:
Сколько вычислительной мощности мы сможем уместить в этом пространстве?
Неправильный первый вопрос.
Лучше всего подойдет:
Какую вычислительную нагрузку этот корпус способен выдерживать непрерывно, безопасно и с обеспечением исправности в реальных условиях эксплуатации?
На экране CAD шасси может выглядеть просто великолепно. Все компоненты идеально вписываются. Каждая единица стойки занята.
И вот начинается рабочая нагрузка.
Трибуна для болельщиков.
Температура кабелей повышается.
Вытяжной воздух из графического процессора сталкивается с другим источником тепла.
Один из компонентов ограничивает пропускную способность.
Техник пытается извлечь плату и обнаруживает, что ей мешают три кабеля и коллектор.
Это не инженерия высокой плотности.
Это упаковка высокой плотности.
Здесь есть разница.
Максимальная плотность размещения компонентов зачастую является нежелательной проектной задачей при разработке корпуса для искусственного интеллекта по индивидуальному заказу.
Да, я это сказал.
“Восемь графических процессоров в корпусе 4U” — это отлично смотрится в сравнительной таблице.
“Максимальная вычислительная мощность на единицу стойки” — это отлично смотрится в презентации по закупкам.
Однако установка ещё одного графического процессора не принесёт пользы, если это приведёт к ухудшению воздушного потока, тепловому ограничению производительности, недоступности разъёмов, перегрузке кабельной разводки питания, затруднению ремонта в полевых условиях или полной потере запаса прочности при отклонении условий в помещении от идеальных лабораторных допущений.
Победившая вольерная конструкция не обязательно будет самой маленькой.
Во многих проектах я предпочитаю создавать корпус немного большего размера с предсказуемой циркуляцией воздуха, надёжной поддержкой видеокарт, продуманным распределением питания, логичной прокладкой кабелей, доступными вентиляторами и достаточным пространством для работы технических специалистов, чем выигрывать соревнование по плотности размещения, из-за которого готовая система становится крайне неудобной в эксплуатации.
Лучший корпус высокой плотности — это тот, который способен выдержать нагрузку.
Не тот, кто выигрывает в игре «Тетрис».
Задайте простой вопрос во время проверки чертежей в CAD:
Что выходит из строя в первую очередь и как это заменить?
Затем проделайте физическую модель ответа.
Может ли техник заменить вентилятор, не снимая графических процессоров?
Можно ли вынуть блок питания с задней стороны?
Можно ли получить доступ к сетевому адаптеру, не затрагивая шланги системы охлаждения?
Можно ли извлечь графический процессор в вертикальном или горизонтальном направлении, не отсоединяя при этом не относящиеся к нему кабели?
Можно ли выполнить техническое обслуживание передней панели без демонтажа всего сервера?
Можно ли быстро добраться до протекающего фитинга?
Можно ли заменить неисправный загрузочный диск, не затрагивая вычислительную часть?
Эти вопросы не выглядят привлекательно.
Они экономят деньги.
Для системного интегратора, монтирующего 50, 100 или 500 устройств, несколько дополнительных минут на обслуживание каждого устройства превращаются в реальные эксплуатационные расходы. Неправильная последовательность доступа также повышает вероятность того, что технические специалисты повредят расположенные поблизости кабели, разъемы, платы или трубки при устранении неполадок, не связанных с данной задачей.
Именно поэтому Корпус для монтажа в стойку по индивидуальному заказу должна быть спроектирована не только с учетом сборки, но и с учетом разборки.
Инженеры-технологи создают его один раз.
Ваш клиент сможет эксплуатировать его в течение многих лет.
Серверы искусственного интеллекта занимают много места.
Иногда чрезвычайно тяжело.
Шасси должно выдерживать эту нагрузку во время сборки, транспортировки, установки в стойку, нормальной эксплуатации и технического обслуживания. Длинные видеокарты, несколько блоков питания, большие материнские платы, медные радиаторы, теплообменники, коллекторы и плотно размещенные накопители — все это может привести к смещению центра тяжести.
Проверьте:
Взятая отдельно, скобка может показаться незначительной.
Умножьте это незначительное отклонение на длинную и тяжелую карточку, добавьте вибрацию при транспортировке, а затем повторите этот процесс для всей производственной партии.
Теперь это имеет значение.
Прототип — это не просто металлический образец, предназначенный для проверки совпадения отверстий под винты.
Используйте его активно.
Установите саму материнскую плату.
Установите сами графические процессоры.
Используйте силовые кабели, соответствующие требованиям промышленного применения.
Установите те же стойки, диски, сетевые адаптеры, вентиляторы, радиаторы, трубки, блоки питания, направляющие и узлы передней панели, которые будут использоваться в готовом сервере.
Затем проверьте неблагоприятные условия.
Проверьте установку компонентов, фиксацию плат, прокладку кабелей, доступ к разъемам, жесткость корпуса, закрепление направляющих, плотность прилегания крышки и последовательность выполнения работ по техническому обслуживанию.
Запустите типовые рабочие нагрузки. Измерьте температуру на входе и выходе, температуру компонентов, работу вентиляторов, зоны повышенной температуры, а также производительность в ожидаемых условиях окружающей среды.
Проверить нагрузку на блок питания, поведение системы резервирования, температуру кабелей и разъемов, распределение питания, а также поведение при запуске.
Что произойдет, если один из вентиляторов перестанет работать?
Что происходит, если возникает неисправность в насосе охлаждающей жидкости или в контуре системы?
Что произойдет, если один блок питания выйдет из строя?
Что произойдет, если фильтр частично забится?
Что происходит при повышении температуры окружающей среды?
Устройство, которое прошло термоиспытания, но поступило с смещенными внутри корпуса графическими процессорами, по-прежнему считается неудачной конструкцией.
Перед началом серийных поставок необходимо провести испытания упаковки, прочности крепления, виброустойчивости, кронштейнов, крепежных элементов и опор для тяжелых компонентов.
Недостаточно четкий запрос предложений приводит к появлению предположений.
Предположения приводят к корректировкам.
Внесение изменений отнимает время.
Если речь идет о проекте по изготовлению шасси для ИИ по индивидуальному заказу, предоставьте поставщику достаточно информации для оценки архитектуры всей системы, а не просто для расчета стоимости пустого металлического корпуса.
Полезный пакет документов для запроса предложений должен включать:
| Ввод данных для запроса предложений | Необходимая информация |
|---|---|
| Форм-фактор | Целевые значения высоты, ширины и глубины U |
| Материнская плата | Модель, размеры, чертежи, места установки |
| GPU | Точная модель, количество, размеры, ширина паза, мощность |
| CPU | Платформа, количество, охладитель |
| Память | Требования к конфигурации модулей DIMM и зазорам |
| Хранение | Тип диска, количество, необходимость «горячей» замены |
| Работа в сети | Модель и количество NIC/DPU |
| PCIe | Схема слотов, подводящие кабели, переключатели, требования к разветвлениям |
| Мощность | PSU type, redundancy, total target power |
| Охлаждение | Air/liquid, fan specification, radiator/manifold requirements |
| ВВОД/ВЫВОД | Front and rear port requirements |
| Структура | GPU retention, handles, rails, reinforcement |
| Сервис | Components requiring tool-less or rapid access |
| Брендинг | Logo, color, silk screen, labels |
| Production | Prototype quantity, annual volume, target schedule |
| Market | Destination countries and compliance requirements |
The more complete the input, the earlier mechanical conflicts can be found.
Finding a 12 mm interference in CAD is cheap.
Finding it after tooling, fabrication, assembly, and international shipping is not.
High-density AI systems force mechanical, thermal, electrical, and facility engineering to meet in one box.
Именно поэтому Индивидуальный корпус для сервера искусственного интеллекта should never be specified by rack height and GPU count alone.
Start with the complete bill of materials.
Model the heat.
Reserve space for power.
Support the GPUs.
Plan the cable paths.
Decide the cooling architecture early.
Design access around the parts most likely to need service.
Then prototype the actual system—not an empty enclosure.
AI compute density will keep rising. The IEA’s projections for accelerated-server electricity use and today’s 100 kW-plus rack architectures already point in that direction.
The manufacturers and system integrators that handle that density well will not be the ones who simply make smaller boxes.
They will be the ones who understand what has to happen inside those boxes when the workload hits 100%.
Краткий ответ: A custom AI server chassis is an enclosure engineered around a specific combination of GPUs, CPUs, motherboard, storage, networking, power, cooling, and rack requirements.
Unlike a generic server case, its internal layout can be optimized for accelerator spacing, structural support, airflow, liquid cooling, cable routing, redundant power, and maintenance access.
Краткий ответ: A high-density server chassis places a large amount of compute, storage, or accelerator hardware into a limited rack space while maintaining adequate power delivery, cooling, structural support, and service access.
Density should be evaluated by usable sustained performance, not component count alone.
Краткий ответ: No. A smaller chassis can improve rack density, but 5U or 6U may provide better cooling capacity, GPU spacing, cable routing, expansion, and maintenance access.
The correct form factor depends on GPU type, power, cooling strategy, motherboard layout, and operational requirements.
Краткий ответ: Liquid cooling becomes attractive when heat density, accelerator power, rack density, noise limits, or airflow restrictions make conventional air cooling difficult to manage efficiently.
The decision must also consider facility water, CDU requirements, manifolds, leak management, service procedures, and redundancy.
Краткий ответ: Provide the GPU, motherboard, CPU, PSU, storage, networking, PCIe, cooling, rack dimensions, I/O, rail requirements, production volume, and target market.
Exact component drawings are far more useful than generic statements such as “8-GPU AI server.”
Краткий ответ: Heavy GPUs can place mechanical stress on PCIe slots, brackets, and chassis structures during operation, shipping, and maintenance.
Proper retention controls card movement, distributes mechanical load, and reduces the risk of connector or board damage.
Краткий ответ: Usually not. The better target is the highest practical compute density that can maintain thermal performance, reliable power delivery, structural stability, and acceptable service access.
One extra GPU is not valuable if the resulting system throttles or becomes difficult to maintain.
Марк Ли — основатель компании ISTONECASE, имеющий 20-летний опыт работы в сфере производства серверных шасси. Он специализируется на OEM/ODM-решениях для графических процессоров (GPU) и искусственного интеллекта (AI), а также на шасси для монтажа в стойку, промышленном оборудовании, настенных шасси, сетевых хранилищах (NAS), шасси формата Mini-ITX и многоузловых шасси. Его экспертиза позволяет реализовывать индивидуальные аппаратные проекты для центров обработки данных, вычислений на базе искусственного интеллекта, корпоративных систем хранения данных, периферийных вычислений, сетевых решений и промышленных приложений.
Комментарии
