Вентиляторы выглядят просто.
Но как только восемь высокомощных ускорителей, два процессора, блоки памяти, накопители NVMe, коммутаторы PCIe, кабели питания, объединительные платы и резервные блоки питания будут размещены в одном серверном шасси для графических процессоров, этот аккуратный ряд вращающихся вентиляторов станет частью системы терморегулирования с контролируемым давлением, в которой даже удивительно незначительная механическая погрешность может привести к тому, что один графический процессор «перегреется», в то время как другой будет получать гораздо больше воздуха, чем ему необходимо.
Так почему же покупатели по-прежнему указывают количество вентиляторов при выборе вентиляционных стен?
Я бы не одобрил такой вариант.
Когда речь идет об охлаждении серверов с высокой плотностью размещения графических процессоров, целесообразно задать не вопрос: “Сколько 80-миллиметровых вентиляторов поместится поперек корпуса?”,”
Важный вопрос заключается в следующем:
Сможет ли вентиляторная панель обеспечить необходимый воздушный поток через совокупное сопротивление системы, охватывающее все зоны охлаждения графического процессора, при самой неблагоприятной предполагаемой нагрузке, даже если один вентилятор выйдет из строя?
Такая формулировка полностью меняет процесс проектирования.
И так и должно быть.
Компания NVIDIA указывает, что максимальная производительность H100 SXM составляет TDP 700 Вт, тогда как платформа HGX H100 может использовать восемь графических процессоров. Это означает, что одни только ускорители могут обеспечивать 5,6 кВт до того, как в расчет будут включены процессоры, модули памяти DIMM, накопители NVMe, сетевые карты, системы регулирования напряжения, потери при преобразовании энергии и другие компоненты. В документации NVIDIA по платформе HGX B200 идёт ещё дальше: каждый графический процессор B200 можно настроить на мощность до 1 000 Вт, разместив восемь графических процессоров на площади до 8 кВт — только TDP графического процессора.
Именно поэтому современная конструкция вентиляционной стены перестала быть просто деталью из листового металла.
Это системная инженерия.
Один из самых быстрых способов получить некачественный серверный корпус с графическим процессором — начать обсуждение вопросов теплоотвода с каталога вентиляторов.
“200 кубических футов в минуту на каждый вентилятор”.”
“Восемь болельщиков”.”
“1 600 кубических футов в минуту”.”
Выглядит здорово.
Правда, это практически ничего не говорит о том, какой воздушный поток будет фактически поступать к готовому серверу.
Максимальный расход воздуха (CFM) обычно характеризует одну из крайних точек рабочей кривой вентилятора, расположенную вблизи очень низкого сопротивления давлению. Максимальное статическое давление характеризует противоположную точку, где расход воздуха приближается к нулю. Ваш сервер на базе графического процессора работает в диапазоне между этими точками.
Эта рабочая точка имеет большее значение, чем любые маркетинговые показатели.
Прежде чем выбрать вентиляционную стену, я бы составил полный тепловой баланс:
Не следует ориентироваться исключительно на номинальные параметры, указанные на паспортной табличке блока питания.
Архитектура мощности 12 кВт не означает, что шасси непрерывно рассеивает 12 кВт. Однако проектирование с учетом нереалистично низкой “типичной” нагрузки столь же опасно.
Используйте производственную рабочую нагрузку.
Затем определите допустимый разрыв температур между входом и выходом воздуха из корпуса.
Для воздушного охлаждения можно использовать следующее практическое приближение:
Требуемый расход воздуха (CFM) ≈ 1,76 × тепловая нагрузка в ваттах ÷ допустимое повышение температуры воздуха в °C
Данная оценка теплового баланса носит теоретический характер и основана на типичных характеристиках воздуха. Она служит отправной точкой, а не техническим заданием на вентилятор и стену.
Рассмотрим две упрощённые системы:
| Пример сервера на базе графического процессора | Приблизительная тепловая нагрузка системы | Допустимое ΔT | Теоретический воздушный поток |
|---|---|---|---|
| Система с 8 графическими процессорами класса H100 | 7 000 Вт | 15 °C | ~821 куб. футов в минуту |
| Система с 8 графическими процессорами класса H100 | 7 000 Вт | 10 °C | ~1 232 куб. футов в минуту |
| Платформа с 8 графическими процессорами повышенной мощности | 10 000 Вт | 15 °C | ~1 173 кубических футов в минуту |
| Платформа с 8 графическими процессорами повышенной мощности | 10 000 Вт | 10 °C | ~1 760 кубических футов в минуту |
Эти цифры вызывают намеренное чувство дискомфорта.
Так и должно быть.
Как только мощность сервера высокой плотности приближается к 7–10 кВт, изменение допустимого повышения температуры воздуха всего на 5 °C может привести к изменению теоретических требований к расходу воздуха на сотни кубических футов в минуту.
При этом в расчетах по-прежнему предполагается, что воздух поступает туда, куда вам нужно.
Обычно это не так.
Для проектов, которые пока находятся на этапе разработки архитектуры, наше руководство по Конструкция системы циркуляции воздуха в сервере по принципу «спереди назад» объясняет, как последовательность размещения компонентов, обходные пути, дверцы стоек, прокладка кабелей, отсеки для приводов и геометрия вытяжной системы влияют на траекторию воздушного потока ещё до того, как начнётся выбор вентиляторов.
А вот и самая сложная часть.
Блок графических процессоров представляет собой сопротивление.
Плотный радиатор представляет собой сопротивление.
Опорная плоскость — это сопротивление.
Кроме того, это перфорированная передняя панель, пылевой фильтр, защитная решетка вентилятора, пучок кабелей, задняя решетка, дверца стойки, отсек для хранения, воздуховод и плохо выровненное вентиляционное отверстие.
Если соединить их вместе, вентиляторная стенка будет вынуждена прогонять воздух, преодолевая перепад давления, который может значительно отличаться от показателей, полученных при стендовых испытаниях в открытом корпусе.
Именно поэтому мне небезразлично статическое давление.
По мере увеличения расхода воздуха потери давления в корпусе, как правило, резко возрастают. Поэтому у готового корпуса имеется собственная кривая системного сопротивления.
У вентилятора есть ещё одна кривая.
Точка пересечения этих двух кривых примерно соответствует тому режиму, в котором фактически работает вентилятор.
Именно такую цифру должны запросить отделы закупок.
А не максимальное значение в кубических футах в минуту (CFM), указанное в верхней части спецификации изделия.
В ходе исследования серверов, включенных в индекс NSF, посвященного анализу перепадов статического давления между входом и выходом, было установлено, что тепловые характеристики сервера, поведение системы управления вентиляторами, направление воздушного потока и энергопотребление вентиляторов могут зависеть от давления в пространстве вокруг корпуса. Другими словами, охлаждение сервера невозможно полностью изолировать от давления окружающей среды.
Министерство энергетики США приходит к тому же общему выводу в контексте центров обработки данных: в своих рекомендациях по энергоэффективному проектированию центров обработки данных оно предупреждает, что препятствия для воздушного потока могут снизить его интенсивность и способствовать образованию «горячих точек», тогда как правильное управление воздушными потоками повышает эффективность охлаждения и плотность полезной мощности.
Моя концепция проектирования корпусов для графических процессоров проста:
Давление — это бюджет.
Тратьте их с умом.
Я бы проанализировал этот путь в следующем порядке:
| Элемент воздушного потока | Что может пойти не так | Что необходимо проверить |
|---|---|---|
| Передняя панель | Декоративные металлические блоки в зоне входа | Эффективная открытая площадь |
| Фильтр | Напряжение растёт по мере увеличения количества пыли | Чистый и нагруженный перепад давления |
| Корпус привода | Направляющие разделяют и перенаправляют воздушный поток | Траектории потока между отсеками |
| Задняя панель | Печатная плата закрывает большую часть передней поверхности | Геометрия перфорации |
| Зона кабеля | Из ремней формируются местные плотины | Прокладка производственных кабелей |
| Настенный вентилятор | Промежутки обеспечивают локальную рециркуляцию | Оболочка и уплотнение |
| Банк графических процессоров | Плотные ребра требуют давления | Направление потока и импеданс графического процессора |
| Область процессора/модулей памяти DIMM | Получает предварительно нагретый воздух от графического процессора | Порядок размещения зон и прокладка воздуховодов |
| Зона PSU | Конкурирует за воздух в шасси | Независимый или совместный воздушный поток |
| Задняя решетка | Площадь вытяжки слишком мала | Эффективная открытая площадь |
| Дверца шкафа/PDU | Усиливается внешнее давление | Окончательная конфигурация стойки |
Заметили, чего не хватает?
“Количество поклонников”.”
Количество вентиляторов определяется после того, как будет проанализирован путь прохождения воздушного потока.
Во многих конструкциях графических процессоров для монтажа в стойку я отдаю предпочтение расположению ряда вентиляторов таким образом, чтобы он создавал контролируемую границу давления между передней секцией всасывания воздуха и вычислительной секцией с высокой тепловыделением.
Распространенная концептуальная схема выглядит следующим образом:
Передний воздухозаборник → приводные блоки или зона обслуживания → стена с вентиляторами → зоны охлаждения GPU/CPU → задний выпуск воздуха
Но это не всегда верно.
Если задняя панель системы хранения, расположенная перед «стенкой вентиляторов», создает значительное сопротивление, вентиляторы должны проталкивать воздух через неё. Если «стенка вентиляторов» расположена перед чрезвычайно плотными пассивными радиаторами графических процессоров, она должна создавать достаточное давление вниз по потоку, чтобы проталкивать воздух через эти ребра.
Геометрия побеждает.
Всегда.
Не стоит создавать красивую конфигурацию из шести вентиляторов, чтобы потом обнаружить, что два из них в основном охлаждают пустой металлический корпус, а ещё два — четыре графических процессора.
Соотнесите зоны охвата вентиляторов с фактическими источниками тепла.
Для каждого положения вентилятора мне нужно узнать:
Это приобретает особую важность в тех случаях, когда корпус графического процессора, крепежные скобы, кабели питания PCIe и опорные конструкции занимают один и тот же воздушный канал.
Перед замораживанием стенки вентилятора проверьте огибающую ускорения, используя данные измерений, приведенные в нашем Руководство по размерам графических процессоров и совместимости корпусов. Длина графического процессора — это лишь одна из переменных; высота и толщина видеокарты, пространство для изгиба кабеля питания, крепежные элементы и зазор для обслуживания — все это может препятствовать прохождению воздушного потока по предусмотренному каналу.
Это одна из тех мелочей, которые в CAD кажутся незначительными.
Нет.
Предположим, что стенка вентилятора создает перепад давления между его входной и выходной сторонами. Если рядом с лотком вентилятора имеется большое незакрытое отверстие, у воздуха появляется удобный путь для рециркуляции.
Воздух уносит это.
Вентиляторы могут засасывать часть воздуха со своей выпускной стороны обратно к впускной, вместо того чтобы засасывать свежий воздух через передние ограничители.
Вы заплатили за вентиляцию.
У тебя хорошее кровообращение.
Именно поэтому вокруг лотков для вентиляторов необходимо обеспечить надёжную герметизацию:
Помочь в этом могут пенопластовые прокладки, формованные металлические выступы, литые воздуховоды, заглушки и правильно сконструированные опоры вентиляторов.
Исследование по охлаждению с помощью вентиляторных стенок, проведённое в 2023 году учёными из Университета Хартфордшира, представляет собой полезную аналогию в более широком масштабе. В исследуемой конфигурации учёные обнаружили, что существует оптимальный объём приточного воздуха, а не просто зависимость типа “чем больше воздушный поток, тем лучше”, и их модель показала, что экономия энергии вентиляторов составляет примерно 34% в условиях оптимизированной работы. Эксперимент касался центра обработки данных с вентиляторной стеной, а не отдельного корпуса с графическими процессорами, поэтому я бы не стал переносить полученные в ходе него данные о расходе воздуха в проект сервера; важно общее заключение: расход воздуха и энергопотребление вентиляторов необходимо оптимизировать одновременно.
Более высокая скорость вращения вентилятора не всегда означает более эффективную систему охлаждения.
В типичной конструкции вентиляторной стенки шасси несколько вентиляторов располагаются рядом друг с другом.
Эти вентиляторы в целом работают как массив параллельных воздуховодов. Вы получаете полную пропускную способность по всей площади поперечного сечения, но не следует бездумно предполагать, что производительность по статическому давлению увеличивается пропорционально количеству вентиляторов.
Это важно.
Размещение восьми вентиляторов рядом друг с другом не означает, что каждый из них вдруг станет способен преодолевать падение давления, увеличенное в восемь раз.
Когда требуется очень высокое давление, инженеры могут рассмотреть варианты конструкций вентиляторов высокого давления с большей глубиной, двухроторные конфигурации или многоступенчатые схемы вентиляторов. Однако каждый из этих вариантов сопряжен с дополнительным энергопотреблением, шумом, требованиями к системе управления, затратами и особенностями поведения при отказе.
Бесплатного воздуха не бывает.
Представьте себе шесть вентиляторов с номинальной производительностью 200 кубических футов в минуту в условиях свободного воздуха.
В таблице по закупкам указано:
6 × 200 = 1 200 куб. футов в минуту
Я бы зачеркнул это число.
Если рабочая точка каждого вентилятора снизится до 120 CFM с учетом фактического сопротивления корпуса, теоретический суммарный показатель уже будет ближе к 720 CFM — и это без учета неравномерной нагрузки, локального байпаса, влияния монтажа, поведения неисправного вентилятора и ограничений системы управления.
Правильный вопрос звучит так:
Какую производительность обеспечивает собранная вентиляторная стенка при расчетном давлении в системе?
Обратитесь к поставщику вентиляторов за полной кривой P-Q.
Затем проверьте его в корпусе.
Покупатель говорит мне:
“У нас уже есть восемь вентиляторов, так что это лишнее”.”
Нет.
«Восемь фанатов» — это значит именно восемь фанатов.
Резервирование имеет место только в том случае, если после возникновения заданного сбоя система продолжает работать в пределах своих тепловых и эксплуатационных ограничений.
Когда вентилятор останавливается, сразу же могут возникнуть три проблемы.
Во-первых, снижается общий расход воздуха.
Во-вторых, соседние вентиляторы могут перейти в другую рабочую точку.
В-третьих, само отверстие остановленного вентилятора может стать непреднамеренным каналом для прохождения воздуха.
Последнее легко упустить из виду.
Если условия давления допускают обратный поток через вышедший из строя вентилятор, часть производительности исправного вентилятора может циркулировать через неработающий вентилятор вместо того, чтобы проходить через радиаторы графического процессора.
Возможные конструктивные решения включают:
Но не называйте эту систему «N+1», потому что на чертеже изображен один дополнительный вентилятор.
Запустите тест.
Если в режиме нормальной работы серверу требуется, чтобы все вентиляторы работали с частотой ШИМ 100%, у него практически не останется запаса по регулированию воздушного потока на случай сбоя.
Это не тот вид избыточности, который я бы одобрил.
Охлаждение серверов с графическими процессорами высокой плотности редко бывает равномерным просто так.
Воздух движется под действием перепада давления.
Если у графического процессора 1 имеется путь с низким сопротивлением, а графический процессор 4 расположен за пучком кабелей и имеет более плотную конструкцию радиатора, то вентиляторная стенка может обеспечивать их охлаждение совершенно по-разному, несмотря на то, что они находятся в непосредственной близости друг от друга.
Часто ответ заключается в том, что зонирование.
В зависимости от архитектуры я могу условно разделить воздушный поток на следующие категории:
Затем я задаю вопрос: действительно ли каждой зоне требуется одинаковый объем воздуха?.
Как правило, нет.
Вы можете управлять распределением с помощью:
Именно поэтому наш Пример внедрения корпуса для вычислительных систем искусственного интеллекта высокой плотности рассматривает планировку графических процессоров, энергопотребление стоек, воздушные потоки, конструктивную опору, доступ для технического обслуживания и термическую проверку как единую инженерную задачу, а не как отдельные решения по закупкам.
Один датчик температуры может показывать неверные данные, не будучи при этом технически неисправным.
Установите датчик на входе рядом с самой прохладной частью передней панели, и он может показать 23 °C.
Между тем, рециркулирующие выхлопные газы могут поступать в другую часть шасси при температуре 31 °C.
Какое значение соответствует входу графического процессора?
Ни то, ни другое по отдельности.
Для систем с высокой плотностью графических процессоров мне требуется несколько точек измерения температуры.
Как минимум, рекомендуется фиксировать следующие данные:
Тогда посмотрите самое плохое устройство, а не обычное устройство.
Средние показатели скрывают проблемы.
Если семь графических процессоров работают при температуре 67 °C, а один — при 88 °C, мне все равно, что среднее значение по восьми графическим процессорам выглядит приемлемым.
Я хочу узнать, почему графический процессор № 8 нагревается.
Кривая роста мощности графических процессоров развивается быстрее, чем циклы разработки многих корпусов.
Компания NVIDIA указывает, что максимальная потребляемая мощность H100 SXM составляет до 700 Вт, а H200 SXM — до 700 Вт. Компания AMD указывает, что максимальная потребляемая мощность платы ускорителя MI300X составляет 750 Вт. В документации NVIDIA по HGX B200 указан настраиваемый максимальный показатель, равный 1 000 Вт на каждый графический процессор.
Эта тенденция должна изменить наше представление о сроке службы шасси.
Вентиляторная система, которая едва справляется с сегодняшней конфигурацией ускорителя мощностью 400 Вт, может оказаться недостаточной по давлению, электрической мощности, занимаемому пространству или запасу по управляемости для следующей версии оборудования.
При этом данные по отрасли в целом подтверждают ту же тенденцию. Согласно обновлённым данным Берклийской лаборатории от июня 2026 года, на долю центров обработки данных США может приходиться около 11,81 ТП6Т потребления электроэнергии в США к 2030 году, с смоделированными сценариями, варьирующимися от от 9,5% до 15,3%. В отчете используются данные о поставках оборудования, моделирование энергопотребления на одно устройство и симуляции систем охлаждения, а не просто экстраполяция исторических данных о потреблении электроэнергии.
Из этого не ясно, сколько вентиляторов помещается в корпус формата 4U.
Это говорит нам о чем-то гораздо более важном.
Вычислительная плотность и потребность в охлаждении — это не временные трудности при проектировании.
Это архитектурные ограничения.
Существует предел, за которым установка более быстрых вентиляторов становится невыгодным с технической точки зрения решением.
Мощность вентилятора увеличивается.
Шум усиливается.
Статическое давление может улучшиться.
Однако прирост доступного расхода может выравниваться по мере увеличения сопротивления системы.
В то же время в корпусе становится все меньше места из-за более глубоких вентиляторных модулей, более крупных радиаторов, более широких воздушных каналов, воздуховодов и зазоров, необходимых для технического обслуживания.
В дипломной работе по машиностроению, защищённой в 2026 году в Техасском университете в Арлингтоне, было проведено специальное сравнение воздушного охлаждения и прямого жидкостного охлаждения с использованием теплового испытательного стенда, созданного по образцу основная плата с восемью графическими процессорами класса SXM5, отмечая растущую проблему, связанную с высокой плотностью мощности ускорителя и паразитной мощностью вентиляторов.
Это не означает, что на каждом сервере с графическим процессором следует использовать жидкостное охлаждение.
Я не согласен с этим выводом.
Воздушное охлаждение по-прежнему остается привлекательным вариантом, поскольку оно может быть механически проще, удобнее в обслуживании и привычно. Однако существует предел тепловой плотности, при достижении которого дальнейшее увеличение интенсивности работы вентилятора становится менее целесообразным, чем пересмотр архитектуры системы теплообмена.
Наш подробный Анализ сравнения воздушного и жидкостного охлаждения для систем высокой мощности в данном документе более подробно рассматривается данное решение, в том числе вопросы эксплуатационной готовности, насосов, радиаторов, давления вентиляторов, типов отказов, плотности установки и требований к жидкостному контуру.
Если бы мне предстояло провести экспертизу нового проекта сервера с графическими процессорами для монтажа в стойку, я бы действовал именно в таком порядке.
Не пишите:
“8 графических процессоров”.”
Укажите точный артикул, диапазон мощности, форм-фактор, тип радиатора, направление воздушного потока, габариты, способ крепления и геометрию разъема.
Добавьте графические процессоры, центральные процессоры, оперативную память, системы хранения данных, сетевые компоненты, энергопотребление материнской платы, потери при преобразовании и другие нагрузки.
Используйте ту рабочую нагрузку, которую вы действительно ожидаете.
Это не просто скриншот.
Определите, на какое повышение температуры воздуха ориентируется ваш проект.
Затем рассчитайте требуемый расход воздуха при первом проходе.
Ничья:
Впуск → сужение → стенка вентилятора → источник тепла → сужение → выпуск
Если на чертеже путь не очевиден, то он не станет очевидным как по волшебству внутри листового металла.
Включить производственную конфигурацию:
Сравните требуемый расход воздуха с доступным статическим давлением.
Не допускается использование CFM на открытом воздухе.
У каждого болельщика должна быть работа.
Узнайте, какие компоненты он поддерживает.
Сделайте желаемый маршрут более простым, чем нежелательный.
Определите, что будут делать остальные вентиляторы в автоматическом режиме после остановки одного из них.
Установите все, что планировалось:
Без открытых крышек.
Ни одного отсутствующего кабеля.
Никаких “мы протестируем восьмой графический процессор позже”.”
Добавьте дверцу серверной стойки, прокладку кабелей сзади, влияние PDU, геометрию рельсов и реалистичные условия на входе.
Сервер, который проходит тестирование только при снятой задней крышке, не прошел проверку на реальных условиях эксплуатации.
Доведите систему до теплового равновесия.
Следите за перегревом вентиляторов, снижением производительности графического процессора, неравномерным распределением температуры и медленным нагревом.
Затем снимите один вентилятор.
А теперь начинается самое интересное испытание.
Если вы обращаетесь к производителю серверных шасси с просьбой разработать систему вентиляторов, не пишите:
“Требуется высокоэффективное охлаждение”.”
Эта фраза практически не несет никакой инженерной ценности.
Укажите:
| Ввод данных для запроса предложений | Что необходимо предоставить |
|---|---|
| Конфигурация графического процессора | Точная модель, количество, форм-фактор, мощность |
| Конфигурация процессора | Точная модель и постоянная мощность |
| Общая нагрузка на систему | Расчетная постоянная мощность в ваттах |
| Формат шасси | 2U, 4U, 5U, 6U и т. д. |
| Направление воздушного потока | Спереди назад, если архитектура не требует иного |
| Начальные условия | Диапазон температур и высота над уровнем моря |
| Резервирование вентиляторов | Требования к нормальному состоянию и к ситуации с выходом вентилятора из строя |
| Ограничение по графическому процессору | Максимально допустимая температура/характеристики регулирования потока |
| Управление вентилятором | ШИМ, тахометр, реакция на неисправности |
| Фильтр | «Да/нет» и ожидаемая нагрузка |
| Ограничение по стойке | Предположения относительно дверей, блоков PDU и системы прокладки кабелей |
| Шум | Максимальное целевое значение (если применимо) |
| Модель обслуживания | Требования к вентиляторам с возможностью «горячей» замены |
| Валидация | Нагрузка, продолжительность теста, расположение датчиков |
Если эта информация пока не определена, то наша Полное руководство по запросу предложений на изготовление шасси на заказ содержит общие сведения о механических характеристиках, материалах, допусках, компонентах, качестве и производстве, которые необходимо уточнить до того, как коммерческое предложение поставщика станет актуальным.
Я бы не одобрил использование серверного корпуса с графическим процессором по следующим причинам:
Я одобрил бы это, если бы доказательства свидетельствовали о следующем:
Вот так выглядит дизайн фанатской стены.
Остальное — это установка вентилятора.
A Вентиляционная стенка сервера с графическими процессорами представляет собой упорядоченный массив осевых или высоконапорных вентиляторов, расположенных поперек пути воздушного потока в корпусе с целью создания воздушного потока и статического давления, необходимых для прохождения охлаждающего воздуха через графические процессоры, центральные процессоры, память, устройства хранения данных, объединительные платы, кабели, радиаторы и вытяжные узлы, при этом обеспечивая контролируемое распределение тепла от передней части к задней.
В отличие от отдельно установленных вентиляторов, вентиляционная стена должна быть спроектирована как барьер давления. Её рабочие характеристики зависят от характеристических кривых вентиляторов, герметичности, сопротивления корпуса, теплового зонирования, логики управления и поведения системы в случае выхода вентилятора из строя.
Количество вентиляторов, необходимое для сервера с высокой плотностью размещения графических процессоров, зависит от общей постоянной тепловой нагрузки, допустимого повышения температуры от входа до выхода, перепада давления в корпусе, индивидуальных характеристик вентиляторов, сопротивления воздушному потоку в графических процессорах, требований к резервированию, условий окружающей среды, а также от объема воздушного потока, который должен оставаться доступным после наступления заданного события выхода вентилятора из строя.
Поэтому не существует надежного универсального ответа, такого как “для восьми графических процессоров требуется восемь вентиляторов”. Сначала рассчитайте расход воздуха, затем оцените сопротивление, а уже после этого выберите количество и геометрию вентиляторов, способных удовлетворить оба этих требования.
Стена вентиляторов сервера с графическими процессорами должна располагаться так, чтобы создавать контролируемый перепад давления в зонах с наибольшим тепловым сопротивлением, обеспечивая при этом равномерное распределение воздуха по ускорителям, процессорам, памяти и другим компонентам; при этом расположение определяется входными отверстиями на передней панели, схемой размещения систем хранения данных, ограничениями задней платы, ориентацией радиаторов графических процессоров, геометрией выпускных отверстий и требованиями к техническому обслуживанию.
Размещение вентиляторов в центральной части корпуса — распространенная практика, однако оптимальное расположение зависит от геометрии системы. Правильным считается такое положение, при котором воздушный поток проходит непосредственно через компоненты, а не вокруг них.
Сервер с восемью графическими процессорами может потребовать от нескольких сотен до более чем тысячи кубических футов в минуту (CFM) в зависимости от общей мощности системы и допустимого повышения температуры воздуха; например, упрощённая система с воздушным охлаждением мощностью 7 000 Вт теоретически требует около 821 кубического фута в минуту при повышении температуры на 15 °C и около 1 232 кубических футов в минуту при повышении на 10 °C.
Эти значения являются исходными величинами для расчета теплового баланса, а не техническими характеристиками вентиляторов. Фактическая производительность вентилятора по отношению к стене должна учитывать перепад давления, распределение воздушного потока, высоту над уровнем моря, фильтры, сопротивление компонентов, резервирование вентиляторов и реальную рабочую точку на кривой вентилятора.
Статическое давление — это способность стенки вентилятора поддерживать воздушный поток, преодолевая сопротивление, создаваемое плотно расположенными радиаторами графических процессоров, задними панелями систем хранения данных, фильтрами, решетками, кабелями, воздуховодами, отверстиями в корпусе и конструкцией стойки, что делает этот показатель более значимым, чем максимальная производительность в кубических футах в минуту (CFM) в условиях свободного воздушного потока, при оценке вентиляторов для плотно укомплектованного серверного корпуса с графическими процессорами.
Два вентилятора с одинаковым максимальным расходом воздуха могут работать совершенно по-разному внутри одного и того же корпуса. Всегда сопоставляйте кривую P-Q с расчетным или измеренным сопротивлением системы.
Воздушное охлаждение может обеспечивать работу серверов с высокой плотностью размещения графических процессоров, если корпус обеспечивает достаточное поперечное сечение воздушного потока, статическое давление, регулируемый байпас, приемлемые условия на входе, тепловой запас и резервирование вентиляторов, однако постоянно растущая мощность ускорителей в конечном итоге может привести к тому, что энергопотребление вентиляторов, уровень шума, размеры радиаторов, потери давления, плотность размещения в стойке или температуры компонентов станут неприемлемыми для конструкции, основанной исключительно на воздушном охлаждении.
Решение должно основываться на тепловых расчетах и длительных испытаниях. Не следует выбирать жидкостное охлаждение только потому, что оно кажется более передовым, и не следует навязывать воздушное охлаждение, если данные о давлении и температуре показывают, что у него исчерпался практический запас прочности.
Вентиляторная стенка ни в коем случае не должна быть первым выбранным компонентом системы охлаждения.
Начнём с графических процессоров.
Учтите количество процессоров, объем памяти, емкость хранилища, задние панели, архитектуру блока питания, прокладку кабелей, ограничения стойки и ожидаемую нагрузку. Рассчитайте тепловыделение. Определите допустимый рост температуры. Оцените потери давления. Затем выберите вентиляторы, способные обеспечить необходимый расход воздуха при фактическом рабочем давлении.
И проверьте неисправный вентилятор.
Если вы разрабатываете Серверные корпуса высокой плотности для графических процессоров высотой 4U, 5U или 6U, перед фиксацией расположения вентиляторов необходимо предоставить инженерной группе по корпусам точные модели графических процессоров, чертеж материнской платы, схему питания, схему размещения накопителей, глубину стойки, направление целевого воздушного потока и расчетную мощность системы.
Ознакомьтесь с доступными Платформы шасси для графических процессоров и серверов искусственного интеллекта или запросите индивидуальную схему воздушных потоков и расположение вентиляторов с учётом вашего производственного оборудования, а не исходя из стандартного целевого показателя в кубических футах в минуту (CFM).
Марк Ли — основатель компании ISTONECASE, имеющий 20-летний опыт работы в сфере производства серверных шасси. Он специализируется на OEM/ODM-решениях для графических процессоров (GPU) и искусственного интеллекта (AI), а также на шасси для монтажа в стойку, промышленном оборудовании, настенных шасси, сетевых хранилищах (NAS), шасси формата Mini-ITX и многоузловых шасси. Его экспертиза позволяет реализовывать индивидуальные аппаратные проекты для центров обработки данных, вычислений на базе искусственного интеллекта, корпоративных систем хранения данных, периферийных вычислений, сетевых решений и промышленных приложений.
Комментарии
