Как спроектировать воздушный поток от передней части к задней

Основные выводы

  • Хорошо Воздушный поток спереди и сзади Дело не в том, чтобы просто установить больше вентиляторов, а в том, чтобы контролировать направление потока воздуха.
  • Прежде чем определять количество вентиляторов или расход воздуха в кубических футах в минуту (CFM), необходимо учитывать фактическую тепловую нагрузку, расположение компонентов, сопротивление воздушному потоку и условия на входе.
  • Накопители, объединительные платы, фильтры, кабельные пучки, графические процессоры, радиаторы и ограничивающие передние панели могут поглощать значительную часть доступного статического давления вентилятора.
  • Обходной воздух — это потраченный впустую воздух. Устраните пути, по которым охлаждающий воздух обходит процессоры, память, графические процессоры, контроллеры систем хранения и другие компоненты, выделяющие тепло.
  • Направление воздушного потока в шасси должно соответствовать направлению в стойке. Использование устройств с передним и задним воздушным потоком в одной системе может привести к образованию локальных контуров рециркуляции.
  • Проведите проверку готовой производственной конфигурации в условиях постоянной нагрузки. Пустое шасси, открытая боковая панель или прототип с ограниченным набором компонентов дают очень мало информации.
  • Наличие резервных вентиляторов имеет значение, но установка дополнительных вентиляторов не всегда автоматически устраняет неисправность Конструкция системы вентиляции корпуса сервера.

Сервер может быть оснащен двенадцатью громко шумящими вентиляторами и при этом иметь ужасную систему охлаждения.

Это звучит нелепо, пока не заглянешь внутрь.

Воздух поступает через переднюю панель, выбирает самый простой путь вокруг отсека для дисков, проскальзывает через неиспользуемое отверстие рядом со стеной вентиляторов, обтекает пучок кабелей и достигает задней части корпуса, практически не обеспечивая при этом никакого значимого охлаждения. Между тем видеокарта, блок памяти, RAID-контроллер или радиатор процессора, расположенные всего в нескольких сантиметрах оттуда, перегреваются.

Показатель воздушного потока выглядел отлично.

Температуры не изменились.

В этом и заключается проблема лечения Воздушный поток спереди и сзади как техническое задание со стороны пользователей, а не как проблему системного проектирования.

Для покупателей из сегмента B2B, занимающихся разработкой серверов для монтажа в стойку, платформ на базе графических процессоров, систем хранения данных, промышленных компьютеров или специализированного оборудования, вопрос никогда не должен звучать так: “Сколько вентиляторов мы сможем установить?”

Задайте более сложный вопрос:

Сможем ли мы обеспечить поступление достаточного количества холодного воздуха ко всем компонентам, которым он действительно необходим, даже в самых неблагоприятных условиях эксплуатации, при которых мы планируем поставлять продукцию?

Это всё меняет.

Что такое воздушный поток «спереди назад»?

При схеме вентиляции «спереди назад» холодный воздух поступает преимущественно через переднюю часть корпуса, проходит мимо компонентов, выделяющих тепло, и выходит через заднюю часть.

Простая концепция.

Жесткое исполнение.

На уровне серверного шкафа данная архитектура поддерживает привычную схему «холодный проход — горячий проход». На передние панели серверов поступает охлаждённый приточный воздух, а их задние выпускные отверстия выводят нагретый воздух в отдельную зону обратного воздухоотвода.

Это не произвольное соглашение. Рекомендации ASHRAE по центрам обработки данных указывается, что в большинстве устройств передачи данных используется Протокол направления воздушного потока от передней части к задней и предупреждает, что оборудование, использующее нестандартные направления, может потребовать специальных конструкций крепления или воздушных дефлекторов.

ASHRAE также отмечает особенно опасный вариант отказа на уровне серверной стойки: коммутатор, установленный в верхней части стойки в обратном направлении без надлежащей конфигурации обратного воздушного потока, может втягивать горячий вытяжной воздух из серверов и выбрасывать еще более горячий воздух в направлении воздухозаборника холодного воздуха другого устройства.

Именно поэтому конструкция шасси и стойки должны быть согласованы.

Для инженеров, сравнивающих различные архитектуры систем охлаждения, наше руководство по Воздушный поток от передней части к задней объясняет, как геометрия корпуса, давление вентилятора, плотность тепловыделения и расположение компонентов влияют на выбор между воздушным и жидкостным охлаждением.

Циркуляция воздуха от передней части к задней начинается с тепла, а не с вентиляторов

Прежде чем говорить о вентиляционных отверстиях, вентиляционных стенах, дефлекторах или фильтрах, определите, что именно вы хотите охладить.

Составьте перечень тепловых источников.

Включить:

  • Мощность процессора при длительной нагрузке
  • Мощность графического процессора или ускорителя
  • Количество модулей DIMM
  • VRM
  • накопители
  • Устройства NVMe
  • Карты RAID/HBA
  • НИК
  • объединительные платы
  • источники питания
  • другие карты PCIe
  • внутреннее аппаратное обеспечение для преобразования энергии

Не ориентируйтесь исключительно на номинальную мощность блока питания, указанную на заводской табличке.

Наличие блока питания мощностью 2 000 Вт не означает, что система постоянно расходует 2 000 Вт. Точно так же номинальная мощность процессора может не отражать точно его поведение в режимах кратковременного или длительного повышения мощности.

Используйте предполагаемую производственную конфигурацию и рабочую нагрузку.

Затем спросите, в каком месте это тепло попадает в воздушный поток.

SSD, расположенный рядом с передним воздухозаборником, получает более прохладный воздух, чем видеокарта, установленная ниже радиатора процессора. Компонент, установленный сзади, может получать воздух, температура которого уже повысилась на 15 °C, 20 °C или даже больше при прохождении через корпус компьютера.

ASHRAE отмечает, что для серверов, работающих при температуре на входе в пределах рекомендуемого диапазона, а Повышение температуры на 20–30 °C в сервере — явление обычное.

Эта цифра должна заставить разработчиков шасси почувствовать полезное беспокойство.

Компонент, расположенный вблизи выпускного отверстия, не обязательно охлаждается “воздухом комнатной температуры”.”

Оно охлаждается до той температуры, которая остается после того, как устройства, расположенные выше по цепи, уже нагрели его.

Как спроектировать воздушный поток от передней части к задней

Траектория воздушного потока важнее, чем количество вентиляторов

Вот самая распространённая ошибка.

Покупатель заказывает шесть вентиляторов с высокой производительностью по CFM.

Поставщик устанавливает шесть вентиляторов с высокой производительностью по CFM.

Все ставят галочку напротив пункта “высокая скорость воздушного потока”.”

Готово?

Даже близко не так.

Технические характеристики вентиляторов обычно приводятся для условий свободного обдува или в виде кривой производительности. Однако после установки вентилятора за плотной передней решеткой, фильтром, отсеком для дисков с возможностью «горячей» замены, задней панелью, радиатором, блоком графических процессоров, пучком кабелей и задней решеткой рабочий воздушный поток может значительно измениться.

Сопротивление нарастает.

Поэтому вам необходимо мыслить в терминах импеданс системы и статическое давление, а не только CFM.

Вентилятор, обеспечивающий циркуляцию огромных объемов воздуха без сопротивления, может демонстрировать низкую эффективность в условиях плотной серверной архитектуры. Другой вентилятор, показатели которого в условиях свободного потока воздуха не столь впечатляющи, может обеспечивать значительно более полезный поток при увеличении сопротивления.

Это различие приобретает особую важность в серверах формата 1U и 2U, где диаметр вентиляторов и поперечное сечение воздушного потока ограничены. Если вопрос о высоте корпуса ещё открыт для обсуждения, то наш Охлаждение шасси для монтажа в стойку Сравнение показывает, почему форматы 1U, 2U и 4U предоставляют инженерам совершенно разные варианты вентиляторов, радиаторов, графических процессоров и систем охлаждения.

Представьте себе, что «давление» — это бюджет

Каждое ограничение расходует часть вашего запаса давления.

Примерный обзор проекта может выглядеть следующим образом:

Элемент воздушного потокаКак это влияет на воздушный потокРаспространенные ошибки при проектированииНа что следует обратить внимание покупателям
Передняя решетка радиатораОграничивает зону впускаСтилевое оформление оставляет слишком много пустого пространстваФактительная площадь открытого пространства, а не размер наружной панели
Пылевой фильтрУвеличивает перепад давленияФильтр, выбранный после расчета мощности вентилятораСопротивление чистого и загрязнённого фильтра
Корпус приводаРассеивает поступающий воздухПлотная стена дисков ограничивает пропускную способность последующей зоны ЦП/ГПТраектория потока вокруг и через приводы
Задняя панельМожет стать серьезным препятствиемНебольшие отверстия за приводамиФактительная открытая площадь и потери давления
Пучки кабелейСоздать локальную обтекаемость и турбулентностьПрокладка кабелей в серийном производстве отличается от прокладки в прототипеОкончательная прокладка кабеля
Радиатор процессораТребуется направленная скоростьВоздух обтекает ребра, а не проходит сквозь нихРасположение воздуховодов и радиаторов
Банк графических процессоровОбеспечивает высокую прочность и термостойкостьМалое расстояние между элементами приводит к образованию зон повышенной температурыРасстояние между слотами и направление потока воздуха в графическом процессоре
Настенный вентиляторОбеспечивает давление и расходЗазоры обеспечивают рециркуляцию воздуха вокруг вентиляторовПоведение системы при герметизации и отказоустойчивости
Задняя решеткаОграничивает выпуск выхлопных газовВпускной канал открыт, но выпускной забитОткрытая зона на задней панели
Дверца шкафа/PDUДобавляет внешнее ограничениеШасси прошло только испытания в открытой стойкеКонфигурация производственной стойки

Практический урок прост.

Рассчитать весь маршрут.

Не дайте воздуху идти «по короткому пути»

Воздух ленив.

Оно пойдет по пути наименьшего сопротивления.

Это становится серьёзной проблемой, когда самый простой путь не проходит через ваше самое мощное оборудование.

Представьте себе стенку вентиляторов, расположенную позади материнской платы. Через радиатор процессора проходит узкий путь с большим сопротивлением, а рядом с ним — широкий открытый зазор.

Куда пойдет воздух?

Через щель.

Датчик расхода воздуха может по-прежнему показывать нормальные значения. Из заднего выхлопного патрубка может дуть, как ураган. Процессор может по-прежнему сильно нагреваться.

Это обходной поток воздуха.

И это постоянно вводит людей в заблуждение.

Используйте перегородки, воздуховоды, уплотнения из пенопласта, заглушки, кожухи вентиляторов и тщательно размещенные внутренние конструкции, чтобы облегчить прохождение воздуха по желаемому пути или затруднить его прохождение по нежелательному.

Это один из важнейших принципов в Управление воздушными потоками на сервере.

Исследование CFD за 2024 год, опубликованное в Новые горизонты в сфере застроенной среды то же самое относится и к масштабам центров обработки данных. В исследуемой конфигурации с прецизионным подпольным охлаждением эффективность подачи воздуха увеличилась с От 65.69% без системы локализации до 85.57% с системой локализации холодного прохода и 90.25% с системой локализации горячего прохода. В случае схемы межколонного охлаждения указанные значения возросли с от 71,291 TP6T до примерно 92,16–92,171 TP6T после локализации.

Ознакомьтесь с исследованием по оптимизации воздушных потоков 2024 года.

Эксперимент проводится на уровне комнаты, а не внутри шасси, поэтому эти процентные показатели не следует применять к серверному шкафу.

Однако этот инженерный принцип прекрасно применим и в данном случае.

Разделение целевого воздушного потока от байпасного и рециркулирующего потоков может кардинально изменить эффективность использования имеющегося охлаждающего воздуха.

Что касается систем с плотным расположением ускорителей, то в нашем рассмотрении Управление воздушными потоками на сервере учитывает в комплексе такие факторы, как расстояние между графическими процессорами, пути прохождения воздушного потока, энергопотребление стойки, доступ для технического обслуживания и конструкцию корпуса высокой плотности.

Разработка порядка компоновки компонентов

Под понятием «от начала до конца» не подразумевается, что все внутренние механизмы одинаково хороши.

Порядок компонентов имеет значение.

Рассмотрим две схемы расположения.

Вариант A

Передний воздухозаборник → накопители → системная плата → процессор → графический процессор → блок питания/вытяжка

Вариант макета B

Передний воздухозаборник → разделенные зоны воздушного потока → для процессора и видеокарты предусмотрены отдельные каналы подачи холодного воздуха → системы хранения данных охлаждаются отдельно → общий выпуск воздуха

Оба, с технической точки зрения, представляют собой схему «спереди назад».

Их тепловые характеристики могут быть совершенно разными.

Задайте следующие вопросы во время проверки макета:

  1. Какой компонент получает самый холодный впускной воздух?
  2. Какие компоненты расположены ниже по цепочке от основных источников тепла?
  3. Какой компонент вызывает наибольший перепад давления?
  4. Может ли горячий воздух, выходящий из видеокарты, попасть в радиатор процессора?
  5. Блок питания забирает воздух из той же зоны, что и процессоры?
  6. Может ли один вентилятор равномерно обслуживать несколько тепловых зон?
  7. Не приводит ли установка корпуса для дисков к недостатку места в области материнской платы?
  8. Получают ли низкопрофильные карты PCIe достаточную локальную пропускную способность?
  9. Блокирует ли один графический процессор вход другого графического процессора?
  10. Что произойдет, если все слоты для модулей памяти и отсеки для дисков будут заняты?

Именно этот последний вопрос ставит в тупик многие проекты.

Конфигурации прототипов зачастую являются разреженными.

Конфигурации производства — нет.

Почему скорость воздуха в конкретной зоне может иметь большее значение, чем общий расход в кубических футах в минуту (CFM)

Этот момент часто упускается из виду при обсуждении вопросов закупок.

Компоненты не воспринимают полный расход воздуха (CFM) в шасси.

Они ощущают местный поток воздуха.

Технические характеристики семейства серверов R2000WFTF от Intel наглядно демонстрируют это различие. В одной из задокументированных конфигураций Intel указывает Обеспечение воздушного потока 200 LFM для нескольких верхних и средних слотов PCIe и 300 LFM для некоторых нижних слотов. В том же документе отмечается, что многим картам PCIe может потребоваться до примерно 100 LFM, тогда как для карт, которые сложнее охлаждать, может потребоваться воздушный поток около 200 LFM.

Ознакомьтесь с техническими характеристиками серверных продуктов Intel.

Именно поэтому фраза “шасси имеет производительность 800 кубических футов в минуту” говорит мне гораздо меньше, чем думают многие покупатели.

Куда уходит этот воздух?

С какой скоростью?

При какой температуре?

Какое именно ограничение?

В каком компоненте?

Эти вопросы гораздо полезнее.

Расположение вентилятора: нагнетание, вытяжка или и то, и другое?

В большинстве шасси для монтажа в стойку эффективно работает система вентиляторов, расположенных в средней части шасси, поскольку она позволяет всасывать воздух, поступающий спереди, через зазоры между дисками и передней панелью, а затем направлять его к процессорам, модулям памяти, картам PCIe и задним выпускным отверстиям.

Но решает геометрия.

Вентилятор, установленный слишком далеко от запретной зоны, может привести к тому, что воздух будет распространяться в нежелательных направлениях. Вентиляторная стенка с незагерметизированными зазорами может создавать обтекание воздуха вокруг себя. Вентиляторы, работающие только в заднем направлении, могут использоваться в некоторых системах, но им может быть сложно обеспечить равномерное распределение воздушного потока в условиях сложной внутренней планировки.

Использование нескольких ступеней вентилятора может повысить производительность, но при этом может привести к увеличению энергопотребления, уровня шума, сложности управления и риска взаимосвязанных отказов.

Большее количество аппаратных ресурсов не всегда означает лучшее качество.

Как спроектировать воздушный поток от передней части к задней

Вот то мнение, с которым покупатели обычно не соглашаются

Установка дополнительных вентиляторов зачастую является неверным решением проблемы перегрева сервера.

Вот. Я это сказал.

Количество вентиляторов легко определить при покупке. Показатель CFM легко сравнивать. Не говоря уже о подсветке RGB, даже покупатели потребительских ПК привыкли ассоциировать видимое количество вентиляторов с “лучшим охлаждением”.”

Серверная инженерия не прощает ошибок.

Если воздух обходит блок графических процессоров, четыре дополнительных вентилятора могут просто прогонять больше воздуха через обходной канал.

Если задняя панель ограничивает приток воздуха, установка ещё одного заднего вытяжного вентилятора не устранит это ограничение как по волшебству.

Если горячие выхлопные газы возвращаются в сторону впускного коллектора, увеличение скорости вращения вентилятора может усугубить эту неблагоприятную циклическую ситуацию.

Если задняя решетка слишком сильно ограничивает воздухопропускную способность, то увеличение давления в конечном итоге приведет к повышению шума, увеличению мощности вентилятора и неудовлетворительному увеличению воздушного потока.

Я скорее одобрил бы корпус с меньшим количеством правильно подобранных вентиляторов, рассчитанных на работу под давлением, с аккуратной системой воздуховодов, герметичными обходными каналами, продуманным зонированием компонентов и большой площадью вытяжки, чем коробку, забитую вентиляторами, единственная конструктивная логика которой сводится к “большему CFM”.”

Цель не в том, чтобы увеличить количество воздуха.

Полезный воздух — это...

Настоящий сбой серверной стойки, который мне запомнился

Недавно я просматривал обсуждение среди системных администраторов и наткнулся на пример с охлаждением серверных стоек, который должен вызвать беспокойство у любого заказчика инфраструктуры.

По имеющимся данным, в стойке, расположенной в помещении размером примерно 8 × 10 футов, находились десять серверов, три крупных устройства SAN, восемь коммутаторов и четыре источника бесперебойного питания. Два переносных кондиционера работали в непрерывном режиме: один направлял поток воздуха в переднюю часть стойки, а другой — в заднюю.

А потом началась самая неприятная часть.

Администратор сообщил, что в случае срабатывания защиты одного кондиционера температура в серверной стойке поднималась выше 99°F менее чем за минуту.

Ознакомьтесь с исходным обсуждением по поводу перегрева стойки.

Участники дискуссии вскоре начали обсуждать такие вопросы, как направление воздушного потока, отвод отработанного воздуха, изменение направления потока, перекрытие отверстий, охлаждающая способность и рециркуляция горячего воздуха.

Именно поэтому эта история так важна.

В помещении уже круглосуточно работали две холодильные установки.

Проблема заключалась не просто в том, чтобы “купить больше холодного воздуха”.”

Это была система воздушных потоков, которую необходимо было рассматривать как единое целое.

Этот урок покупатели шасси должны учитывать непосредственно при переговорах с поставщиками. Даже высокопроизводительный вентилятор не сможет бесконечно компенсировать неправильную ориентацию компонентов, устройства, установленные в неправильном направлении, ограниченный вытяжной поток, неконтролируемый байпас или стойку, в которой горячий выпускной воздух возвращается обратно к входу.

Подберите шасси к стойке

Сервер не устанавливается на лабораторный стол.

В конце концов, кто-то вставляет его в стойку.

На этой стойке могут находиться:

  • перфорированные двери;
  • кронштейны для прокладки кабелей;
  • задние PDU;
  • плотно проложенные силовые кабели;
  • заглушки;
  • соседние серверы;
  • коммутаторы, устанавливаемые в верхней части стойки;
  • уменьшенный задний клиренс;
  • локализация;
  • фильтры;
  • ограничения по воздушному потоку в помещении.

Все эти факторы могут повлиять на характеристики охлаждения.

Одной из часто встречающихся ошибок является проверка работоспособности шасси при полностью открытой задней панели, а затем его установка за закрывающей дверцей шкафа, при этом толстые пучки кабелей свисают непосредственно за вытяжным отверстием.

Кривая распределения болельщиков не изменилась.

Причиной стало сопротивление системы.

Наш путеводитель по Воздушный поток для охлаждения сервера охватывает глубину шасси, кронштейны для прокладки кабелей, блоки распределения питания (PDU), дверцы, пространство для технического обслуживания и пространство для циркуляции воздуха, поскольку механическая и тепловая совместимость стойки неразрывно связаны.

Рассматривайте температуру на входе в решетку в контексте

В действующем справочнике ASHRAE указан рекомендуемый диапазон температур сухого термометра: 18–27 °C для классов от A1 до A4 оборудования для передачи данных.

Это не означает, что каждое шасси следует просто протестировать при температуре 27 °C и считать готовым.

Характеристики вашего оборудования по-прежнему имеют значение.

То же самое касается высоты над уровнем моря.

То же самое касается и рабочей нагрузки.

То же самое касается резервирования вентиляторов.

То же самое касается равномерности температуры по всей поверхности впускного отверстия.

У шасси, левый воздухозаборник которого получает воздух температурой 22 °C, а правый — рециркулирующие выхлопные газы температурой 34 °C, в каком-либо значимом с инженерной точки зрения смысле не существует “условия впуска 22 °C”.

Измерьте несколько точек.

Не допускайте, чтобы прокладка кабелей случайно превратилась в задачу теплотехники

В CAD-моделях, как правило, изображаются идеальные трассы прокладки кабелей.

Производственные подразделения часто выглядят по-разному.

Силовые кабели изгибаются.

Стопка кабелей SAS.

Разъемы питания графического процессора требуют установки сервисных переходников.

Жгуты проводов на передней панели застревают в отверстиях.

Во время сборки кабельные стяжки смещаются.

Затем воздушный поток меняется.

Именно поэтому в рамках термической валидации следует зафиксировать расположение кабелей.

Используйте точки крепления целенаправленно. Не прокладывайте толстые жгуты кабелей вблизи зон с высокой скоростью воздушного потока. Не размещайте излишнюю длину кабеля непосредственно за входными отверстиями вентиляторов или перед радиаторами.

И протестируйте эту некрасивую конфигурацию.

Заполните его полностью.

План на случай выхода из строя одного вентилятора

Температуры нормальной эксплуатации — это лишь половина дела.

Что происходит после выхода вентилятора из строя?

В стене, состоящей из нескольких вентиляторов, вышедший из строя вентилятор может превратиться в отверстие с низким сопротивлением. Исправные соседние вентиляторы могут втягивать или выталкивать воздух назад через место выхода из строя, а не через корпус.

Это может на удивление негативно сказаться на эффективности охлаждения.

В зависимости от системных требований разработчики могут использовать:

  • защита от обратного тягового потока;
  • заслонки вентилятора;
  • управление с учетом давления;
  • более высокие скорости работы аварийного вентилятора;
  • избыточные зоны воздушного потока;
  • регулирование пропускной способности на основе температуры;
  • логика отключения.

Вам нужно это проверить.

“Шесть резервных вентиляторов” — это не доказательство наличия резервирования.

Покажи мне температуры с цифрой пять.

При проведении термической валидации следует использовать именно то оборудование, которое будет поставляться клиенту

Именно здесь отделы закупок могут избавить себя от месяцев мучительной работы.

Не допускайте работы системы охлаждения при пустом шасси.

Не одобряйте это только потому, что кто-то подложил папиросную бумагу рядом с задним вентилятором и наблюдал, как она развевается.

Не следует утверждать результаты испытаний с открытой боковой панелью.

Не следует утверждать систему с четырьмя графическими процессорами на основе прототипа с двумя графическими процессорами.

Создайте запланированную производственную конфигурацию.

Установка:

  • материнская плата для промышленного применения;
  • максимальное запланированное количество модулей DIMM;
  • сами процессоры и радиаторы;
  • предполагаемые графические процессоры;
  • все устройства хранения;
  • задняя панель;
  • Настройка блока питания;
  • поклонники-финалисты;
  • фильтры;
  • передняя панель производственного оборудования;
  • сами кабели;
  • направляющие стеллажа;
  • предполагаемое наличие дверцы стойки или аналогичное препятствие.

Затем запустите длительные рабочие нагрузки.

Именно здесь и пригодится дисциплинированный Как спроектировать систему вентиляции сервера Этот процесс должен обеспечивать увязку исходных данных механического проектирования с проверкой прототипа до того, как шасси будет запущено в серийное производство.

Регистрация данных, помимо температуры процессора

Полезный отчет о валидации должен содержать:

ИзмерениеПочему это важно
Температура на входе спередиОпределяет фактические условия охлаждения
Температура корпуса процессораПодтверждает тепловой запас процессора
Температура графического процессораОбнаруживает ограничение работы акселератора или рециркуляцию
Температура памятиОбнаруживает зоны с застойными DIMM
Температура NVMe/накопителяПроверяет воздушный поток в хранилище
Температура VRMОбнаруживает места перегрева на материнской плате
Температура карты PCIeОбнаруживает недостаточную локальную скорость
Число оборотов вентилятораОтображает реакцию системы управления
Режим работы вентилятора/PWMПоказывает, сколько осталось запаса
Температура выхлопных газовПомогает оценить теплоотдачу системы
Перепад давленияПолезно для выявления ограничений
Флаги регулирования пропускной способностиПоказывает влияние на производительность
Температуры, при которых происходит отказ вентилятораПроверяет наличие избыточности, а не исходит из её наличия

Проведите эксперимент достаточно долго, чтобы достичь теплового равновесия.

Пятиминутный тест может скрыть проблему медленного нагрева.

Как спроектировать воздушный поток от передней части к задней

Практический алгоритм проектирования воздушных потоков от передней части к задней

Если бы мне предстояло проводить экспертизу нового проекта серверного шасси, я бы действовал именно в таком порядке.

1. Зафиксировать конфигурацию оборудования

Узнайте точные номера деталей.

Не “материнская плата формата ATX”.”

Не “четыре графических процессора”.”

Не “производительный процессор”.”

Настоящее оборудование.

2. Рассчитать тепловую нагрузку

Оцените постоянную рабочую мощность по зонам и определите компоненты с наибольшей плотностью тепловыделения.

3. Определите предполагаемый путь движения воздуха

Нарисуй это.

В буквальном смысле.

Передний воздухозаборник → сужение → источник тепла → вентилятор → источник тепла → выпуск.

Если схема вызывает затруднения, то, скорее всего, физический поток воздуха тоже будет непонятен.

4. Определение ограничений давления

Проверить фильтры, перфорацию, корпуса приводов, задние панели, радиаторы, графические процессоры, пучки кабелей, защитные решетки вентиляторов и конфигурацию задней панели.

5. Выбор вентиляторов по их кривым

Не ориентируйтесь исключительно на максимальное значение CFM.

Оцените рабочую точку с учетом ожидаемого сопротивления.

6. Разделить шасси на тепловые зоны

Для процессора, графического процессора, устройств хранения данных, оперативной памяти и зон PCIe может потребоваться различное распределение воздушного потока.

7. Герметизация обходных каналов

Сделайте полезный воздушный поток проще, чем бесполезный.

8. Проверьте ориентацию компонентов

Проверьте направление ребер радиатора, направление воздушного потока в графическом процессоре, направление воздушного потока в блоке питания, направление переключателя и направление вращения вентиляторов.

Один компонент, установленный в обратном направлении, может привести к образованию локальной тепловой петли.

9. Проверить работоспособность интерфейса стойки

Учтите двери, блоки питания (PDU), кабельную разводку, заглушки, глубину стойки, соседнее оборудование, а также допущения относительно воздушных потоков в помещении.

10. Тестирование на наихудший вариант распределения

Максимальное количество дисков.

Максимальный объем памяти.

Максимальная нагрузка на ускоритель.

Теплый вход.

Один вентилятор вышел из строя.

Вот эту машину я хочу увидеть на трассе.

Что следует включить в запрос предложений?

Если вы заказываете шасси для монтажа в стойку по индивидуальному заказу, не указывайте следующее:

Охлаждение: высокая интенсивность воздушного потока.

Эта спецификация практически ничего не значит.

Вместо этого укажите:

  • общая расчетная мощность системы;
  • Модели ЦП и ГП;
  • профиль постоянной нагрузки;
  • максимальное количество модулей DIMM;
  • конфигурация хранилища;
  • Список карт PCIe;
  • целевой показатель резервирования вентиляторов;
  • допустимые условия на входе;
  • высота над уровнем моря;
  • требования к акустике, если таковые имеются;
  • требование к фильтру;
  • направление воздушного потока;
  • ограничения, связанные с дверцами стойки;
  • предполагаемая конфигурация производства;
  • предельные значения температуры;
  • ограничения пропускной способности;
  • требования к режимам отказа;
  • метод проверки.

Затем попросите поставщика продемонстрировать, как конструкция системы вентиляции учитывает эти условия.

Серьёзный Конструкция системы вентиляции корпуса сервера Обзор должен вызывать вопросы.

Это хороший знак.

Стандарт, которым я бы руководствовался перед запуском в производство

Мне всё равно, насколько эффектно выглядит стена из вентиляторов.

Мне важно, чтобы каждый термочувствительный компонент оставался в пределах установленных значений при установленной окончательной спецификации компонентов, при постоянной нагрузке, в соответствии с согласованными условиями на входе, при этом сервер должен находиться в стойке, для которой он был разработан.

Тогда мне нужен отступ.

Тогда я хочу посмотреть, что произойдет, если вентилятор выйдет из строя.

Это и есть технология обеспечения воздушного потока от передней части к задней.

Это не фанаты, указывающие в одном направлении.

Это не показатель CFM.

Это не маркетинговая фраза.

Контролируемый путь от холодного впуска до горячего выхлопа, при этом расположенные между ними узлы получают именно тот объем воздуха, который им действительно необходим.

Если с этим всё будет в порядке, то болельщики смогут выполнять свою роль.

Если ошибиться, установка дополнительного вентилятора может лишь усилить шум.

Вопросы и ответы

Что такое поток воздуха по схеме «спереди назад» в серверном корпусе?

Вентиляция по схеме «спереди назад» обеспечивает втягивание прохладного воздуха через переднюю часть корпуса, его прохождение мимо внутренних компонентов и вывод нагретого воздуха через заднюю часть.

Такая схема соответствует стандартной планировке стоек с «горячими» и «холодными» проходами и помогает предотвратить попадание горячего отработанного воздуха от серверов непосредственно в приточные отверстия оборудования.

Как организовать эффективную циркуляцию воздуха в серверной?

Начните с расчета тепловой нагрузки и размещения компонентов, затем определите ограничения, выберите вентиляторы, рассчитанные на соответствующее давление, проконтролируйте обходные пути и проверьте работу всей системы при постоянной нагрузке.

Выбор вентиляторов производится после того, как будет определён путь прохождения воздушного потока. Приводы, задние панели, радиаторы, графические процессоры, фильтры и кабели — все эти компоненты влияют на конечную рабочую точку.

Всегда ли больший расход воздуха (CFM) лучше для охлаждения серверов?

Нет. Высокая скорость воздушного потока (CFM) имеет смысл только в том случае, если воздух поступает к тем компонентам, которые нуждаются в охлаждении.

Корпус может обеспечивать циркуляцию больших объемов воздуха, но при этом компоненты всё равно могут перегреваться, если воздушный поток обходит радиаторы, сталкивается с чрезмерным сопротивлением или циркулирует внутри корпуса.

Почему статическое давление играет важную роль в корпусе сервера?

Статическое давление определяет, насколько эффективно вентилятор поддерживает воздушный поток при наличии препятствий.

Плотные корпуса дисков, фильтры, объединительные платы, радиаторы, графические процессоры, решетки и кабели создают сопротивление. Поэтому вентиляторы серверов необходимо оценивать с учетом фактической кривой давления в системе, а не только по их максимальной производительности в кубических футах в минуту (CFM) при свободном обдува.

Должен ли воздушный поток в сервере создавать положительное или отрицательное давление?

Универсального целевого значения давления не существует; расход воздуха следует регулировать с учетом требований системы в отношении теплообмена, фильтрации, герметичности и охлаждения.

Более важный вопрос заключается в том, поступает ли в каждую тепловую зону достаточное количество воздуха без чрезмерного обхода или рециркуляции.

Как предотвратить обход воздушного потока?

Блокируйте непреднамеренные пути с низким сопротивлением и направляйте воздух через нагретые компоненты с помощью перегородок, воздуховодов, кожухов, заглушек и специально спроектированной геометрии стенки вентилятора.

Цель заключается не в том, чтобы заделать все отверстия, а в том, чтобы сделать предусмотренный путь теплоотвода более выгодным, чем «кратчайший путь».

Как серверам с графическими процессорами следует организовывать поток воздуха от передней к задней части корпуса?

Серверы на базе графических процессоров (GPU) требуют достаточной площади переднего воздухозабора, вентиляторов, рассчитанных на работу под давлением, надлежащего расстояния между графическими процессорами, контролируемых байпасных каналов и беспрепятственного вытяжного вентилирования сзади.

Разработчикам также следует проверить направление воздушного потока в графическом процессоре, возможность взаимного влияния соседних карт, отсутствие препятствий для кабелей питания, а также температурные показатели при полной нагрузке ускорителя.

Как следует проверять поток воздуха от передней части к задней перед началом производства?

Проведите испытания окончательной аппаратной конфигурации под постоянной нагрузкой при заданных условиях на входе и зафиксируйте температуру компонентов, поведение вентиляторов, явления дросселирования и реакцию на сбои.

Используйте серийные кабели, диски, фильтры, передние панели, графические процессоры, память, блоки питания и реалистичные ограничения по размещению в стойке. Кроме того, протестируйте как минимум один сценарий отказа вентилятора, в котором требуется резервирование.

Фотография Mark Lee - Founder & Server Chassis OEM/ODM Specialist
Марк Ли — основатель и специалист по OEM/ODM-производству серверных шасси

Марк Ли — основатель компании ISTONECASE, имеющий 20-летний опыт работы в сфере производства серверных шасси. Он специализируется на OEM/ODM-решениях для графических процессоров (GPU) и искусственного интеллекта (AI), а также на шасси для монтажа в стойку, промышленном оборудовании, настенных шасси, сетевых хранилищах (NAS), шасси формата Mini-ITX и многоузловых шасси. Его экспертиза позволяет реализовывать индивидуальные аппаратные проекты для центров обработки данных, вычислений на базе искусственного интеллекта, корпоративных систем хранения данных, периферийных вычислений, сетевых решений и промышленных приложений.