Сервер может быть оснащен двенадцатью громко шумящими вентиляторами и при этом иметь ужасную систему охлаждения.
Это звучит нелепо, пока не заглянешь внутрь.
Воздух поступает через переднюю панель, выбирает самый простой путь вокруг отсека для дисков, проскальзывает через неиспользуемое отверстие рядом со стеной вентиляторов, обтекает пучок кабелей и достигает задней части корпуса, практически не обеспечивая при этом никакого значимого охлаждения. Между тем видеокарта, блок памяти, RAID-контроллер или радиатор процессора, расположенные всего в нескольких сантиметрах оттуда, перегреваются.
Показатель воздушного потока выглядел отлично.
Температуры не изменились.
В этом и заключается проблема лечения Воздушный поток спереди и сзади как техническое задание со стороны пользователей, а не как проблему системного проектирования.
Для покупателей из сегмента B2B, занимающихся разработкой серверов для монтажа в стойку, платформ на базе графических процессоров, систем хранения данных, промышленных компьютеров или специализированного оборудования, вопрос никогда не должен звучать так: “Сколько вентиляторов мы сможем установить?”
Задайте более сложный вопрос:
Сможем ли мы обеспечить поступление достаточного количества холодного воздуха ко всем компонентам, которым он действительно необходим, даже в самых неблагоприятных условиях эксплуатации, при которых мы планируем поставлять продукцию?
Это всё меняет.
При схеме вентиляции «спереди назад» холодный воздух поступает преимущественно через переднюю часть корпуса, проходит мимо компонентов, выделяющих тепло, и выходит через заднюю часть.
Простая концепция.
Жесткое исполнение.
На уровне серверного шкафа данная архитектура поддерживает привычную схему «холодный проход — горячий проход». На передние панели серверов поступает охлаждённый приточный воздух, а их задние выпускные отверстия выводят нагретый воздух в отдельную зону обратного воздухоотвода.
Это не произвольное соглашение. Рекомендации ASHRAE по центрам обработки данных указывается, что в большинстве устройств передачи данных используется Протокол направления воздушного потока от передней части к задней и предупреждает, что оборудование, использующее нестандартные направления, может потребовать специальных конструкций крепления или воздушных дефлекторов.
ASHRAE также отмечает особенно опасный вариант отказа на уровне серверной стойки: коммутатор, установленный в верхней части стойки в обратном направлении без надлежащей конфигурации обратного воздушного потока, может втягивать горячий вытяжной воздух из серверов и выбрасывать еще более горячий воздух в направлении воздухозаборника холодного воздуха другого устройства.
Именно поэтому конструкция шасси и стойки должны быть согласованы.
Для инженеров, сравнивающих различные архитектуры систем охлаждения, наше руководство по Воздушный поток от передней части к задней объясняет, как геометрия корпуса, давление вентилятора, плотность тепловыделения и расположение компонентов влияют на выбор между воздушным и жидкостным охлаждением.
Прежде чем говорить о вентиляционных отверстиях, вентиляционных стенах, дефлекторах или фильтрах, определите, что именно вы хотите охладить.
Составьте перечень тепловых источников.
Включить:
Не ориентируйтесь исключительно на номинальную мощность блока питания, указанную на заводской табличке.
Наличие блока питания мощностью 2 000 Вт не означает, что система постоянно расходует 2 000 Вт. Точно так же номинальная мощность процессора может не отражать точно его поведение в режимах кратковременного или длительного повышения мощности.
Используйте предполагаемую производственную конфигурацию и рабочую нагрузку.
Затем спросите, в каком месте это тепло попадает в воздушный поток.
SSD, расположенный рядом с передним воздухозаборником, получает более прохладный воздух, чем видеокарта, установленная ниже радиатора процессора. Компонент, установленный сзади, может получать воздух, температура которого уже повысилась на 15 °C, 20 °C или даже больше при прохождении через корпус компьютера.
ASHRAE отмечает, что для серверов, работающих при температуре на входе в пределах рекомендуемого диапазона, а Повышение температуры на 20–30 °C в сервере — явление обычное.
Эта цифра должна заставить разработчиков шасси почувствовать полезное беспокойство.
Компонент, расположенный вблизи выпускного отверстия, не обязательно охлаждается “воздухом комнатной температуры”.”
Оно охлаждается до той температуры, которая остается после того, как устройства, расположенные выше по цепи, уже нагрели его.
Вот самая распространённая ошибка.
Покупатель заказывает шесть вентиляторов с высокой производительностью по CFM.
Поставщик устанавливает шесть вентиляторов с высокой производительностью по CFM.
Все ставят галочку напротив пункта “высокая скорость воздушного потока”.”
Готово?
Даже близко не так.
Технические характеристики вентиляторов обычно приводятся для условий свободного обдува или в виде кривой производительности. Однако после установки вентилятора за плотной передней решеткой, фильтром, отсеком для дисков с возможностью «горячей» замены, задней панелью, радиатором, блоком графических процессоров, пучком кабелей и задней решеткой рабочий воздушный поток может значительно измениться.
Сопротивление нарастает.
Поэтому вам необходимо мыслить в терминах импеданс системы и статическое давление, а не только CFM.
Вентилятор, обеспечивающий циркуляцию огромных объемов воздуха без сопротивления, может демонстрировать низкую эффективность в условиях плотной серверной архитектуры. Другой вентилятор, показатели которого в условиях свободного потока воздуха не столь впечатляющи, может обеспечивать значительно более полезный поток при увеличении сопротивления.
Это различие приобретает особую важность в серверах формата 1U и 2U, где диаметр вентиляторов и поперечное сечение воздушного потока ограничены. Если вопрос о высоте корпуса ещё открыт для обсуждения, то наш Охлаждение шасси для монтажа в стойку Сравнение показывает, почему форматы 1U, 2U и 4U предоставляют инженерам совершенно разные варианты вентиляторов, радиаторов, графических процессоров и систем охлаждения.
Каждое ограничение расходует часть вашего запаса давления.
Примерный обзор проекта может выглядеть следующим образом:
| Элемент воздушного потока | Как это влияет на воздушный поток | Распространенные ошибки при проектировании | На что следует обратить внимание покупателям |
|---|---|---|---|
| Передняя решетка радиатора | Ограничивает зону впуска | Стилевое оформление оставляет слишком много пустого пространства | Фактительная площадь открытого пространства, а не размер наружной панели |
| Пылевой фильтр | Увеличивает перепад давления | Фильтр, выбранный после расчета мощности вентилятора | Сопротивление чистого и загрязнённого фильтра |
| Корпус привода | Рассеивает поступающий воздух | Плотная стена дисков ограничивает пропускную способность последующей зоны ЦП/ГП | Траектория потока вокруг и через приводы |
| Задняя панель | Может стать серьезным препятствием | Небольшие отверстия за приводами | Фактительная открытая площадь и потери давления |
| Пучки кабелей | Создать локальную обтекаемость и турбулентность | Прокладка кабелей в серийном производстве отличается от прокладки в прототипе | Окончательная прокладка кабеля |
| Радиатор процессора | Требуется направленная скорость | Воздух обтекает ребра, а не проходит сквозь них | Расположение воздуховодов и радиаторов |
| Банк графических процессоров | Обеспечивает высокую прочность и термостойкость | Малое расстояние между элементами приводит к образованию зон повышенной температуры | Расстояние между слотами и направление потока воздуха в графическом процессоре |
| Настенный вентилятор | Обеспечивает давление и расход | Зазоры обеспечивают рециркуляцию воздуха вокруг вентиляторов | Поведение системы при герметизации и отказоустойчивости |
| Задняя решетка | Ограничивает выпуск выхлопных газов | Впускной канал открыт, но выпускной забит | Открытая зона на задней панели |
| Дверца шкафа/PDU | Добавляет внешнее ограничение | Шасси прошло только испытания в открытой стойке | Конфигурация производственной стойки |
Практический урок прост.
Рассчитать весь маршрут.
Воздух ленив.
Оно пойдет по пути наименьшего сопротивления.
Это становится серьёзной проблемой, когда самый простой путь не проходит через ваше самое мощное оборудование.
Представьте себе стенку вентиляторов, расположенную позади материнской платы. Через радиатор процессора проходит узкий путь с большим сопротивлением, а рядом с ним — широкий открытый зазор.
Куда пойдет воздух?
Через щель.
Датчик расхода воздуха может по-прежнему показывать нормальные значения. Из заднего выхлопного патрубка может дуть, как ураган. Процессор может по-прежнему сильно нагреваться.
Это обходной поток воздуха.
И это постоянно вводит людей в заблуждение.
Используйте перегородки, воздуховоды, уплотнения из пенопласта, заглушки, кожухи вентиляторов и тщательно размещенные внутренние конструкции, чтобы облегчить прохождение воздуха по желаемому пути или затруднить его прохождение по нежелательному.
Это один из важнейших принципов в Управление воздушными потоками на сервере.
Исследование CFD за 2024 год, опубликованное в Новые горизонты в сфере застроенной среды то же самое относится и к масштабам центров обработки данных. В исследуемой конфигурации с прецизионным подпольным охлаждением эффективность подачи воздуха увеличилась с От 65.69% без системы локализации до 85.57% с системой локализации холодного прохода и 90.25% с системой локализации горячего прохода. В случае схемы межколонного охлаждения указанные значения возросли с от 71,291 TP6T до примерно 92,16–92,171 TP6T после локализации.
Ознакомьтесь с исследованием по оптимизации воздушных потоков 2024 года.
Эксперимент проводится на уровне комнаты, а не внутри шасси, поэтому эти процентные показатели не следует применять к серверному шкафу.
Однако этот инженерный принцип прекрасно применим и в данном случае.
Разделение целевого воздушного потока от байпасного и рециркулирующего потоков может кардинально изменить эффективность использования имеющегося охлаждающего воздуха.
Что касается систем с плотным расположением ускорителей, то в нашем рассмотрении Управление воздушными потоками на сервере учитывает в комплексе такие факторы, как расстояние между графическими процессорами, пути прохождения воздушного потока, энергопотребление стойки, доступ для технического обслуживания и конструкцию корпуса высокой плотности.
Под понятием «от начала до конца» не подразумевается, что все внутренние механизмы одинаково хороши.
Порядок компонентов имеет значение.
Рассмотрим две схемы расположения.
Вариант A
Передний воздухозаборник → накопители → системная плата → процессор → графический процессор → блок питания/вытяжка
Вариант макета B
Передний воздухозаборник → разделенные зоны воздушного потока → для процессора и видеокарты предусмотрены отдельные каналы подачи холодного воздуха → системы хранения данных охлаждаются отдельно → общий выпуск воздуха
Оба, с технической точки зрения, представляют собой схему «спереди назад».
Их тепловые характеристики могут быть совершенно разными.
Задайте следующие вопросы во время проверки макета:
Именно этот последний вопрос ставит в тупик многие проекты.
Конфигурации прототипов зачастую являются разреженными.
Конфигурации производства — нет.
Этот момент часто упускается из виду при обсуждении вопросов закупок.
Компоненты не воспринимают полный расход воздуха (CFM) в шасси.
Они ощущают местный поток воздуха.
Технические характеристики семейства серверов R2000WFTF от Intel наглядно демонстрируют это различие. В одной из задокументированных конфигураций Intel указывает Обеспечение воздушного потока 200 LFM для нескольких верхних и средних слотов PCIe и 300 LFM для некоторых нижних слотов. В том же документе отмечается, что многим картам PCIe может потребоваться до примерно 100 LFM, тогда как для карт, которые сложнее охлаждать, может потребоваться воздушный поток около 200 LFM.
Ознакомьтесь с техническими характеристиками серверных продуктов Intel.
Именно поэтому фраза “шасси имеет производительность 800 кубических футов в минуту” говорит мне гораздо меньше, чем думают многие покупатели.
Куда уходит этот воздух?
С какой скоростью?
При какой температуре?
Какое именно ограничение?
В каком компоненте?
Эти вопросы гораздо полезнее.
В большинстве шасси для монтажа в стойку эффективно работает система вентиляторов, расположенных в средней части шасси, поскольку она позволяет всасывать воздух, поступающий спереди, через зазоры между дисками и передней панелью, а затем направлять его к процессорам, модулям памяти, картам PCIe и задним выпускным отверстиям.
Но решает геометрия.
Вентилятор, установленный слишком далеко от запретной зоны, может привести к тому, что воздух будет распространяться в нежелательных направлениях. Вентиляторная стенка с незагерметизированными зазорами может создавать обтекание воздуха вокруг себя. Вентиляторы, работающие только в заднем направлении, могут использоваться в некоторых системах, но им может быть сложно обеспечить равномерное распределение воздушного потока в условиях сложной внутренней планировки.
Использование нескольких ступеней вентилятора может повысить производительность, но при этом может привести к увеличению энергопотребления, уровня шума, сложности управления и риска взаимосвязанных отказов.
Большее количество аппаратных ресурсов не всегда означает лучшее качество.
Установка дополнительных вентиляторов зачастую является неверным решением проблемы перегрева сервера.
Вот. Я это сказал.
Количество вентиляторов легко определить при покупке. Показатель CFM легко сравнивать. Не говоря уже о подсветке RGB, даже покупатели потребительских ПК привыкли ассоциировать видимое количество вентиляторов с “лучшим охлаждением”.”
Серверная инженерия не прощает ошибок.
Если воздух обходит блок графических процессоров, четыре дополнительных вентилятора могут просто прогонять больше воздуха через обходной канал.
Если задняя панель ограничивает приток воздуха, установка ещё одного заднего вытяжного вентилятора не устранит это ограничение как по волшебству.
Если горячие выхлопные газы возвращаются в сторону впускного коллектора, увеличение скорости вращения вентилятора может усугубить эту неблагоприятную циклическую ситуацию.
Если задняя решетка слишком сильно ограничивает воздухопропускную способность, то увеличение давления в конечном итоге приведет к повышению шума, увеличению мощности вентилятора и неудовлетворительному увеличению воздушного потока.
Я скорее одобрил бы корпус с меньшим количеством правильно подобранных вентиляторов, рассчитанных на работу под давлением, с аккуратной системой воздуховодов, герметичными обходными каналами, продуманным зонированием компонентов и большой площадью вытяжки, чем коробку, забитую вентиляторами, единственная конструктивная логика которой сводится к “большему CFM”.”
Цель не в том, чтобы увеличить количество воздуха.
Полезный воздух — это...
Недавно я просматривал обсуждение среди системных администраторов и наткнулся на пример с охлаждением серверных стоек, который должен вызвать беспокойство у любого заказчика инфраструктуры.
По имеющимся данным, в стойке, расположенной в помещении размером примерно 8 × 10 футов, находились десять серверов, три крупных устройства SAN, восемь коммутаторов и четыре источника бесперебойного питания. Два переносных кондиционера работали в непрерывном режиме: один направлял поток воздуха в переднюю часть стойки, а другой — в заднюю.
А потом началась самая неприятная часть.
The administrator reported that if one AC unit tripped, the server-rack temperature climbed above 99°F in less than a minute.
Read the original rack-overheating discussion.
People in the discussion quickly started questioning airflow orientation, exhaust-air removal, switch direction, blanking, cooling capacity, and hot-air recirculation.
That is exactly why the story matters.
The room already had two cooling machines working around the clock.
The problem was not simply “buy more cold air.”
It was an airflow system that needed to be understood as a whole.
That is a lesson chassis buyers should bring directly into supplier discussions. A high-performance fan cannot compensate indefinitely for poor component orientation, wrong-direction devices, restricted exhaust, uncontrolled bypass, or a rack that feeds hot discharge back toward the intake.
A server does not operate on a laboratory table.
Eventually, someone slides it into a rack.
That rack may have:
All of these can change cooling behavior.
One recurring mistake is validating a chassis with the rear completely open and then deploying it behind a restrictive cabinet door with thick cable bundles hanging directly behind its exhaust.
The fan curve did not change.
The system resistance did.
Наш путеводитель по Server Cooling Airflow covers chassis depth, cable-management arms, PDUs, doors, service clearance, and airflow space because mechanical rack fit and thermal fit are inseparable.
ASHRAE’s current handbook lists a recommended dry-bulb temperature range of 18–27°C for A1 through A4 classes of datacom equipment.
That does not mean every chassis should merely be tested at 27°C and declared finished.
Your actual equipment specifications still matter.
So does altitude.
So does workload.
So does fan redundancy.
And so does temperature uniformity across the entire intake face.
A chassis whose left intake sees 22°C while its right intake receives recycled 34°C exhaust does not have a “22°C inlet condition” in any meaningful engineering sense.
Measure multiple points.
CAD models tend to show beautiful cable paths.
Production units often look different.
Power cables bend.
SAS cables stack.
GPU power connectors need service loops.
Front-panel harnesses drift into openings.
Cable ties get moved during assembly.
Then airflow changes.
This is why cable routing should be frozen as part of thermal validation.
Use tie-down points deliberately. Keep thick harnesses away from high-velocity channels. Avoid placing excess cable directly behind fan inlets or upstream of heatsinks.
And test the ugly configuration.
Fully populate it.
Normal-operation temperatures are only half the story.
What happens after a fan fails?
In a multi-fan wall, a dead fan can become a low-resistance opening. Healthy neighboring fans may pull or push air backward through the failed position instead of through the chassis.
That can be surprisingly destructive to effective cooling.
Depending on system requirements, designers may use:
You need to test it.
“Six redundant fans” is not evidence of redundancy.
Show me the temperatures with five.
This is where procurement teams can save themselves months of pain.
Do not approve the cooling system from an empty chassis.
Do not approve it because someone put tissue paper near the rear fan and watched it flap.
Do not approve it from an open-side-panel test.
Do not approve a four-GPU system using a two-GPU prototype.
Build the intended production configuration.
Install:
Then run sustained workloads.
This is where a disciplined How to Design Server Airflow process should connect mechanical design inputs with prototype validation before the chassis is released for volume production.
A useful validation report should include:
| Measurement | Почему это важно |
|---|---|
| Front inlet temperature | Establishes actual cooling condition |
| CPU package temperature | Confirms processor thermal margin |
| GPU temperature | Detects accelerator restriction or recirculation |
| Memory temperature | Finds stagnant DIMM zones |
| NVMe/drive temperature | Checks storage airflow |
| VRM temperature | Finds local motherboard hot spots |
| PCIe card temperature | Detects insufficient local velocity |
| Fan RPM | Shows control response |
| Fan duty/PWM | Reveals how much margin remains |
| Exhaust temperature | Helps evaluate system heat pickup |
| Pressure differential | Useful for diagnosing restrictions |
| Throttling flags | Shows performance impact |
| Fan-failure temperatures | Tests redundancy rather than assuming it |
Run long enough to reach thermal equilibrium.
A five-minute benchmark can hide a slow heat-soak problem.
If I were reviewing a new server chassis project, I would use this order.
Get actual part numbers.
Not “ATX motherboard.”
Not “four GPUs.”
Not “high-power CPU.”
Real hardware.
Estimate sustained operating power by zone and identify the highest heat-density components.
Draw it.
В буквальном смысле.
Front intake → restriction → heat source → fan → heat source → exhaust.
If the diagram gets confusing, the physical airflow probably will too.
Review filters, perforations, drive cages, backplanes, heatsinks, GPUs, cable bundles, fan guards, and rear-panel geometry.
Do not select only from maximum CFM.
Estimate the operating point against expected resistance.
CPU, GPU, storage, memory, and PCIe regions may need different airflow allocation.
Make useful airflow easier than useless airflow.
Verify heatsink fin direction, GPU airflow, PSU airflow, switch direction, and fan direction.
One reversed component can create a local thermal loop.
Include doors, PDUs, cabling, blanking, rack depth, neighboring equipment, and facility airflow assumptions.
Maximum drives.
Maximum memory.
Maximum accelerator load.
Warm inlet.
One fan failed.
That is the machine I want to see pass.
If you are sourcing a custom rackmount chassis, avoid writing:
Cooling: High airflow.
That specification is almost meaningless.
Instead provide:
Then ask the supplier to show how the airflow design addresses those conditions.
A serious Конструкция системы вентиляции корпуса сервера review should produce questions.
That is a good sign.
I do not care how impressive the fan wall looks.
I care whether every thermally sensitive component remains inside its specified limit with the final BOM installed, at sustained load, under the agreed inlet condition, while the server sits inside the rack configuration it was designed for.
Then I want margin.
Then I want to see what happens when a fan fails.
That is front-to-back airflow engineering.
Not fans pointing in the same direction.
Not a CFM number.
Not a marketing phrase.
A controlled path from cold intake to hot exhaust, with the hardware in between receiving the air it actually needs.
Get that right and the fans can do their job.
Get it wrong and adding another fan may only make the mistake louder.
Front-to-back airflow draws cool air through the chassis front, moves it across internal components, and exhausts heated air through the rear.
This direction matches common rack hot-aisle/cold-aisle arrangements and helps prevent hot server exhaust from returning directly into equipment intakes.
Start with heat load and component layout, then map restrictions, select pressure-capable fans, control bypass paths, and validate the complete system under sustained load.
Fan selection comes after the airflow path is understood. Drives, backplanes, heatsinks, GPUs, filters, and cables all affect the final operating point.
No. High CFM is useful only if the air reaches the components that need cooling.
A chassis can move large volumes of air while still overheating components if airflow bypasses heatsinks, encounters excessive resistance, or recirculates internally.
Static pressure determines how well a fan maintains airflow against restrictions.
Dense drive cages, filters, backplanes, heatsinks, GPUs, grilles, and cables create resistance. Server fans therefore need to be evaluated against the actual system pressure curve, not only their maximum free-air CFM.
There is no universal pressure target; airflow should be controlled around the system’s thermal, filtration, leakage, and cooling requirements.
The more important question is whether sufficient air reaches every thermal zone without excessive bypass or recirculation.
Seal unintended low-resistance paths and direct air through hot components using baffles, ducts, shrouds, blanking plates, and controlled fan-wall geometry.
The goal is not to seal every opening. It is to make the intended thermal path more favorable than the shortcut.
GPU servers need sufficient front intake area, pressure-capable fans, appropriate GPU spacing, controlled bypass paths, and unrestricted rear exhaust.
Designers should also verify GPU airflow direction, neighboring-card interference, power-cable obstruction, and temperatures under full accelerator load.
Test the final hardware configuration under sustained load at the intended inlet condition and record component temperatures, fan behavior, throttling, and failure response.
Use production cables, drives, filters, front panels, GPUs, memory, PSUs, and realistic rack restrictions. Also test at least one fan-failure condition where redundancy is required.
Марк Ли — основатель компании ISTONECASE, имеющий 20-летний опыт работы в сфере производства серверных шасси. Он специализируется на OEM/ODM-решениях для графических процессоров (GPU) и искусственного интеллекта (AI), а также на шасси для монтажа в стойку, промышленном оборудовании, настенных шасси, сетевых хранилищах (NAS), шасси формата Mini-ITX и многоузловых шасси. Его экспертиза позволяет реализовывать индивидуальные аппаратные проекты для центров обработки данных, вычислений на базе искусственного интеллекта, корпоративных систем хранения данных, периферийных вычислений, сетевых решений и промышленных приложений.
Комментарии
