Comment concevoir un mur de ventilateurs pour un châssis de serveur GPU à haute densité

Les ventilateurs ont l'air simples.

Mais dès lors que huit accélérateurs haute puissance, deux processeurs, des banques de mémoire, des disques NVMe, des commutateurs PCIe, des câbles d’alimentation, des fonds de panier et des blocs d’alimentation redondants sont regroupés dans un seul châssis de serveur GPU, cette rangée bien ordonnée de ventilateurs en rotation s’intègre alors dans un système thermique à pression contrôlée où une erreur mécanique étonnamment minime peut faire surchauffer un GPU tandis qu’un autre reçoit bien plus d’air qu’il n’en a besoin.

Alors pourquoi les acheteurs continuent-ils à définir les murs ventilés en fonction du nombre de ventilateurs ?

Je n'approuverais pas une telle proposition.

En matière de refroidissement des serveurs à haute densité de GPU, la question pertinente n’est pas : “ Combien de ventilateurs de 80 mm peut-on installer dans le châssis ? ”

La question pertinente est la suivante :

Le mur de ventilateurs est-il capable de maintenir le débit d'air requis malgré la résistance globale du système, dans toutes les zones thermiques des GPU, dans les conditions de charge de travail les plus défavorables envisagées, alors qu'un ventilateur est hors service ?

Cette formulation bouleverse complètement le processus de conception.

Et c'est normal.

NVIDIA annonce que le H100 SXM peut atteindre TDP de 700 W, alors qu’une plateforme HGX H100 peut prendre en charge huit GPU. Cela signifie que les accélérateurs à eux seuls peuvent représenter 5,6 kW avant même que les processeurs, les barrettes DIMM, les disques NVMe, les cartes réseau, la régulation de tension, les pertes liées à la conversion de puissance ou d’autres composants n’entrent en ligne de compte. La documentation du HGX B200 de NVIDIA va encore plus loin : chaque GPU B200 peut être configuré jusqu’à 1 000 W, en regroupant huit GPU pour atteindre jusqu'à 8 kW de TDP du GPU à lui seul.

C'est pourquoi la conception moderne des parois de ventilateurs n'est plus un simple détail de tôlerie.

Il s'agit d'ingénierie des systèmes.

Commencez par la charge thermique, et non par le débit d'air (CFM) du ventilateur

L'un des moyens les plus rapides de se retrouver avec un châssis de serveur GPU inadapté est d'entamer la discussion sur la gestion thermique en se basant sur un catalogue de ventilateurs.

“ 200 CFM par ventilateur. ”

“ Huit supporters. ”

“ 1 600 CFM. ”

Ça a l'air super.

Sauf que cela ne vous renseignera pratiquement pas sur le débit d'air dont bénéficiera réellement le serveur une fois assemblé.

Le débit maximal en CFM correspond généralement à l’une des extrémités de la courbe de fonctionnement d’un ventilateur, à proximité d’une résistance à la pression très faible. La pression statique maximale correspond à l’extrémité opposée, là où le débit d’air tend vers zéro. Votre serveur GPU fonctionne quelque part entre ces deux points.

Ce point de fonctionnement est plus important que n'importe lequel de ces chiffres marketing.

Avant de choisir un mur ventilé, je dresserais un bilan thermique complet :

  • Nombre de GPU ou d'accélérateurs et puissance en régime continu
  • Nombre de cœurs et puissance nominale du boîtier
  • Nombre de barrettes DIMM
  • Disques NVMe
  • Commutateurs PCIe
  • Cartes réseau et unités de traitement de données
  • Cartes RAID ou HBA
  • VRM
  • fonds de panier de stockage
  • Pertes de conversion du bloc d'alimentation
  • la puissance du ventilateur elle-même
  • tout matériel de conversion CC/CC interne

Ne vous fiez pas uniquement aux caractéristiques indiquées sur la plaque signalétique du bloc d'alimentation.

Une architecture de puissance de 12 kW ne signifie pas automatiquement que le châssis dissipe en permanence 12 kW. Mais concevoir un système en se basant sur une charge de travail “ typique ” irréaliste est tout aussi dangereux.

Utilisez la charge de travail de production.

Définissez ensuite l'augmentation de température que vous êtes prêt à accepter entre l'entrée et la sortie du châssis.

Un calcul utile du débit d'air en première approximation

Pour le refroidissement par air, on peut utiliser l'approximation pratique suivante :

CFM requis ≈ 1,76 × charge thermique en watts ÷ augmentation admissible de la température de l'air en °C

Il s'agit d'une estimation théorique du bilan thermique fondée sur les propriétés typiques de l'air. Elle constitue un point de départ et non une spécification relative au mur de ventilation.

Considérons deux systèmes simplifiés :

Exemple de serveur GPUCharge thermique approximative du systèmeΔT admissibleDébit d'air théorique
Système à 8 cartes graphiques de classe H1007 000 W15 °C~821 CFM
Système à 8 cartes graphiques de classe H1007 000 W10 °Cenviron 1 232 CFM
Plateforme à 8 GPU haute performance10 000 W15 °Cenviron 1 173 CFM
Plateforme à 8 GPU haute performance10 000 W10 °Cenviron 1 760 CFM

Ces chiffres sont délibérément dérangeants.

Ils devraient l'être.

Dès qu'un serveur à haute densité approche les 7 à 10 kW, une variation de seulement 5 °C de l'élévation admissible de la température de l'air peut modifier les besoins théoriques en débit d'air de plusieurs centaines de CFM.

Et ce calcul part encore du principe que l'air va là où vous le souhaitez.

En général, ce n'est pas le cas.

Pour les projets qui en sont encore au stade de la conception, notre guide sur conception du flux d'air du serveur de l'avant vers l'arrière explique comment l'ordre des composants, les chemins de dérivation, les portes de rack, le câblage, les cages de ventilateurs et la géométrie des sorties d'air modifient le trajet du flux d'air avant même que le choix des ventilateurs ne soit envisagé.

Le CFM ne représente que la moitié de la conception du mur de ventilateurs

Et voilà le plus difficile.

Un banc de GPU, c'est de la résistance.

Un dissipateur thermique compact offre une résistance.

Un fond de panier, c'est de la résistance.

Il en va de même pour le panneau avant perforé, le filtre à poussière, la grille de protection du ventilateur, le faisceau de câbles, la grille arrière, la porte du rack, la cage de rangement, le conduit d'aération et l'évent mal aligné.

Lorsqu'on les empile, le mur de ventilateurs doit faire circuler l'air en compensant une perte de charge qui peut être radicalement différente de celle observée lors d'un essai sur banc à châssis ouvert.

C'est pour cela que je me soucie de pression statique.

Pensez en termes de courbe du système

À mesure que le débit d'air augmente, la perte de charge à travers un châssis augmente généralement de manière significative. L'enceinte complète présente donc sa propre courbe de résistance du système.

Le ventilateur présente une autre courbe.

Le point d'intersection de ces deux courbes correspond approximativement au régime de fonctionnement réel du ventilateur.

C'est le chiffre que les équipes chargées des achats devraient demander.

Il ne s'agit pas du débit maximal en CFM indiqué en haut de la fiche technique du produit.

Une étude sur les serveurs référencée par la NSF, portant sur les différences de pression statique entre l'entrée et la sortie d'air, a révélé que les performances thermiques des serveurs, le comportement de régulation des ventilateurs, la direction du flux d'air et la consommation énergétique des ventilateurs peuvent tous être influencés par les conditions de pression autour du châssis. En d'autres termes, le refroidissement des serveurs ne peut pas être complètement dissocié de l'environnement de pression qui les entoure.

Le ministère américain de l'Énergie abonde dans ce sens à l'échelle des centres de données : ses recommandations en matière de conception économe en énergie des centres de données soulignent que les obstructions du flux d'air peuvent réduire le débit d'air fourni et favoriser l'apparition de points chauds, tandis qu'une bonne gestion de l'air améliore l'efficacité du refroidissement et la densité de puissance utilisable.

Ma vision de la conception des châssis pour cartes graphiques est simple :

La pression, c'est le budget.

Dépensez-le avec parcimonie.

Créer une carte de perte de charge

Je passerais en revue le chemin dans cet ordre :

Élément de circulation d'airQuels problèmes peuvent survenir ?Éléments à vérifier
Cadre avantBlocs métalliques décoratifs dans la zone d'entréeSurface utile
FiltreLa pression augmente à mesure que la charge de poussière s'accroîtPerte de charge à vide et en charge
Cage d'entraînementLes déflecteurs divisent et redirigent le flux d'airCircuits d'écoulement entre les baies
Carte-mèreLe circuit imprimé recouvre la majeure partie de la face avantGéométrie des perforations
Zone de câblageLes barrages locaux sont constitués de conduitesAcheminement des câbles de production
Paroi du ventilateurLes interstices permettent une recirculation localeEnveloppe et étanchéité
Banque de GPUDes ailettes denses exigent une pressionDirection d'écoulement et impédance du GPU
Zone CPU/DIMMReçoit l'air préchauffé provenant du GPUDisposition des zones et réseau de conduits
Zone PSUEn concurrence pour l'air du châssisCirculation d'air indépendante ou partagée
Calandre arrièreLa surface d'évacuation est trop petiteSurface utile
Porte de rack / PDUAugmentation des restrictions externesConfiguration finale du rack

Vous remarquez ce qui manque ?

“ Nombre de fans. ”

Le nombre de ventilateurs est déterminé une fois que le parcours de l'air a été bien compris.

Comment concevoir un mur de ventilateurs pour un châssis de serveur GPU à haute densité

Où faut-il placer le panneau de ventilation dans le châssis d'un serveur GPU ?

Pour de nombreuses conceptions de GPU montés en rack, je privilégie un « mur de ventilateurs » positionné de manière à créer une barrière de pression contrôlée entre la section d'admission avant et la section de calcul à forte chaleur.

Une organisation conceptuelle courante est la suivante :

Entrée d'air avant → lecteurs ou zone de maintenance → paroi des ventilateurs → zones thermiques du GPU/CPU → sortie d'air arrière

Mais cela n'est pas vrai dans tous les cas.

Si un fond de panier de stockage situé en amont de la paroi de ventilation présente une forte résistance, les ventilateurs doivent aspirer l'air à travers celui-ci. Si la paroi de ventilation se trouve en amont de dissipateurs thermiques passifs de GPU extrêmement denses, elle doit générer une pression suffisante en aval pour forcer l'air à travers ces ailettes.

La géométrie l'emporte.

Toujours.

Aligner les ventilateurs selon le flux d'air du GPU

Ne construisez pas un superbe mur à six ventilateurs pour vous rendre compte ensuite que deux d'entre eux alimentent principalement des châssis vides, tandis que deux autres sont chargés d'alimenter quatre GPU.

Reportez la couverture des ventilateurs sur les sources de chaleur réelles.

Pour chaque position de ventilateur, je souhaite savoir :

  • Quelle carte graphique alimente-t-elle ?
  • Quel processeur ou quelle banque de barrettes DIMM bénéficie de ce flux d'air ?
  • Quelle restriction se trouve immédiatement en amont ?
  • Quelle restriction existe en aval ?
  • Les ventilateurs voisins peuvent-ils prendre le relais s'il s'arrête ?
  • Y a-t-il une ouverture de dérivation à côté ?
  • L'air chaud en aval peut-il revenir par un ventilateur défectueux ?

Cela revêt une importance particulière lorsque les dimensions du GPU, les supports de fixation, les câbles d'alimentation PCIe et les structures de soutien occupent le même canal d'aération.

Avant de figer la paroi du ventilateur, vérifiez l'enveloppe de l'accélérateur à l'aide des mesures indiquées dans notre Guide des dimensions des cartes graphiques et de la compatibilité des boîtiers. La longueur du GPU n’est qu’une variable parmi d’autres ; la hauteur de la carte, son épaisseur, l’espace nécessaire pour le coude du câble d’alimentation, les structures de fixation et l’espace libre nécessaire à l’entretien peuvent tous entraver le flux d’air prévu.

Isoler le mur du ventilateur ou laisser le mur du ventilateur tel quel

C'est l'un de ces détails qui semblent insignifiants en CAO.

Ce n'est pas le cas.

Supposons que la paroi du ventilateur crée une différence de pression entre ses côtés entrée et sortie. S'il y a une grande ouverture non étanche à côté du bac du ventilateur, l'air dispose alors d'un chemin de recirculation aisé.

C'est l'air qui l'emporte.

Les ventilateurs peuvent aspirer une partie de l'air provenant de leur propre côté refoulement vers leur côté admission, au lieu d'aspirer de l'air frais à travers les restrictions situées à l'avant.

Vous avez payé pour la ventilation.

Tu as une bonne circulation sanguine.

C'est pourquoi les plateaux de ventilateurs doivent être soigneusement scellés tout autour :

  • bords extérieurs ;
  • interruptions de service ;
  • passages de câbles ;
  • emplacements de ventilateurs inutilisés ;
  • interfaces entre le plateau et le châssis ;
  • les espaces entre les cadres des ventilateurs ;
  • ouvertures autour des modules amovibles.

Des joints en mousse, des rebords en tôle formée, des conduits moulés, des plaques d'obturation et des supports de ventilateur correctement conçus peuvent tous y contribuer.

Une étude de 2023 sur le refroidissement par mur de ventilateurs, menée par des chercheurs rattachés à l’université du Hertfordshire, fournit une analogie utile à plus grande échelle. Dans la configuration étudiée, les chercheurs ont mis en évidence un volume d’air soufflé optimal, plutôt qu’une simple relation du type “ plus le débit d’air est important, mieux c’est ”, et leur modèle a suggéré des économies d’énergie liées aux ventilateurs d’environ 34% dans des conditions de fonctionnement optimisées. L’expérience portait sur un centre de données équipé de murs de ventilateurs plutôt que sur un châssis GPU individuel ; je ne reprendrai donc pas les chiffres relatifs au débit d’air dans la conception d’un serveur ; c’est le principe général qui importe : le débit d’air et la consommation énergétique des ventilateurs doivent être optimisés conjointement.

Une vitesse de ventilateur plus élevée n'est pas automatiquement synonyme d'une meilleure gestion thermique.

Ventilateurs en parallèle, pression en série et l'erreur commise par les acheteurs

Un mur de ventilateurs de châssis classique consiste à disposer plusieurs ventilateurs côte à côte.

Ces ventilateurs fonctionnent globalement comme un réseau de flux d'air parallèles. Vous bénéficiez d'un débit total sur une section transversale plus grande, mais il ne faut pas supposer à la légère que la capacité en pression statique augmente proportionnellement au nombre de ventilateurs.

C'est important.

Le fait de placer huit ventilateurs côte à côte ne signifie pas pour autant que chacun d'entre eux soit soudainement capable de compenser huit fois la perte de charge.

Lorsqu'une pression très élevée est requise, les ingénieurs peuvent envisager des ventilateurs haute pression plus profonds, des configurations à double rotor ou des agencements de ventilateurs en cascade. Cependant, chaque option s'accompagne d'une consommation d'énergie accrue, d'un niveau sonore plus élevé, d'exigences de contrôle supplémentaires, d'un coût plus élevé et d'un comportement différent en cas de défaillance.

L'air n'est pas gratuit.

Ne comparez pas le débit d'air d'un ventilateur (CFM) aux prix des produits alimentaires

Imaginez six ventilateurs d'une capacité nominale de 200 CFM en air libre.

La feuille de calcul relative aux achats indique :

6 × 200 = 1 200 CFM

Je barrerais ce chiffre.

Si le point de fonctionnement de chaque ventilateur tombe à 120 CFM compte tenu de la restriction réelle du châssis, la valeur combinée théorique est déjà plus proche de 720 CFM, sans même tenir compte des charges inégales, des dérivations locales, des effets liés à l'installation, du comportement des ventilateurs défaillants et des limites de régulation.

La bonne question est la suivante :

Quel débit le mur de ventilateurs assemblé fournit-il à la pression estimée du système ?

Demandez au fournisseur du ventilateur la courbe P-Q complète.

Testez-le ensuite dans le châssis.

Concevoir pour un refroidissement “ N+1 ”, et non pour « N+1 ventilateurs »

Un acheteur me dit :

“ Nous avons huit ventilateurs, donc c'est superflu. ”

Non.

Huit ventilateurs, ça veut dire juste huit ventilateurs.

La redondance n'existe que si le système reste dans les limites thermiques et de performance prévues après la survenue d'une défaillance définie.

Test n° 1 : ventilateur en panne

Lorsqu'un ventilateur s'arrête, trois problèmes peuvent survenir immédiatement.

Tout d'abord, le débit d'air total disponible diminue.

Deuxièmement, les ventilateurs voisins peuvent passer à un autre régime de fonctionnement.

Troisièmement, l'ouverture du ventilateur à l'arrêt peut elle-même devenir un circuit d'air involontaire.

Ce dernier point passe facilement inaperçu.

Si les conditions de pression permettent un flux inverse à travers le ventilateur défectueux, une partie du débit du ventilateur en bon état pourrait circuler par le ventilateur défectueux au lieu de passer par les dissipateurs thermiques du GPU.

Voici quelques pistes de conception possibles :

  • détection des pannes de ventilateur ;
  • augmentation automatique de la modulation PWM sur les ventilateurs restants ;
  • zones thermiques indépendantes ;
  • contrôle du reflux d'air, le cas échéant ;
  • dispositifs d'obturation amovibles ;
  • une marge de fonctionnement suffisante pour que le ventilateur puisse continuer à fonctionner en cas de panne ;
  • Limitation de la puissance du GPU ;
  • limitation de la charge de travail ;
  • arrêt contrôlé en cas de disparition des marges de température.

Mais ne qualifiez pas ce système de « N+1 », car le schéma montre un ventilateur supplémentaire.

Lancez le test.

Si, en fonctionnement normal, le serveur nécessite que tous les ventilateurs fonctionnent à un niveau PWM de 100%, il ne lui reste pratiquement plus aucune marge de manœuvre pour réguler le débit d'air en cas de panne.

Ce n'est pas le genre de redondance que j'approuverais.

Ne laissez pas un GPU priver un autre GPU d'air

Le refroidissement des serveurs à haute densité de GPU est rarement uniforme par hasard.

L'air suit les différences de pression.

Si le GPU 1 dispose d'un chemin à faible résistance tandis que le GPU 4 est masqué par un faisceau de câbles et une géométrie de dissipateur thermique plus dense, le mur de ventilateurs peut les alimenter de manière très différente, même s'ils sont physiquement proches l'un de l'autre.

La réponse est souvent zonage.

Créer des zones thermiques

En fonction de l'architecture, je peux diviser conceptuellement la circulation de l'air en :

  • Zone GPU A ;
  • Zone B du GPU ;
  • Zone processeur et mémoire ;
  • zone de stockage ;
  • zone d'alimentation électrique ;
  • réseau ou zone PCIe.

Je me demande ensuite si chaque zone a réellement besoin du même volume d'air.

En général, non.

Vous pouvez modifier la répartition à l'aide des éléments suivants :

  • produits ;
  • déflecteurs ;
  • joints en mousse ;
  • panneaux de masquage ;
  • chambres de pression ;
  • disposition des ventilateurs ;
  • différents groupes PWM ;
  • modifications de la zone de ventilation ;
  • motifs de perforation locaux.

C'est précisément pour cette raison que notre Étude de cas sur un boîtier informatique dédié à l'IA à haute densité considère la disposition des cartes graphiques, l'alimentation des baies, la circulation de l'air, le soutien structurel, l'accès pour la maintenance et la validation thermique comme un seul et même problème d'ingénierie, plutôt que comme des décisions d'achat indépendantes.

Le placement des capteurs peut transformer un mur de ventilateurs peu esthétique en un élément harmonieux

Un capteur de température peut donner une fausse indication sans pour autant être techniquement en erreur.

Placez la sonde d'entrée près de la partie la plus froide du panneau avant : elle pourrait alors afficher une température de 23 °C.

Par ailleurs, les gaz d'échappement recyclés pourraient pénétrer dans une autre partie du châssis à une température de 31 °C.

Quelle valeur correspond à l'entrée du GPU ?

Ni l'un ni l'autre pris isolément.

Pour les systèmes GPU à haute densité, je souhaite disposer de plusieurs mesures de température.

En tout cas, pensez à noter au moins les éléments suivants :

  • température d'admission avant gauche ;
  • température d'entrée à l'avant-centre ;
  • température d'admission avant droite ;
  • Données relatives à la température à l'entrée du GPU ou à la température locale ;
  • Données de télémétrie du cœur du GPU et de la mémoire HBM, le cas échéant ;
  • Température du processeur ;
  • Température des barrettes DIMM, si disponible ;
  • Température NVMe ;
  • Température du VRM ;
  • vitesse de rotation du ventilateur ;
  • rapport cyclique PWM ;
  • différence de pression, lorsque cela est possible ;
  • température des gaz d'échappement à l'arrière ;
  • épisodes de limitation thermique.

Alors regardez le le pire appareil, et non un appareil lambda.

Les moyennes masquent les problèmes.

Si sept cartes graphiques fonctionnent à 67 °C et qu’une seule atteint 88 °C, peu m’importe que la moyenne des huit cartes graphiques semble acceptable.

Je voudrais savoir pourquoi le GPU 8 est chaud.

L'impact de la densité de puissance des GPU modernes sur la conception des « fan walls »

La courbe de puissance des GPU évolue plus rapidement que de nombreux cycles de développement des boîtiers.

NVIDIA indique que la H100 SXM consomme jusqu’à 700 W et la H200 SXM jusqu’à 700 W. AMD précise que son accélérateur MI300X a une puissance maximale de carte de 750 W. La documentation NVIDIA relative à la carte HGX B200 indique une valeur maximale configurable de 1 000 W par GPU.

Cette évolution devrait nous amener à revoir notre conception de la longévité des châssis.

Un mur de ventilateurs qui peine à prendre en charge la configuration actuelle de l'accélérateur de 400 W risque de ne pas disposer d'une capacité de pression, d'une puissance électrique, d'un espace physique ou d'une marge de contrôle suffisants pour la prochaine révision matérielle.

Et les chiffres au niveau du secteur confirment cette tendance. La mise à jour de juin 2026 du Berkeley Lab estime que les centres de données américains pourraient représenter environ 11,81 TP6T de la consommation d'électricité aux États-Unis d'ici 2030, avec des scénarios modélisés allant de De 9,51 TP6T à 15,31 TP6T. Ce rapport s'appuie sur des données relatives aux livraisons d'équipements, sur une modélisation de la consommation énergétique par appareil et sur des simulations de refroidissement, plutôt que de se contenter d'extrapoler la consommation d'électricité historique.

Cela ne nous indique pas combien de ventilateurs peuvent être installés dans un châssis 4U.

Cela nous apprend quelque chose de plus important.

La densité de calcul et les besoins en refroidissement ne sont pas de simples inconvénients temporaires liés à la conception.

Il s'agit de contraintes architecturales.

Quand faut-il cesser d'essayer de forcer le refroidissement par air ?

Il arrive un moment où l'ajout de ventilateurs plus rapides n'est plus une solution technique rentable.

La puissance des ventilateurs augmente.

Le bruit s'intensifie.

La pression statique pourrait s'améliorer.

Cependant, les gains de débit disponibles peuvent s'atténuer à mesure que la résistance du système augmente.

Parallèlement, le châssis commence à perdre de l'espace au profit de modules de ventilation plus profonds, de dissipateurs thermiques plus volumineux, de couloirs d'aération plus larges, de conduits et d'espaces libres nécessaires à l'entretien.

Une thèse de génie mécanique de l'Université du Texas à Arlington, datant de 2026, a spécifiquement comparé le refroidissement par air au refroidissement direct par liquide à l'aide d'un prototype d'essai thermique inspiré d'un carte mère de type SXM5 à huit GPU, en soulignant le défi croissant posé par la forte densité de puissance des accélérateurs et la consommation parasitaire des ventilateurs.

Cela ne signifie pas pour autant que tous les serveurs GPU doivent utiliser un système de refroidissement à liquide.

Je rejette cette conclusion.

Le refroidissement par air reste intéressant car il peut être plus simple sur le plan mécanique, plus facile à entretenir et plus familier. Cependant, à partir d’une certaine densité thermique, il est moins judicieux de pousser davantage la courbe de rendement du ventilateur que de repenser l’architecture du transfert thermique.

Notre guide détaillé Analyse comparative entre le refroidissement par air et le refroidissement par liquide pour les systèmes à haute puissance aborde cette décision de manière plus approfondie, notamment en ce qui concerne la disponibilité opérationnelle, les pompes, les radiateurs, la pression des ventilateurs, les modes de défaillance, la densité des baies et les exigences relatives aux boucles de liquide.

Un processus pratique de conception d'un mur de ventilateurs

Si je devais évaluer un nouveau projet de serveur GPU monté en rack, voici la démarche que j'adopterais.

1. Verrouiller la configuration du GPU

N'écrivez pas :

“ 8 GPU. ”

Indiquez la référence exacte, la plage de puissance, le format, le type de dissipateur thermique, le sens du flux d'air, les dimensions, le mode de fixation et la géométrie du connecteur.

2. Calculer la charge thermique continue

Ajoutez les GPU, les CPU, la mémoire, le stockage, les composants réseau, l'alimentation de la carte mère, les pertes de conversion et les autres charges.

Utilisez la charge de travail que vous prévoyez réellement.

Ce n'est pas une simple capture d'écran.

3. Régler l'élévation de température admissible

Déterminez l'augmentation de la température de l'air sur laquelle vous basez votre conception.

Calculez ensuite le débit d'air nécessaire pour le premier passage.

4. Représenter le parcours de l'air

Tirage au sort :

Admission → étranglement → paroi du ventilateur → source de chaleur → étranglement → échappement

Si le tracé n'est pas évident sur le papier, il ne deviendra pas pour autant évident comme par magie une fois réalisé dans la tôle.

5. Estimation de la perte de charge

Inclure la configuration de production :

  • lunette ;
  • filtre ;
  • disques durs ;
  • fond de panier ;
  • câbles ;
  • dissipateurs thermiques ;
  • Banque de GPU ;
  • produits ;
  • panneau arrière ;
  • porte de rack.

6. Sélectionner les ventilateurs en fonction de leurs courbes

Comparez le débit d'air requis à la pression statique disponible.

Ne pas approuver à partir d'un débit d'air libre (CFM).

7. Associer les positions des ventilateurs aux zones thermiques

Tout supporter devrait avoir un emploi.

Découvrez quels composants il prend en charge.

8. Circuits de dérivation des joints

Faites en sorte que le chemin souhaité soit plus facile que celui que vous souhaitez éviter.

9. Conception du comportement en cas de défaillance d'un ventilateur

Déterminez ce que font automatiquement les ventilateurs restants lorsqu'un ventilateur s'arrête.

10. Valider avec une population de production maximale

Installez tous les éléments prévus :

  • GPU ;
  • barrettes DIMM ;
  • disques durs ;
  • Périphériques PCIe ;
  • câbles d'alimentation ;
  • fonds de panier ;
  • entreprises publiques ;
  • protections de ventilateur ;
  • filtres ;
  • panneaux de châssis.

Pas de couvertures ouvertes.

Aucun câble ne manque.

Pas de “ nous testerons le huitième GPU plus tard ”.”

11. Reconfigurer la restriction du rack

Ajoutez la porte du rack de production, le câblage arrière, les interférences au niveau du PDU, la géométrie des rails et des conditions d'entrée réalistes.

Un serveur qui ne passe le test que lorsque la porte arrière est retirée n'a pas réussi le test de déploiement réel.

12. Exécuter des charges de travail en continu

Amenez le système à l'équilibre thermique.

Surveillez la saturation des ventilateurs, la limitation des performances du GPU, les déséquilibres de température et la lenteur de la montée en température.

Retirez ensuite un ventilateur.

C'est maintenant que commence le test intéressant.

Ce que j'inclurais dans l'appel d'offres pour le châssis

Si vous demandez à un fabricant de châssis de serveurs de concevoir une paroi de ventilation, n'écrivez pas :

“ Un système de refroidissement hautement performant est nécessaire. ”

Cette phrase n'a pratiquement aucune valeur technique.

Précisez :

Données relatives à l'appel d'offresDocuments à fournir
Configuration du GPUModèle exact, nombre d'unités, format, puissance
Configuration du processeurModèle exact et puissance continue
Charge totale du systèmePuissance estimée en watts en régime continu
Format du châssis2U, 4U, 5U, 6U, etc.
Direction du flux d'airDe l'avant vers l'arrière, sauf si l'architecture impose une autre disposition
Conditions d'entréePlage de températures et altitude
Redondance des ventilateursConditions requises en état normal et en cas de panne d'un ventilateur
Limite du GPUTempérature maximale admissible / comportement de limitation de débit
Contrôle du ventilateurPWM, tachymètre, gestion des défauts
FiltreOui/non et temps de chargement prévu
Restriction relative aux racksHypothèses concernant les portes, les PDU et la gestion des câbles
BruitObjectif maximal, le cas échéant
Modèle de serviceExigences relatives aux ventilateurs remplaçables à chaud
ValidationCharge de travail, durée des tests, emplacement des capteurs

Si ces informations ne sont pas encore définies, notre Guide complet pour les demandes de devis de châssis sur mesure fournit les informations générales relatives à la mécanique, aux matériaux, aux tolérances, aux composants, à la qualité et à la production qui doivent être définies avant qu'un devis fournisseur ne puisse être considéré comme pertinent.

La norme de conception de murs de ventilateurs que j'utiliserais vraiment

Je ne donnerais pas mon accord pour un châssis de serveur GPU pour les raisons suivantes :

  • il est équipé de huit ventilateurs ;
  • les ventilateurs sont “ à grande vitesse ” ;
  • la fiche technique indique 1 500 CFM ;
  • la température du GPU semblait normale pendant cinq minutes ;
  • le châssis fonctionnait sans le couvercle ;
  • une capture d'écran du CFD apparaissait en bleu ;
  • Le fournisseur affirme que des clients similaires utilisent les mêmes ventilateurs.

Je l'approuverais si les éléments de preuve démontraient que :

  1. la charge thermique réelle est connue ;
  2. le débit d'air est calculé ;
  3. la résistance du système est estimée ou mesurée ;
  4. les ventilateurs fonctionnent à un point approprié de leur courbe ;
  5. le débit d'air de dérivation est régulé ;
  6. Les zones du GPU sont alimentées de manière adéquate ;
  7. la configuration du rack de production a été prise en compte ;
  8. les ventilateurs conservent une marge de contrôle suffisante ;
  9. le serveur résiste à la condition de défaillance du ventilateur définie ;
  10. Des essais de charge de travail prolongée permettent de déterminer les limites de température et de performance.

C'est un concept de mur dédié aux fans.

Le reste concerne l'installation du ventilateur.

FAQ

Qu'est-ce qu'un mur de ventilateurs dans un châssis de serveur GPU ?

A Un mur de ventilateurs pour serveurs GPU est un ensemble organisé de ventilateurs axiaux ou à haute pression disposés en travers du circuit d'aération du châssis afin de générer le débit d'air et la pression statique nécessaires pour acheminer l'air de refroidissement à travers les GPU, les CPU, la mémoire, les dispositifs de stockage, les fonds de panier, les câbles, les dissipateurs thermiques et les obstacles à l'évacuation, tout en assurant une répartition thermique contrôlée de l'avant vers l'arrière.

Contrairement aux ventilateurs isolés, un mur de ventilateurs doit être conçu comme une barrière de pression. Ses performances dépendent des courbes de débit des ventilateurs, de l'étanchéité, de la résistance du châssis, du zonage thermique, de la logique de commande et du comportement en cas de défaillance d'un ventilateur.

De combien de ventilateurs un serveur GPU haute densité a-t-il besoin ?

Le nombre de ventilateurs nécessaires dans un serveur GPU à haute densité dépend de la charge thermique totale en régime continu, de l'élévation de température admissible entre l'entrée et la sortie, de la perte de charge du châssis, des courbes de performance de chaque ventilateur, de la résistance au flux d'air des GPU, des exigences en matière de redondance, des conditions ambiantes et du débit d'air qui doit rester disponible après la survenue d'un événement défini de défaillance d'un ventilateur.

Il n'existe donc pas de réponse universelle fiable du type “ huit GPU nécessitent huit ventilateurs ”. Il faut d'abord calculer le débit d'air, puis estimer la résistance, avant de choisir le nombre et la configuration des ventilateurs permettant de répondre à ces deux exigences.

Où faut-il placer la paroi de ventilation dans le châssis d'un serveur GPU ?

Un mur de ventilateurs pour serveurs GPU doit être positionné de manière à créer une différence de pression contrôlée au niveau des zones thermiques présentant la plus grande résistance, tout en assurant une répartition homogène de l'air vers les accélérateurs, les processeurs, la mémoire et les autres composants. Son emplacement est déterminé par l'entrée d'air du panneau avant, la disposition des périphériques de stockage, les contraintes liées au fond de panier, l'orientation des dissipateurs thermiques des GPU, la géométrie des sorties d'air et les exigences en matière de maintenance.

Il est courant d'installer des rangées de ventilateurs au milieu du châssis, mais leur emplacement optimal dépend de la géométrie du système. La position idéale est celle qui permet de générer un flux d'air efficace à travers les composants plutôt qu'autour de ceux-ci.

De quel débit d'air un serveur équipé de 8 cartes graphiques a-t-il besoin ?

Un serveur équipé de huit GPU peut nécessiter entre quelques centaines et bien plus de mille CFM, en fonction de la puissance totale du système et de l'élévation de température admissible de l'air ; par exemple, un système simplifié de 7 000 W refroidi par air nécessite théoriquement environ 821 CFM pour une élévation de température de 15 °C et environ 1 232 CFM pour une élévation de 10 °C.

Ces valeurs constituent des points de départ pour le bilan thermique, et non des caractéristiques techniques des ventilateurs. La capacité réelle du système ventilateur-paroi doit tenir compte de la perte de charge, de la répartition du débit d'air, de l'altitude, des filtres, de la résistance des composants, de la redondance des ventilateurs et du point de fonctionnement réel sur la courbe de performance du ventilateur.

Pourquoi la pression statique est-elle importante pour le refroidissement des serveurs équipés de GPU ?

La pression statique correspond à la capacité du ventilateur à maintenir un débit d'air malgré la résistance générée par les dissipateurs thermiques denses des GPU, les fonds de panier de stockage, les filtres, les grilles, les câbles, les conduits, les ouvertures du châssis et les structures de rack. Elle s'avère donc plus pertinente que le débit maximal en air libre (en CFM) lors de l'évaluation des ventilateurs destinés à un châssis de serveur GPU à forte densité.

Deux ventilateurs présentant un débit d'air maximal similaire peuvent avoir des performances très différentes à l'intérieur d'un même boîtier. Il convient de toujours évaluer la courbe P-Q en fonction de la résistance estimée ou mesurée du système.

Le refroidissement par air est-il suffisant pour un châssis de serveur GPU à haute densité ?

Le refroidissement par air peut convenir aux serveurs à haute densité de GPU lorsque le châssis offre une section transversale de circulation d’air suffisante, une pression statique adéquate, un contournement contrôlé, des conditions d’admission acceptables, une marge thermique et une redondance des ventilateurs. Cependant, la puissance sans cesse croissante des accélérateurs peut finir par rendre la consommation énergétique des ventilateurs, le bruit, la taille des dissipateurs thermiques, les pertes de charge, la densité des racks ou les températures des composants trop problématiques pour une conception reposant uniquement sur le refroidissement par air.

Cette décision doit reposer sur des calculs thermiques et des essais approfondis. Ne choisissez pas le refroidissement par liquide simplement parce que cela semble plus sophistiqué, et n’imposez pas le refroidissement par air si les données de pression et de température indiquent que la marge de manœuvre pratique est épuisée.

Construire le mur de ventilateurs autour du véritable système GPU

Un mur de ventilation ne doit jamais être le premier élément de refroidissement choisi.

Commençons par les cartes graphiques.

Prenez en compte les processeurs, la mémoire, le stockage, les fonds de panier, l'architecture de l'alimentation, le cheminement des câbles, les contraintes liées au rack et la charge de travail prévue. Calculez la chaleur dégagée. Déterminez l'élévation de température admissible. Estimez la perte de charge. Choisissez ensuite des ventilateurs capables de fournir le débit d'air requis à la pression de fonctionnement réelle.

Et testez le ventilateur défectueux.

Si vous développez un Châssis de serveur GPU haute densité 4U, 5U ou 6U, veuillez transmettre les modèles exacts des cartes graphiques, le schéma de la carte mère, la configuration d'alimentation, la disposition du stockage, la profondeur du rack, la direction souhaitée du flux d'air et la puissance prévue du système à l'équipe d'ingénierie des châssis avant de finaliser la disposition des ventilateurs.

Découvrez les options disponibles Plates-formes de châssis pour GPU et serveurs d'IA ou demander une configuration personnalisée du flux d'air et du mur de ventilateurs en fonction de votre matériel de production, plutôt que de vous baser sur un objectif générique en CFM.

Photo du Mark Lee - Founder & Server Chassis OEM/ODM Specialist
Mark Lee - Fondateur et spécialiste des châssis de serveurs (OEM/ODM)

Mark Lee est le fondateur d'ISTONECASE et possède 20 ans d'expérience dans le secteur des châssis de serveurs. Il est spécialisé dans les solutions OEM/ODM pour les châssis GPU et IA, les châssis montés en rack, industriels, muraux, NAS, Mini-ITX et à nœuds multiples. Son expertise permet de mener à bien des projets matériels sur mesure destinés aux centres de données, au calcul IA, au stockage d’entreprise, à l’edge computing, aux réseaux et aux applications industrielles.