كيفية تصميم جدار مروحة لهيكل خادم GPU عالي الكثافة

المراوح تبدو بسيطة.

ولكن بمجرد تجميع ثمانية مسرعات عالية الطاقة، ووحدتي معالجة مركزية، وبنوك ذاكرة، ومحركات أقراص NVMe، ومحولات PCIe، وكابلات طاقة، ولوحات خلفية، ومزودات طاقة احتياطية، في هيكل خادم GPU واحد، يصبح ذلك الصف الأنيق من المراوح الدوارة جزءًا من نظام حراري يتم التحكم في ضغطه، حيث يمكن لخطأ ميكانيكي صغير بشكل مدهش أن يتسبب في ارتفاع درجة حرارة وحدة GPU واحدة بينما تتلقى أخرى كمية من الهواء تفوق حاجتها بكثير.

فلماذا لا يزال المشترون يحددون جدران المراوح بناءً على عدد المراوح؟

لن أوافق على شيء من هذا القبيل.

فيما يتعلق بتبريد خوادم GPU عالية الكثافة، فإن السؤال المهم ليس: “كم عدد المراوح مقاس 80 ملم التي يمكن تركيبها عبر الهيكل؟”

السؤال المهم هو:

هل يمكن لجدار المراوح الحفاظ على تدفق الهواء المطلوب عبر مقاومة النظام الكلية، وفي جميع المناطق الحرارية لوحدة معالجة الرسومات (GPU)، وفي أسوأ سيناريو لحمل العمل المتوقع، في حالة تعطل إحدى المراوح؟

هذه الصيغة تغير عملية التصميم تمامًا.

وينبغي أن يكون الأمر كذلك.

تحدد NVIDIA سعر بطاقة H100 SXM بما يصل إلى 700 واط (TDP), ، في حين أن منصة HGX H100 يمكنها استخدام ثماني وحدات معالجة رسومات. وهذا يعني أن وحدات التسريع وحدها يمكن أن تمثل 5.6 كيلوواط قبل أن تدخل في الحسابات وحدات المعالجة المركزية (CPU)، ووحدات ذاكرة DIMM، ووحدات التخزين NVMe، وبطاقات الشبكة (NIC)، وتنظيم الجهد الكهربائي، وخسائر تحويل الطاقة، أو أي مكونات أخرى. وتذهب وثائق NVIDIA الخاصة بـ HGX B200 إلى أبعد من ذلك: يمكن تهيئة كل وحدة معالجة رسومات (GPU) من طراز B200 لتصل سعتها إلى 1,000 واط, ، حيث تصل سعة ثماني وحدات معالجة رسومات إلى ما يصل إلى 8 كيلوواط من TDP وحدة معالجة الرسومات (GPU) وحدها.

ولهذا السبب لم يعد تصميم الجدران المزودة بمراوح في العصر الحديث مجرد تفصيل من الصفائح المعدنية.

إنها هندسة النظم.

ابدأ بالحمل الحراري، لا بمعدل تدفق الهواء (CFM) للمروحة

من أسرع الطرق للحصول على هيكل خادم غير مناسب لوحدة معالجة الرسومات (GPU) هي بدء مناقشة المسائل المتعلقة بالتحكم في درجة الحرارة بالاطلاع على كتالوج المراوح.

“200 قدم مكعب في الدقيقة لكل مروحة.”

“ثمانية مشجعين.”

“1,600 قدم مكعب في الدقيقة”.”

يبدو رائعًا.

إلا أن ذلك قد لا يخبرك بأي شيء تقريبًا عن تدفق الهواء الذي سيتلقاه الخادم النهائي فعليًّا.

عادةً ما يشير الحد الأقصى لعدد الأقدام المكعبة في الدقيقة (CFM) إلى أحد طرفي منحنى تشغيل المروحة، بالقرب من مقاومة الضغط المنخفضة جدًّا. أما الضغط الساكن الأقصى فيشير إلى الطرف المقابل، حيث يقترب تدفق الهواء من الصفر. ويعمل خادم وحدة معالجة الرسومات (GPU) الخاص بك في نطاق ما بين هاتين النقطتين.

تلك النقطة التشغيلية أكثر أهمية من أي من الرقمين التسويقيين.

قبل اختيار جدار المروحة، سأقوم بإجراء جرد حراري شامل:

  • عدد وحدات معالجة الرسومات (GPU) أو المسرعات والطاقة المستدامة
  • عدد وحدات المعالجة المركزية (CPU) واستهلاك الطاقة المستمر للحزمة
  • عدد وحدات DIMM
  • محركات أقراص NVMe
  • محولات PCIe
  • وحدات NIC ووحدات DPU
  • بطاقات RAID أو HBA
  • VRMs
  • لوحات التوصيل الخلفية للتخزين
  • خسائر التحويل في وحدة تزويد الطاقة (PSU)
  • قوة المعجبين بحد ذاتها
  • أي أجهزة تحويل داخلي من تيار مستمر إلى تيار مستمر

لا تعتمد فقط على القيم المذكورة على لوحة بيانات وحدة تزويد الطاقة.

إن وجود بنية طاقة تبلغ 12 كيلوواط لا يعني بالضرورة أن الهيكل يبدد 12 كيلوواط بشكل مستمر. لكن التصميم استنادًا إلى حمل عمل “نموذجي” منخفض بشكل غير واقعي يمثل خطرًا مماثلًا.

استخدم حمل العمل الإنتاجي.

ثم حدد مقدار ارتفاع درجة الحرارة الذي ترغب في قبوله بين مدخل الهيكل ومخرج العادم.

حساب مفيد لتدفق الهواء في المرحلة الأولى

بالنسبة للتبريد الهوائي، فإن التقريب العملي هو:

معدل التدفق الهوائي المطلوب (CFM) ≈ 1.76 × الحمل الحراري بالواط ÷ الارتفاع المسموح به في درجة حرارة الهواء بالدرجة المئوية

هذا تقدير نظري للتوازن الحراري يستند إلى الخصائص النموذجية للهواء. وهو يمثل نقطة انطلاق، وليس مواصفات لجدار المروحة.

لنفترض وجود نظامين مبسطين:

مثال على خادم GPUالحمل الحراري التقريبي للنظامΔT المسموح بهتدفق الهواء النظري
نظام مزود بـ 8 وحدات معالجة رسومات من فئة H1007,000 واط15 درجة مئوية~821 قدم مكعب في الدقيقة
نظام مزود بـ 8 وحدات معالجة رسومات من فئة H1007,000 واط10 درجات مئويةحوالي 1,232 قدم مكعب في الدقيقة
منصة مزودة بـ 8 وحدات معالجة رسومات (GPU) ذات قدرة أعلى10,000 واط15 درجة مئوية~1,173 قدم مكعب في الدقيقة
منصة مزودة بـ 8 وحدات معالجة رسومات (GPU) ذات قدرة أعلى10,000 واط10 درجات مئوية~1,760 قدم مكعب في الدقيقة

هذه الأرقام تثير الانزعاج عن عمد.

ينبغي أن يكونوا كذلك.

عندما تقترب قدرة خادم عالي الكثافة من 7–10 كيلوواط، فإن تغيير الارتفاع المسموح به في درجة حرارة الهواء بمقدار 5 درجات مئوية فقط يمكن أن يؤدي إلى تغيير متطلبات تدفق الهواء النظرية بمقدار مئات CFM.

وهذا الحساب لا يزال يفترض أن الهواء يتجه إلى حيث تريده.

عادةً لا يحدث ذلك.

بالنسبة للمشاريع التي لا تزال في مرحلة التصميم المعماري، فإن دليلنا الخاص بـ تصميم تدفق الهواء عبر الخادم من الأمام إلى الخلف يشرح كيف يؤثر تسلسل المكونات، ومسارات التحويل الجانبي، وأبواب الحامل، وتوصيلات الكابلات، وأقفاص المحركات، وهندسة العادم على مسار تدفق الهواء قبل أن يبدأ حتى اختيار المروحة.

تشكل CFM نصف تصميم جدار المروحة فقط

وهنا يكمن الجزء الصعب.

مجموعة وحدات معالجة الرسومات (GPU) تمثل مقاومة.

المبدد الحراري ذو الكثافة العالية يمثل مقاومة.

اللوحة الخلفية هي المقاومة.

وكذلك اللوحة الأمامية المثقبة، وفلتر الغبار، وواقي المروحة، وحزمة الكابلات، والشبكة الخلفية، وباب الرف، وقفص التخزين، وقناة الهواء، وفتحة التهوية غير المُحاذاة بشكل جيد.

عند تجميعها معًا، يتعين على جدار المروحة دفع الهواء في مواجهة انخفاض في الضغط قد يختلف بشكل كبير عما يحدث في اختبار المنضدة ذات الهيكل المفتوح.

ولهذا السبب أهتم بـ الضغط الساكن.

فكر من منظور منحنى النظام

مع ارتفاع تدفق الهواء، يرتفع فقدان الضغط عبر الهيكل بشكل حاد عمومًا. ولذلك، فإن الغلاف الكامل له منحنى مقاومة خاص به.

المروحة بها منحنى آخر.

نقطة تقاطع هذين المنحنيين هي تقريبًا النقطة التي يعمل فيها المروحة فعليًّا.

هذا هو الرقم الذي ينبغي أن تطلبه فرق المشتريات.

وليس الحد الأقصى لـ CFM المطبوع في أعلى ورقة مواصفات المنتج.

توصلت دراسة أجريت على الخوادم والمُدرجة في قاعدة بيانات NSF، والتي ركزت على فوارق الضغط الساكن بين مدخل الهواء ومخرج الهواء، إلى أن الأداء الحراري للخادم، وسلوك التحكم في المروحة، واتجاه تدفق الهواء، واستهلاك المروحة للطاقة، كلها عوامل يمكن أن تتأثر بظروف الضغط المحيطة بالهيكل. بعبارة أخرى، لا يمكن فصل تبريد الخادم تمامًا عن بيئة الضغط المحيطة به.

وتؤكد وزارة الطاقة الأمريكية على نفس النقطة العامة على مستوى مراكز البيانات: فإرشاداتها المتعلقة بتصميم مراكز البيانات الموفرة للطاقة تحذر من أن عوائق تدفق الهواء يمكن أن تقلل من كمية الهواء المتدفق وتساهم في ظهور نقاط الحرارة المرتفعة، في حين أن الإدارة السليمة للهواء تحسّن فعالية التبريد وكثافة الطاقة القابلة للاستخدام.

تفسيري لتصميم هيكل وحدة معالجة الرسومات (GPU) بسيط:

الضغط هو الميزانية.

أنفقها بحكمة.

إنشاء خريطة انخفاض الضغط

سأراجع المسار بالترتيب التالي:

عنصر تدفق الهواءما الذي قد يحدث من مشاكلما الذي يجب التحقق منه
الإطار الأماميكتل معدنية زخرفية في منطقة السحبالمساحة المفتوحة الفعالة
تصفيةتتصاعد الضغوط مع زيادة كميات الغبارانخفاض الضغط في حالة نظيفة ومحملة
قفص المحركتعمل المراوح على تقسيم وتوجيه تدفق الهواءمسارات التدفق بين الحجرات
اللوحة الخلفيةتغطي لوحات الدوائر المطبوعة (PCB) معظم المساحة الأماميةهندسة الثقوب
منطقة الكابلاتتشكل الحزامات سدودًا محليةتوجيه كابلات الإنتاج
جدار المروحةتسمح الفجوات بإعادة تدوير الهواء محليًّاالتغليف والإغلاق
مجموعة وحدات معالجة الرسومات (GPU)الزعانف الكثيفة تتطلب ضغطًااتجاه التدفق في وحدة معالجة الرسومات (GPU) ومقاومتها
منطقة وحدة المعالجة المركزية/ذاكرة DIMMيتلقى هواءً مُسخَّنًا مسبقًا من وحدة معالجة الرسومات (GPU)ترتيب المناطق وأنابيب التهوية
منطقة جامعة ولاية بنسلفانيايتنافس على هواء الهيكلتدفق هواء مستقل أو مشترك
الشبكة الخلفيةمساحة العادم صغيرة جدًّاالمساحة المفتوحة الفعالة
باب الحامل/وحدة توزيع الطاقة (PDU)ارتفاع القيود الخارجيةالتكوين النهائي للحامل

هل لاحظت ما الذي ينقص؟

“عدد المعجبين.”

يتم تحديد عدد المراوح بعد فهم مسار تدفق الهواء.

كيفية تصميم جدار مروحة لهيكل خادم GPU عالي الكثافة

أين يجب وضع جدار المروحة في هيكل خادم وحدة معالجة الرسومات (GPU)؟

بالنسبة للعديد من تصميمات وحدات معالجة الرسومات (GPU) المثبتة على حامل، أُفضّل استخدام جدار من المراوح يتم وضعه بحيث يخلق حاجز ضغط مُحكَم بين قسم السحب الأمامي وقسم الحوسبة عالي الحرارة.

ومن الترتيبات المفاهيمية الشائعة ما يلي:

مدخل الهواء الأمامي → منطقة المحركات أو الصيانة → جدار المروحة → المناطق الحرارية لوحدة معالجة الرسومات (GPU) ووحدة المعالجة المركزية (CPU) → مخرج الهواء الخلفي

لكن هذا ليس صحيحًا بشكل عام.

إذا كانت اللوحة الخلفية لوحدة التخزين الموجودة أمام جدار المراوح تفرض قيودًا شديدة، فيجب أن تقوم المراوح بسحب الهواء عبرها. وإذا كان جدار المراوح يقع في اتجاه التيار قبل مبددات حرارة وحدة معالجة الرسومات (GPU) السلبية شديدة الكثافة، فيجب أن يولد ضغطًا كافيًا في اتجاه التيار المعاكس لإجبار الهواء على المرور عبر تلك الزعانف.

الهندسة هي الفائزة.

دائمًا.

محاذاة المراوح مع مسار تدفق الهواء في وحدة معالجة الرسومات (GPU)

لا تقم ببناء جدار جميل مكون من ستة مراوح لتكتشف بعد ذلك أن مروحتين تغذيّان بشكل أساسي صفائح معدنية فارغة، في حين أن مروحتين أخريين تتوليان تغذية أربع وحدات معالجة رسومات.

قم بتعيين تغطية المروحة على مصادر الحرارة الفعلية.

بالنسبة لكل وضع من أوضاع المروحة، أريد أن أعرف:

  • ما هي وحدة معالجة الرسومات التي تغذيها؟
  • ما هي وحدة المعالجة المركزية (CPU) أو مجموعة شرائح الذاكرة (DIMM) التي تشترك في تدفق الهواء هذا؟
  • ما هي القيود الموجودة مباشرة في المنبع؟
  • ما هي القيود المفروضة في المرحلة اللاحقة؟
  • هل يمكن للمراوح المجاورة أن تعوض عن ذلك في حالة توقفه؟
  • هل توجد فتحة جانبية بجانبها؟
  • هل يمكن للهواء الساخن المتدفق في اتجاه مجرى الهواء أن يعود عبر موضع مروحة معطلة؟

ويكتسب هذا الأمر أهمية خاصة عندما تشغل أبعاد وحدة معالجة الرسومات (GPU) وأقواس التثبيت وكابلات الطاقة PCIe والهياكل الداعمة نفس القناة الهوائية.

قبل تجميد جدار المروحة، تحقق من غلاف المُسرِّع باستخدام القياسات الواردة في دليل أبعاد وحدة معالجة الرسومات (GPU) وتوافقها مع العلب. طول وحدة معالجة الرسومات (GPU) ليس سوى متغير واحد؛ فارتفاع البطاقة، وسماكتها، والمساحة المخصصة لثني كابل الطاقة، وهياكل التثبيت، والمساحة المخصصة للصيانة، كلها عوامل يمكن أن تعيق مسار تدفق الهواء المقصود.

إغلاق جدار المروحة أم التخلي عنه

هذه إحدى تلك التفاصيل التي تبدو تافهة في برنامج CAD.

ليس كذلك.

لنفترض أن جدار المروحة يولد فرقًا في الضغط بين جانبي المدخل والمخرج. وإذا كانت هناك فتحة كبيرة غير محكمة الإغلاق بجانب صينية المروحة، فإن الهواء سيجد الآن مسارًا سهلاً لإعادة التدوير.

الهواء يأخذها.

يمكن للمراوح سحب بعض الهواء من جانب التفريغ الخاص بها عائدًا نحو مدخل الهواء، بدلاً من سحب الهواء النقي عبر فتحات التهوية الأمامية.

لقد دفعت مقابل تدفق الهواء.

لديك دوران دموي.

ولهذا السبب، يجب إحكام إغلاق حواف صواني المروحة بعناية:

  • الحواف الخارجية؛;
  • فترات انقطاع الخدمة؛;
  • فتحات مرور الكابلات؛;
  • مواقع المراوح غير المستخدمة؛;
  • واجهات التوصيل بين الصينية والهيكل؛;
  • الفجوات بين إطارات المراوح؛;
  • الفتحات الموجودة حول الوحدات القابلة للإزالة.

يمكن أن تساعد في ذلك الحشوات الرغوية، وحواف الصفائح المعدنية المشكلة، والقنوات المصبوبة، وألواح القطع، وحاملات المراوح المصممة بشكل سليم.

تقدم دراسة أجريت عام 2023 حول تبريد الجدران باستخدام المراوح، أعدها باحثون مرتبطون بجامعة هيرتفوردشاير، تشبيهًا مفيدًا على نطاق أوسع. ففي التكوين الذي شملته الدراسة، توصل الباحثون إلى حجم هواء مدٍّ أمثل، بدلاً من العلاقة البسيطة التي تقول إن “زيادة تدفق الهواء هي دائمًا أفضل”، وأشار نموذجهم إلى توفير في استهلاك طاقة المراوح يبلغ تقريبًا 34% في ظل ظروف التشغيل المُحسَّنة. وقد تعلقت التجربة بمركز بيانات مزود بجدار من المراوح، وليس بهيكل وحدة معالجة رسومات (GPU) منفرد، لذا لن أقوم بنقل أرقام تدفق الهواء الخاصة بها إلى تصميم الخادم؛ فالأمر المهم هو النقطة الأوسع نطاقًا: يجب تحسين كمية تدفق الهواء واستهلاك الطاقة الخاص بالمراوح معًا.

زيادة سرعة المروحة لا تعني بالضرورة زيادة الكفاءة الحرارية.

المراوح المتوازية، والضغط التسلسلي، والخطأ الذي يرتكبه المشترون

يتم في الجدار النموذجي لمراوح الهيكل تركيب عدة مراوح جنبًا إلى جنب.

تعمل تلك المراوح بشكل عام كـ مصفوفة تدفق الهواء المتوازية. ستحصل على سعة تدفق إجمالية عبر مساحة مقطع عرضي أكبر، لكن لا ينبغي أن تفترض بشكل عشوائي أن قدرة الضغط الساكن تتضاعف مع زيادة عدد المراوح.

هذا أمر مهم.

إن وضع ثمانية مراوح جنبًا إلى جنب لا يجعل كل مروحة قادرة فجأة على التغلب على انخفاض الضغط بمقدار ثمانية أضعاف.

عندما يتطلب الأمر ضغطًا عاليًا جدًّا، قد يلجأ المهندسون إلى تصميمات مراوح الضغط العالي الأعمق، أو التكوينات ذات الدوارين، أو الترتيبات المتدرجة للمراوح. لكن كل خيار من هذه الخيارات ينطوي على استهلاك إضافي للطاقة، ومشاكل صوتية، ومتطلبات تحكم، وتكلفة، وسلوك معين في حالة التعطل.

لا يوجد هواء مجاني.

لا تقارن معدل تدفق الهواء (CFM) للمروحة بأسعار البقالة

تخيل ستة مراوح تبلغ سعتها 200 CFM في الهواء الحر.

تنص جدول بيانات المشتريات على ما يلي:

6 × 200 = 1,200 CFM

سأشطب هذا الرقم.

إذا انخفضت نقطة التشغيل لكل مروحة إلى 120 CFM في ظل القيود الفعلية للهيكل، فإن الرقم النظري الإجمالي يكون قد اقترب بالفعل من 720 CFM، وذلك قبل أخذ عوامل مثل التوزيع غير المتساوي للحمل، والتجاوز الموضعي، وتأثيرات التركيب، وسلوك المروحة المعطلة، وحدود التحكم في الاعتبار.

السؤال الصحيح هو:

ما هو الأداء الذي يقدمه جدار المراوح المُركَّب عند الضغط التقديري للنظام؟

اطلب من مورد المروحة الحصول على منحنى P-Q الكامل.

ثم اختبره في الهيكل.

التصميم من أجل التبريد بنظام “N+1”، وليس «N+1 مروحة»

يقول لي أحد المشترين:

“لدينا ثمانية مراوح، لذا فهي زائدة عن الحاجة.”

لا.

«ثمانية مشجعين» تعني فقط ثمانية مشجعين.

لا تتوفر التكرار إلا إذا ظل النظام ضمن حدوده الحرارية وحدود أدائه بعد حدوث العطل المحدد.

اختبار: تعطل مروحة واحدة

عندما يتوقف المروحة، قد تظهر ثلاث مشكلات على الفور.

أولاً، ينخفض إجمالي تدفق الهواء المتاح.

ثانياً، قد تنتقل المراوح المجاورة إلى نقطة تشغيل أخرى.

ثالثًا، يمكن أن تصبح فتحة المروحة المتوقفة بحد ذاتها مسارًا غير مقصود للهواء.

من السهل أن يفوتك هذا الأمر الأخير.

إذا سمحت ظروف الضغط بحدوث تدفق عكسي عبر المروحة المعطلة، فقد يتدفق جزء من سعة المروحة السليمة عبر المروحة المعطلة بدلاً من المرور عبر مبددات حرارة وحدة معالجة الرسومات (GPU).

تشمل الحلول التصميمية المحتملة ما يلي:

  • الكشف عن أعطال المروحة؛;
  • الزيادة التلقائية لمعدل PWM في المراوح المتبقية؛;
  • مناطق حرارية مستقلة؛;
  • التحكم في تدفق الهواء العكسي عند الاقتضاء؛;
  • أجهزة حجب قابلة للإزالة؛;
  • مساحة احتياطية كافية في نظام التبريد العادي لمواجهة هذا العطل؛;
  • تحديد قدرة وحدة معالجة الرسومات (GPU)؛;
  • تقييد حجم العمل؛;
  • إيقاف التشغيل التلقائي في حالة اختفاء هوامش درجة الحرارة.

لكن لا تطلق على هذا النظام اسم «N+1»، لأن الرسم يوضح وجود مروحة إضافية واحدة.

قم بإجراء الاختبار.

إذا كان الخادم يحتاج إلى تشغيل جميع المراوح على وضع PWM 100% أثناء التشغيل العادي، فلن يتبقى لديه عمليًا أي هامش للتحكم في تدفق الهواء في حالة حدوث عطل.

هذا ليس النوع من التكرار الذي أوافق عليه.

لا تدع وحدة معالجة رسومات (GPU) واحدة تسرق الهواء من وحدة معالجة رسومات (GPU) أخرى

نادرًا ما يكون تبريد خوادم GPU عالية الكثافة متجانسًا عن طريق الصدفة.

يتحرك الهواء وفقًا لاختلافات الضغط.

إذا كانت وحدة معالجة الرسومات (GPU) 1 تتمتع بمسار منخفض المقاومة، في حين تقع وحدة معالجة الرسومات (GPU) 4 خلف حزمة كابلات وبهيكل مبدد حرارة أكثر كثافة، فإن جدار المروحة يمكن أن يزودهما بالهواء بشكل مختلف تمامًا على الرغم من قربهما المادي.

غالبًا ما تكون الإجابة هي تقسيم المناطق.

إنشاء مناطق حرارية

اعتمادًا على التصميم المعماري، قد أقسم تدفق الهواء نظريًّا إلى:

  • منطقة وحدة معالجة الرسومات (GPU) أ؛;
  • منطقة B في وحدة معالجة الرسومات (GPU)؛;
  • منطقة وحدة المعالجة المركزية والذاكرة؛;
  • منطقة التخزين؛;
  • منطقة تزويد الطاقة؛;
  • شبكة أو منطقة PCIe.

ثم أسأل عما إذا كانت كل منطقة تحتاج فعلاً إلى نفس حجم الهواء.

عادةً لا.

يمكنك التعامل مع التوزيع باستخدام:

  • المنتجات؛;
  • الحواجز؛;
  • أختام رغوية؛;
  • ألواح التغطية؛;
  • غرف الضغط؛;
  • موضع المروحة؛;
  • مجموعات PWM مختلفة؛;
  • التغييرات في منطقة التهوية؛;
  • أنماط التثقيب المحلية.

وهذا بالضبط هو السبب في أن دراسة حالة حول حاوية الحوسبة بالذكاء الاصطناعي عالية الكثافة تتعامل مع تخطيط وحدة معالجة الرسومات (GPU)، واستهلاك الطاقة في الحامل، وتدفق الهواء، والدعم الهيكلي، وإمكانية الوصول لأغراض الصيانة، والتحقق من الأداء الحراري، باعتبارها مشكلة هندسية واحدة بدلاً من اعتبارها قرارات شراء مستقلة.

يمكن أن يؤدي وضع المستشعر إلى تحسين مظهر جدار المروحة السيئ

يمكن لمستشعر درجة الحرارة أن «يكذب» دون أن يكون خطأً من الناحية الفنية.

ضع مستشعر المدخل بالقرب من أبرد جزء في اللوحة الأمامية، وقد يُظهر قراءة تبلغ 23 درجة مئوية.

وفي الوقت نفسه، قد يدخل غاز العادم المعاد تدويره إلى جزء آخر من الهيكل عند درجة حرارة 31 درجة مئوية.

ما هي القيمة التي تمثل مدخل وحدة معالجة الرسومات (GPU)؟

ولا أحدهما بمفرده.

بالنسبة لأنظمة GPU عالية الكثافة، أرغب في الحصول على قياسات متعددة لدرجة الحرارة.

على الأقل، ضع في اعتبارك تسجيل ما يلي:

  • درجة حرارة الهواء الداخل من الجهة الأمامية اليسرى؛;
  • درجة حرارة المدخل الأمامي الأوسط؛;
  • درجة حرارة الهواء الداخل من الجانب الأمامي الأيمن؛;
  • بيانات درجة الحرارة عند مدخل وحدة معالجة الرسومات (GPU) أو درجة الحرارة المحلية؛;
  • بيانات القياس عن بُعد الخاصة بنواة وحدة معالجة الرسومات (GPU) وذاكرة HBM، حيثما كانت متوفرة؛;
  • درجة حرارة وحدة المعالجة المركزية؛;
  • درجة حرارة وحدة DIMM، إن توفرت؛;
  • درجة حرارة NVMe؛;
  • درجة حرارة نظام إدارة الوقود (VRM)؛;
  • عدد دورات المروحة في الدقيقة؛;
  • نسبة التشغيل في نظام PWM؛;
  • فرق الضغط حيثما أمكن ذلك؛;
  • درجة حرارة العادم الخلفي؛;
  • حوادث التقييد الحراري.

ثم شاهد أسوأ جهاز, ، وليس الجهاز العادي.

المتوسطات تخفي المشاكل.

إذا كانت سبع وحدات معالجة رسومات تعمل عند درجة حرارة 67 درجة مئوية، بينما تعمل وحدة واحدة عند 88 درجة مئوية، فلا يهمني أن يبدو متوسط درجة حرارة الوحدات الثماني مقبولاً.

أريد أن أعرف لماذا ترتفع درجة حرارة وحدة معالجة الرسومات رقم 8.

تأثير كثافة الطاقة الحديثة لوحدات معالجة الرسومات (GPU) على تصميم جدار المراوح

يتطور منحنى أداء وحدة معالجة الرسومات (GPU) بوتيرة أسرع من العديد من دورات تطوير هياكل أجهزة الكمبيوتر.

تحدد شركة NVIDIA استهلاك الطاقة للبطاقة H100 SXM بما يصل إلى 700 واط، وللبطاقة H200 SXM بما يصل إلى 700 واط. أما شركة AMD فتحدد استهلاك الطاقة الأقصى للبطاقة MI300X بما يصل إلى 750 واط. تشير وثائق NVIDIA الخاصة بـ HGX B200 إلى حد أقصى قابل للتكوين يبلغ 1,000 واط لكل وحدة معالجة رسومات (GPU).

من المفترض أن يغير هذا التطور طريقة تفكيرنا بشأن عمر الهيكل.

قد لا يمتلك جدار المراوح الذي بالكاد يتحمل تكوين المُسرِّع الحالي بقدرة 400 واط ما يكفي من قدرة الضغط، أو الطاقة الكهربائية، أو المساحة المادية، أو هامش التحكم اللازم للتحديث القادم للأجهزة.

وتؤكد الأرقام على مستوى القطاع هذا الاتجاه نفسه. فالتقرير المحدث الصادر عن مختبر بيركلي في يونيو 2026 يقدر أن مراكز البيانات في الولايات المتحدة قد تمثل حوالي 11.81 تيرابايت × 6 تيرابايت من استهلاك الكهرباء في الولايات المتحدة بحلول عام 2030, ، مع سيناريوهات تم وضع نماذج لها تتراوح بين من 9.5% إلى 15.3%. ويستند التقرير إلى بيانات شحن المعدات، ونماذج استهلاك الطاقة لكل جهاز، ومحاكاة أنظمة التبريد، بدلاً من الاكتفاء باستقراء استهلاك الكهرباء التاريخي.

هذا لا يوضح لنا عدد المراوح التي يمكن تركيبها في هيكل 4U.

إنه يخبرنا بأمر أكثر أهمية.

لا تُعد كثافة الحوسبة واحتياجات التبريد مجرد عقبات مؤقتة في التصميم.

إنها قيود معمارية.

متى يجب التوقف عن محاولة فرض التبريد بالهواء

هناك نقطة تصبح عندها إضافة مراوح أسرع صفقة هندسية غير مجدية.

تزداد قوة المشجعين.

تزداد الضوضاء.

قد يتحسن الضغط الساكن.

لكن الزيادة في التدفق المتاحة قد تتباطأ مع ارتفاع مقاومة النظام.

وفي الوقت نفسه، يبدأ الهيكل في فقدان المساحة لصالح وحدات المراوح الأعمق، ومبددات الحرارة الأكبر حجمًا، وممرات الهواء الأوسع، والقنوات، والمسافات اللازمة للصيانة.

تناولت أطروحة في الهندسة الميكانيكية صادرة عام 2026 عن جامعة تكساس في أرلينغتون بشكل خاص مقارنة بين التبريد الهوائي والتبريد السائل المباشر باستخدام مركبة اختبار حرارية صُممت على غرار لوحة أساسية مزودة بثمانية وحدات معالجة رسومات (GPU) من فئة SXM5, ، مع الإشارة إلى التحدي المتزايد الناجم عن الكثافة العالية لطاقة المُسرِّع والطاقة الطفيلية للمروحة.

هذا لا يعني أن كل خادم مزود بوحدة معالجة رسومات (GPU) يجب أن يستخدم التبريد بالسائل.

أرفض هذا الاستنتاج.

لا يزال التبريد الهوائي خيارًا جذابًا لأنه قد يكون أبسط من الناحية الميكانيكية، وسهل الصيانة، ومألوفًا. ولكن هناك حدًا معينًا للكثافة الحرارية يصبح عنده الضغط بشكل أكبر على منحنى المروحة خيارًا أقل منطقية من إعادة النظر في بنية نقل الحرارة.

تفاصيلنا تحليل مقارنة بين التبريد الهوائي والتبريد السائل للأنظمة عالية الطاقة يتناول هذا القرار بمزيد من التفصيل، بما في ذلك قابلية الصيانة، والمضخات، والمبردات، وضغط المروحة، وأنماط الأعطال، وكثافة الحوامل، ومتطلبات الدائرة السائلة.

سير عمل عملي لتصميم جدار المراوح

لو كنت أقوم بمراجعة مشروع جديد لخادم GPU مُركَّب على حامل رف، فهذا هو التسلسل الذي سأتبعه.

1. تجميد إعدادات وحدة معالجة الرسومات (GPU)

لا تكتب:

“8 وحدات معالجة رسومات.”

اكتب رقم القطعة الدقيق، ونطاق الطاقة، وشكل الجهاز، ونوع المبدد الحراري، واتجاه تدفق الهواء، والأبعاد، وطريقة التثبيت، وشكل الموصل.

2. حساب الحمل الحراري المستمر

أضف وحدات معالجة الرسومات (GPU) ووحدات المعالجة المركزية (CPU) والذاكرة ووحدات التخزين والشبكات واستهلاك الطاقة للوحة الأم وفقدان الطاقة الناتج عن التحويل والأحمال الأخرى.

استخدم حجم العمل الذي تتوقعه فعليًّا.

ليست مجرد لقطة شاشة عادية.

3. ضبط الارتفاع المسموح به في درجة الحرارة

حدد مقدار ارتفاع درجة حرارة الهواء الذي ستصمم نظامك بناءً عليه.

ثم احسب متطلبات تدفق الهواء في الممر الأول.

4. تحديد مسار تدفق الهواء

التعادل:

المدخل → المقيّد → جدار المروحة → مصدر الحرارة → المقيّد → المخرج

إذا لم يكن المسار واضحًا على الورق، فلن يصبح واضحًا بطريقة سحرية داخل الصفائح المعدنية.

5. تقدير انخفاض الضغط

أدرج تكوين الإنتاج:

  • الإطار؛;
  • تصفية؛;
  • محركات الأقراص؛;
  • اللوحة الخلفية؛;
  • الكابلات؛;
  • مبددات الحرارة؛;
  • مجموعة وحدات معالجة الرسومات؛;
  • المنتجات؛;
  • اللوحة الخلفية؛;
  • باب الرف.

6. اختيار المعجبين بناءً على منحنياتهم

قارن بين تدفق الهواء المطلوب والضغط الساكن المتاح.

لا توافق على استخدام وحدة قياس التدفق (CFM) في الهواء الطلق.

7. ربط مواقع المشجعين بالمناطق الحرارية

يجب أن يكون لكل مشجع وظيفة.

تعرف على المكونات التي يدعمها.

8. إغلاق مسارات الالتفاف

اجعل المسار المقصود أسهل من المسار غير المرغوب فيه.

9. تصميم سلوك المروحة في حالة التعطل

حدد الإجراء الذي ستتخذه المراوح المتبقية تلقائيًا بعد توقف إحدى المراوح.

10. التحقق من الصحة عند الحد الأقصى لعدد السكان في مرحلة الإنتاج

قم بتثبيت جميع العناصر المطلوبة:

  • وحدات معالجة الرسومات (GPUs)؛;
  • وحدات ذاكرة DIMM؛;
  • محركات الأقراص؛;
  • أجهزة PCIe؛;
  • كابلات الكهرباء؛;
  • اللوحات الخلفية؛;
  • الشركات المملوكة للدولة؛;
  • واقيات المروحة؛;
  • المرشحات؛;
  • ألواح الهيكل.

لا توجد أغطية مفتوحة.

لا توجد كابلات مفقودة.

لا، “سنقوم باختبار وحدة معالجة الرسومات الثامنة لاحقًا”.”

11. إعادة إنشاء قيود الحامل

أضف باب رف الإنتاج، والكابلات الخلفية، وتداخل وحدة توزيع الطاقة (PDU)، وهندسة القضبان، وظروف المدخل الواقعية.

الخادم الذي لا يجتاز الاختبار إلا بعد إزالة «الباب الخلفي» لم يجتز اختبار النشر الفعلي.

12. تشغيل أحمال العمل المستمرة

اجعل النظام في حالة توازن حراري.

انتبه إلى تشبع المروحة، وتقييد أداء وحدة معالجة الرسومات (GPU)، واختلال درجة الحرارة، وبطء امتصاص الحرارة.

ثم قم بإزالة مروحة واحدة.

والآن يبدأ الاختبار المثير للاهتمام.

ما سأدرجه في طلب عرض الأسعار الخاص بالهيكل

إذا كنت تطلب من شركة تصنيع هياكل الخوادم تصميم جدار مروحة، فلا تكتب:

“يلزم توفير نظام تبريد عالي الأداء.”

تلك العبارة لا تكاد تحمل أي قيمة هندسية.

حدد:

بيانات طلب عرض الأسعارما يجب تقديمه
تكوين وحدة معالجة الرسومات (GPU)الطراز الدقيق، العدد، الشكل، الطاقة
تكوين وحدة المعالجة المركزيةالطراز الدقيق والطاقة المستمرة
الحمل الإجمالي للنظامالقدرة المقدرة بالواط المستمر
شكل الهيكل2U، 4U، 5U، 6U، إلخ.
اتجاه تدفق الهواءمن الأمام إلى الخلف ما لم تنص بنية النظام على خلاف ذلك
شروط المدخلنطاق درجات الحرارة والارتفاع
تكرار المراوحالحالة العادية ومتطلبات المروحة المعطلة
حد وحدة معالجة الرسومات (GPU)أقصى درجة حرارة مقبولة/سلوك التحكم في السرعة
التحكم في المروحةPWM، مقياس سرعة الدوران، الاستجابة للأعطال
تصفيةنعم/لا والتحميل المتوقع
قيود الرفالافتراضات المتعلقة بالأبواب ووحدات توزيع الطاقة (PDU) وتنظيم الكابلات
الضوضاءالهدف الأقصى، إن وجد
نموذج الخدمةمتطلبات المروحة القابلة للتبديل أثناء التشغيل
التحقق من الصحةحجم العمل، ومدة الاختبار، ومواقع أجهزة الاستشعار

إذا لم تكن هذه المعلومات قد تم تحديدها بعد، فإن دليل شامل لطلبات عروض الأسعار الخاصة بالهيكل المخصص يقدم المعطيات الأساسية الشاملة المتعلقة بالجوانب الميكانيكية والمواد والتفاوتات المسموح بها والمكونات والجودة والإنتاج، والتي يجب تسويتها قبل أن يصبح عرض الأسعار المقدم من المورد ذا مغزى.

معيار تصميم حائط المراوح الذي سأستخدمه فعليًّا

لن أوافق على استخدام هيكل خادم مزود بوحدة معالجة رسومات (GPU) للأسباب التالية:

  • يحتوي على ثمانية مراوح؛;
  • المراوح “عالية السرعة”؛;
  • تشير ورقة البيانات إلى 1,500 CFM؛;
  • بدت درجة حرارة وحدة معالجة الرسومات (GPU) طبيعية لمدة خمس دقائق؛;
  • كان الهيكل يعمل مع إزالة الغطاء؛;
  • بدت لقطة شاشة لبرنامج CFD زرقاء اللون؛;
  • يقول المورد إن عملاءً مشابهين يستخدمون نفس المراوح.

سأوافق على ذلك عندما تثبت الأدلة ما يلي:

  1. بعد فهم الحمل الحراري الفعلي؛;
  2. يتم حساب تدفق الهواء؛;
  3. يتم تقدير مقاومة النظام أو قياسها؛;
  4. تعمل المراوح عند نقطة مناسبة على منحنياتها؛;
  5. يتم التحكم في تدفق الهواء الجانبي؛;
  6. تتلقى مناطق وحدة معالجة الرسومات (GPU) التدفق المناسب؛;
  7. وقد تم أخذ تكوين حامل الإنتاج في الاعتبار؛;
  8. يحتفظ المشجعون بهامش تحكم قابل للاستخدام؛;
  9. أن يتحمل الخادم حالة تعطل المروحة المحددة؛;
  10. يؤكد اختبار الحمل المستمر حدود درجة الحرارة والأداء.

هذا هو تصميم حائط المعجبين.

أما الباقي فهو تركيب المروحة.

الأسئلة الشائعة

ما المقصود بـ«جدار المراوح» في هيكل خادم وحدة معالجة الرسومات (GPU)؟

A جدار مراوح خادم وحدة معالجة الرسومات (GPU) هو مجموعة منظمة من المراوح المحورية أو مراوح الضغط العالي، يتم وضعها عبر مسار تدفق الهواء داخل الهيكل لتوليد تدفق الهواء والضغط الساكن اللازمين لنقل هواء التبريد عبر وحدات معالجة الرسومات (GPU) ووحدات المعالجة المركزية (CPU) والذاكرة ووحدات التخزين واللوحات الخلفية والكابلات ومبددات الحرارة ومنافذ العادم، مع الحفاظ في الوقت نفسه على توزيع حراري متحكم فيه من الأمام إلى الخلف.

على عكس مراوح الحالات المنفصلة، يجب تصميم جدار المراوح بحيث يشكل حاجزًا ضغطيًّا. ويعتمد أدائه على منحنيات المروحة، وعمليات الإحكام، ومقاومة الهيكل، والتقسيم الحراري، ومنطق التحكم، وسلوك المروحة في حالة تعطلها.

كم عدد المراوح التي يحتاجها خادم GPU عالي الكثافة؟

يعتمد عدد المراوح المطلوبة في خادم GPU عالي الكثافة على إجمالي الحمل الحراري المستمر، والارتفاع المسموح به في درجة الحرارة من مدخل الهواء إلى مخرج الهواء، وانخفاض الضغط في الهيكل، ومنحنيات أداء كل مروحة على حدة، ومقاومة تدفق الهواء في وحدة معالجة الرسومات (GPU)، ومتطلبات التكرار، والظروف المحيطة، وتدفق الهواء الذي يجب أن يظل متاحًا بعد وقوع حالة تعطل المروحة المحددة.

وبالتالي، لا توجد إجابة عامة موثوقة مثل “ثمانية وحدات معالجة رسومات تتطلب ثمانية مراوح”. احسب تدفق الهواء أولاً، ثم قم بتقدير المقاومة، وبعد ذلك اختر عدد المراوح وشكلها بحيث يلبي كلا الشرطين.

أين ينبغي وضع جدار المراوح في هيكل خادم GPU؟

ينبغي وضع جدار مراوح خادم وحدة معالجة الرسومات (GPU) في مكان يتيح له إحداث فرق ضغط محكوم عبر المناطق الحرارية ذات المقاومة الأعلى، مع توزيع الهواء بالتساوي على المسرعات ووحدات المعالجة المركزية (CPU) والذاكرة والمكونات الأخرى؛ ويُحدد موقع هذا الجدار بناءً على فتحة السحب في اللوحة الأمامية، وتصميم وحدة التخزين، وقيود اللوحة الخلفية، واتجاه مبدد حرارة وحدة معالجة الرسومات (GPU)، وهندسة فتحات العادم، ومتطلبات الصيانة.

يُعد تركيب المراوح في منتصف الهيكل أمرًا شائعًا، لكن الموقع الأمثل يعتمد على الشكل الهندسي للنظام. والموضع الصحيح هو الذي يوفر تدفقًا هوائيًا مفيدًا عبر المكونات بدلاً من حولها.

ما هو مقدار تدفق الهواء الذي يحتاجه خادم مزود بـ 8 وحدات معالجة رسومات (GPU)؟

قد يتطلب الخادم المزود بثمانية وحدات معالجة رسومات (GPU) ما يقارب مئات إلى ما يزيد بكثير عن ألف CFM، اعتمادًا على الطاقة الإجمالية للنظام والارتفاع المقبول في درجة حرارة الهواء؛ على سبيل المثال، يتطلب نظام مبسط مبرد بالهواء بقدرة 7,000 واط حوالي 821 CFM نظريًا عند ارتفاع درجة الحرارة بمقدار 15 درجة مئوية، وحوالي 1,232 CFM عند ارتفاع درجة الحرارة بمقدار 10 درجات مئوية.

تُعد هذه القيم نقاط انطلاق للتوازن الحراري، وليست مواصفات للمروحة. ويجب أن تأخذ السعة الفعلية للمروحة والجدار في الاعتبار انخفاض الضغط، وتوزيع تدفق الهواء، والارتفاع عن سطح البحر، والمرشحات، ومقاومة المكونات، وتكرار المروحة، ونقطة التشغيل الفعلية على منحنى المروحة.

لماذا يُعد الضغط الساكن عاملاً مهمًا في تبريد خوادم وحدة معالجة الرسومات (GPU)؟

الضغط الساكن هو قدرة جدار المروحة على الحفاظ على تدفق الهواء رغم المقاومة الناتجة عن مبددات حرارة وحدات معالجة الرسومات (GPU) الكثيفة، واللوحات الخلفية لوحدات التخزين، والمرشحات، والشبكات، والكابلات، والقنوات، وفتحات الهيكل، وهياكل الحوامل، مما يجعله مؤشرًا أكثر فائدة من معدل التدفق الأقصى (CFM) في الهواء الحر عند تقييم المراوح المخصصة لهيكل خادم GPU مكتظ بالوحدات.

يمكن لمروحتين تتمتعان بنفس الحد الأقصى لتدفق الهواء أن تؤديا أداءً مختلفًا تمامًا داخل نفس العلبة. يجب دائمًا تقييم منحنى P-Q مقارنةً بمقاومة النظام المقدرة أو المقاسة.

هل التبريد الهوائي كافٍ لهيكل خادم مزود بوحدات معالجة رسومات (GPU) عالية الكثافة؟

يمكن أن يدعم التبريد الهوائي خوادم GPU عالية الكثافة عندما يوفر الهيكل مقطعًا عرضيًا كافيًا لتدفق الهواء، وضغطًا ثابتًا، وتجاوزًا متحكمًا فيه، وظروف مدخل مقبولة، والهامش الحراري، وتكرار المراوح؛ لكن الطاقة المتزايدة للمسرعات قد تؤدي في النهاية إلى جعل استهلاك المراوح للطاقة، والضوضاء، وحجم المبدد الحراري، وفقدان الضغط، وكثافة الرفوف، أو درجات حرارة المكونات أمورًا غير عملية بالنسبة لتصميم يعتمد على التبريد الهوائي فقط.

يجب أن يستند القرار إلى الحسابات الحرارية والاختبارات المستمرة. لا تختر التبريد السائل لمجرد أنه يبدو أكثر تطوراً، ولا تفرض التبريد الهوائي بعد أن تُظهر بيانات الضغط ودرجة الحرارة أن هامش العمل العملي قد نفد.

قم ببناء «جدار المعجبين» حول نظام GPU الحقيقي

لا ينبغي أبدًا أن يكون جدار المروحة هو أول مكون للتبريد يتم اختياره.

لنبدأ بوحدات معالجة الرسومات (GPU).

أضف وحدات المعالجة المركزية (CPU) والذاكرة ووحدات التخزين واللوحات الخلفية وبنية وحدة تزويد الطاقة (PSU) ومسار الكابلات وقيود الحامل وحجم العمل المتوقع. احسب الحرارة. حدد الارتفاع المسموح به في درجة الحرارة. قم بتقدير فقدان الضغط. ثم اختر مراوح قادرة على توفير تدفق الهواء المطلوب عند ضغط التشغيل الفعلي.

واختبر المروحة المعطلة.

إذا كنت تعمل على تطوير هيكل خادم GPU عالي الكثافة بحجم 4U أو 5U أو 6U, ، يرجى إرسال الطرازات الدقيقة لوحدات معالجة الرسومات (GPU)، ورسم اللوحة الأم، وتكوين الطاقة، وتخطيط وحدة التخزين، وعمق الحامل، واتجاه تدفق الهواء المستهدف، والطاقة المتوقعة للنظام إلى فريق هندسة الهيكل قبل تثبيت مجموعة المراوح.

استكشف الخيارات المتاحة منصات هياكل خوادم وحدات معالجة الرسومات (GPU) والذكاء الاصطناعي (AI) أو اطلب تصميمًا مخصصًا لتدفق الهواء وتوزيع المراوح على الحائط بناءً على أجهزة الإنتاج الخاصة بك، بدلاً من الاعتماد على هدف عام لقياس التدفق بالقدم المكعب في الدقيقة (CFM).

صورة لطراز Mark Lee - Founder & Server Chassis OEM/ODM Specialist
مارك لي - مؤسس ومتخصص في تصنيع هياكل الخوادم (OEM/ODM)

مارك لي هو مؤسس شركة ISTONECASE، ويتمتع بخبرة تمتد إلى 20 عامًا في صناعة هياكل الخوادم. وهو متخصص في حلول OEM/ODM الخاصة بوحدات معالجة الرسومات (GPU) والذكاء الاصطناعي (AI)، بالإضافة إلى الهياكل المخصصة للتركيب على الرفوف، والهياكل الصناعية، والهياكل المثبتة على الحائط، وأجهزة التخزين الشبكية (NAS)، وهياكل Mini-ITX، والهياكل متعددة العقد. وتساهم خبرته في دعم مشاريع الأجهزة المخصصة لمراكز البيانات، وحوسبة الذكاء الاصطناعي، وتخزين البيانات المؤسسية، والحوسبة الطرفية، والشبكات، والتطبيقات الصناعية.