Maßgeschneiderter Hochdichte-Schrank für ein KI-Rechenprojekt

Das Wichtigste auf einen Blick

  • Ein KI-Gehäuse mit hoher Dichte sollte auf die gesamte Architektur aus GPU, CPU, Hauptplatine, Netzteil, Netzwerk, Speicher und Kühlung ausgelegt sein – und nicht nur auf die Rack-Einheiten.
  • NVIDIA dokumentiert aktuelle KI-Plattformen im Rack-Maßstab mit einem Strombedarf von deutlich über 100 kW und zeigt damit, wie weit die KI-Infrastruktur die herkömmlichen Annahmen zur Serverdichte mittlerweile hinter sich gelassen hat.
  • Der Abstand zur GPU ist nur die erste mechanische Überprüfung. Der Abstand zwischen den Grafikkarten, die Befestigung, der Biegeradius der Kabel, die Stromanschlüsse, der Luftströmungswiderstand und der Wartungszugang sind ebenso wichtig.
  • Die Kühlungsarchitektur sollte festgelegt werden, bevor die interne Anordnung im Gehäuse endgültig festgelegt wird.
  • Eine maximale GPU-Dichte ist nicht automatisch gleichbedeutend mit guter Technik. Ein etwas größeres Gehäuse kann eine bessere dauerhafte Rechenleistung bieten und die Wartung vor Ort erheblich vereinfachen.
  • Bei den Prototypentests sollten vor Beginn der Serienproduktion realistische Wärmebelastungen, das Verhalten der Lüfter, die Kabelführung, das Gewicht der GPU, die Konfiguration des Netzteils sowie die zu erwartenden Wartungsabläufe nachgestellt werden.

KI-Hardware hat die Bedeutung des Begriffs “hohe Dichte” verändert.”

Vor einigen Jahren begann ein Projekt zur Entwicklung eines Servergehäuses vielleicht mit den Abmessungen des Motherboards, den Laufwerksschächten, den PCIe-Steckplätzen, dem Format des Netzteils und der Rackhöhe. Diese Faktoren spielen nach wie vor eine Rolle. Ein KI-Computing-Projekt bringt jedoch eine weitere Schwierigkeitsebene mit sich: mehrere leistungsstarke Beschleuniger auf engstem Raum, sehr hoher Strombedarf, schwere Karten, dichte Kabelbündel, platzsparende Kühlkörper, schnelle Netzwerkverbindungen und Kühlkomponenten, die um jeden Millimeter Platz konkurrieren.

Das verändert die Arbeit völlig.

Die Frage lautet nicht mehr einfach nur:, “Können wir acht GPUs in dieses Gehäuse einbauen?”

Eine bessere Frage lautet:

“Können wir das gesamte System in dieses Gehäuse einbauen und es unter Dauerlast betreiben, ohne dass dabei thermische, elektrische, konstruktive oder wartungstechnische Probleme auftreten?”

Das ist die Designphilosophie, die hinter einem ernstzunehmenden Maßgeschneidertes AI-Servergehäuse.

Die Rack-Dichte im KI-Bereich hat eine neue Dimension erreicht

Aktuelle Rack-Scale-KI-Plattformen zeigen, warum der Gehäusebau mehr Beachtung verdient.

Die Referenzarchitektur GB300 NVL72 von NVIDIA umfasst 72 Blackwell-Ultra-GPUs und 36 Grace-CPUs. Laut NVIDIA ist das Rack flüssigkeitsgekühlt, verfügt über acht 33-kW-Stromversorgungsmodule und benötigt möglicherweise bis zu 142 kW für ein voll bestücktes Rack.

Das ist keine gewöhnliche Serverraumdichte.

In der separaten Dokumentation zu Mission Control von NVIDIA zur Energieverwaltung wird die Nennleistung im Rack mit 120 kW für den GB200 NVL72 und 135 kW für den GB300 NVL72, mit maximalen Knoten-Leistungsbudgets von etwa 6,7 kW bzw. 7,5 kW. Diese Zahlen werden im Zusammenhang mit der Leistungsbudgetierung angegeben und sollten daher nicht als austauschbar mit jeder maximalen Rack-Spezifikation betrachtet werden; sie veranschaulichen jedoch dieselbe technische Realität: Moderne KI-Rechenleistung kann bei sehr geringem Platzbedarf eine enorme Leistung erbringen.

BezugspunktVeröffentlichte AbbildungWas dies für die Konstruktion von Gehäusen bedeutet
NVIDIA GB300 NVL7272 GPUs + 36 Grace-CPUsExtrem dichte Anordnung von Rechenleistung, Netzwerkkomponenten, Stromversorgung und Kühlmittelleitungen
Anforderungen für das GB300 NVL72 im Vollrack-BetriebBis zu 142 kWDie Wärme- und Leistungsarchitektur darf nicht erst im Nachhinein berücksichtigt werden
Auslegungsleistung des GB300-Racks im NVIDIA-PRS-Beispiel135 kWDie Stromverteilung und die Reserve müssen auf Systemebene berücksichtigt werden
GB300 – Maximale Knotenleistung im PRS-Beispiel7,5 kWEinzelne Recheneinheiten können eine erhebliche thermische Belastung aufnehmen
IEA: Beschleunigtes Wachstum des Stromverbrauchs durch Server~30% jährlich im BasisszenarioBeschleunigtes Rechnen mit hoher Dichte dürfte sich zunehmend durchsetzen

Der allgemeine Trend geht in dieselbe Richtung. Die Analyse „Energy and AI“ der Internationalen Energieagentur prognostiziert, dass der weltweite Stromverbrauch von Rechenzentren etwa 945 TWh bis 2030 im Basisszenario. Der Stromverbrauch durch beschleunigte Server, der hauptsächlich durch den Einsatz von KI getrieben wird, wird voraussichtlich um etwa 30% pro Jahr, im Vergleich zu etwa 9% bei herkömmlichen Servern.

Für Gehäusedesigner und OEM-Einkäufer ist das von Bedeutung.

Leistungsstärkere Hardware bedeutet, dass es immer mehr Projekte gibt, bei denen Leistungsdichte, GPU-Auslastung, Kühlleistung, Kabelmanagement und Wartungszugang zu mechanischen Anforderungen erster Ordnung werden.

Maßgeschneiderter Hochdichte-Schrank für ein KI-Rechenprojekt

Beginnen Sie mit der Belastung, nicht mit dem Blech

Eine der schnellsten Möglichkeiten, ein Projekt für ein maßgeschneidertes Gehäuse zum Scheitern zu bringen, besteht darin, mit der CAD-Arbeit zu beginnen, bevor die Rechnerarchitektur feststeht.

Tu das nicht.

Bevor die Fahrwerksgeometrie festgelegt wird, sollte das Ingenieurteam die geplante Auslastung und die wichtigsten Komponenten kennen, die voraussichtlich im System zum Einsatz kommen werden.

Sicherstellen, dass mindestens Folgendes gesperrt ist:

  • GPU-Modell und Anzahl
  • Abmessungen der GPU und Steckplatzbreite
  • Position des GPU-Stromanschlusses
  • Modell und Zeichnung der Hauptplatine
  • CPU-Plattform und Geometrie des Kühlers
  • DIMM-Höhe und Sperrbereiche
  • PCIe-Riser oder Switching-Architektur
  • NVMe und Speicheranforderungen
  • Netzwerkadapter und Verbindungselemente
  • Typ, Anzahl und Redundanz der Netzteile
  • Maximale erwartete Systemleistung
  • Lüftergröße, Dicke, Druckanforderung und Regelverfahren
  • Luft- oder Flüssigkeitskühlung
  • Anforderungen an Kühler, Verteiler, CDU oder Schläuche, sofern zutreffend
  • E/A-Anschlüsse vorne und hinten
  • Regaltiefe
  • Schienenanordnung
  • Wartungshinweise
  • Angestrebte Produktionsmenge

Eine AI-Servergehäuse sollte auf dieses Gesamtpaket abgestimmt werden. Eine spätere Änderung eines Teils kann eine Kettenreaktion im restlichen Entwurf auslösen.

Die GPU austauschen?

Die Position des Steckers kann sich verschieben.

Das Netzteil austauschen?

Das Kabelbündel ändert sich.

Eine weitere Netzwerkkarte hinzufügen?

Nun ändert sich die Geometrie des Steigrohrs.

Die Dicke des Lüfters erhöhen?

Plötzlich lässt sich das Stromkabel der GPU nirgendwo mehr bequem biegen.

Millimeter summieren sich schnell.

Die GPU-Passform ist mehr als nur Länge × Höhe × Breite

Das klingt zwar selbstverständlich, führt aber zu kostspieligen Fehlern.

Dass eine GPU in das Gehäuse passt, bedeutet noch nicht, dass sie dort auch funktioniert.

Bei der Bewertung eines GPU-Server-Gehäuse, müssen wir über die Nennmaße der Karte hinausblicken und den tatsächlichen Einbauraum prüfen.

Dazu gehören der Kartenkörper, der Kühlkörper, der Stromanschluss, der Biegeradius des Steckers, der Abstand zu benachbarten Karten, die Position des Steckplatzes auf der Hauptplatine, die Befestigungselemente, die Position des Riser-Kabels, die Lüfterwand, die Verkabelung sowie die Richtung, in die ein Techniker die Karte herausziehen muss.

Schwere Beschleuniger werfen ein weiteres Problem auf: die Schwerkraft.

Lange Grafikkarten können erhebliche Belastungen auf die PCIe-Verbindung und den hinteren Befestigungsbereich ausüben. Transportvibrationen verschlimmern dies noch. Eine Grafikkarte, die den stationären Betrieb auf einem Labortisch übersteht, kann sich nach einem internationalen Transport, dem Einbau in ein Rack, wiederholten Wartungszyklen oder Vibrationen durch Hochgeschwindigkeitslüfter ganz anders verhalten.

Bei kompakten Systemen sollte die GPU-Halterung fester Bestandteil der Gehäusekonstruktion sein – und nicht nur ein Zubehörteil, an das man sich erst zwei Tage vor dem Versand erinnert.

Die Kühlarchitektur sollte frühzeitig festgelegt werden

Der Hitze ist es egal, wie gut die CAD-Zeichnung aussieht.

Ein Server mit hoher Packdichte kann mechanisch einwandfrei, thermisch jedoch katastrophal sein.

Bei luftgekühlten Systemen muss das Gehäuse über einen gezielt angelegten Druckweg verfügen. Die Luft sollte dort einströmen, wo die Hardware dies erwartet, durch die Komponenten mit hohem Luftwiderstand strömen und das Gehäuse verlassen, ohne wiederholt durch heiße Bereiche zu zirkulieren.

Das klingt einfach.

Das ist es nicht.

Kabel sind im Weg. Laufwerkskäfige sind im Weg. Netzteilgehäuse sind im Weg. Hohe DIMMs, Riser-Karten, Tragträger, Kühlkörperhalterungen, Anschlüsse, Filter, Backplanes und sogar ungünstig angeordnete Blechflansche können den Luftstrom behindern.

A KI-Rack mit hoher Dichte kann daher nicht allein anhand der Anzahl der Lüfterpositionen ausgelegt werden.

“Sechs Fans” sagt mir so gut wie nichts.

Ich möchte die Abmessungen der Ventilatoren, die Ventilatorkennlinien, den statischen Druck, den Druckverlust, die Einlasstemperatur, den Abluftweg, die Regelungsstrategie, die Impedanz der Komponenten sowie die Auswirkungen eines Ausfalls eines Ventilators erfahren.

Das sind wichtige Fragen.

Luftkühlung vs. Flüssigkeitskühlung

GestaltungsfaktorLuftkühlungFlüssigkeitskühlung
Mechanische KomplexitätUnterHöher
Abhängigkeit des Luftstroms vom FahrgestellSehr hochReduziert für flüssigkeitsgekühlte Komponenten
AnlagenintegrationMeistens einfacherMöglicherweise sind CDU, Verteiler, Schläuche und ein Wasseranschluss an der Anlage erforderlich
Anforderung an das LeckagemanagementKein KühlkreislaufJa
ServiceabläufeDen meisten Technikern bekanntErfordert Wartungsverfahren, die die Kühlmittelmenge berücksichtigen
Eignung bei steigender WärmedichteImmer schwierigerOft praktischer
Wettbewerb für InnenraumgestaltungVentilatoren und LuftkanäleKühlplatten, Rohrleitungen, Verteiler, Verbindungsstücke
AusfallplanungLüfterredundanz und LuftstrombenachteiligungSzenarien zu Pumpen, CDU, Leckagen, Durchfluss und Anlagenkreisläufen

Umzug nach einem Flüssigkeitsgekühltes Servergehäuse Das bedeutet nicht, dass die Arbeit im Bereich der mechanischen Konstruktion wegfällt. Es verändert lediglich die Art der Arbeit.

Jetzt kommt es auf die Verlegung der Schläuche an.

Ein schneller Zugang ist wichtig.

Die Lecksuche ist wichtig.

Der Mindestbiegeradius spielt eine Rolle.

Die Lage der Verteiler ist entscheidend.

Der Techniker benötigt ausreichend Platz, um eine Schleife zu trennen und wieder anzuschließen, ohne dass dabei nicht betroffene Hardwarekomponenten entfernt oder elektronische Bauteile nass werden.

Die GB300-NVL72-Architektur von NVIDIA nutzt neben der Flüssigkeitskühlung auch eine Leckageerkennung auf Rack- und Tray-Ebene – was deutlich macht, dass das Kühlmittelmanagement Teil der Systemarchitektur ist und nicht lediglich aus einer an die GPU angeschraubten Kühlplatte besteht.

Die Leistungsdichte beeinflusst die mechanische Auslegung

Die Stromverteilung wird oft als Thema der Elektrotechnik behandelt.

In einem dicht geschlossenen Raum ist dies zudem in hohem Maße ein mechanisches Thema.

Eine hohe Stromaufnahme bedeutet größere Steckverbinder, mehr Kabel, strengere Biegevorschriften, zusätzliche Überlegungen hinsichtlich der Sammelschienen, höhere Temperaturen an den Steckverbindern und weniger Spielraum bei der Verlegung der Kabel in dem Raum, der nach dem Einbau der “wichtigen” Komponenten noch übrig bleibt.

Die Energieinfrastruktur benötigt physischen Raum.

Reservieren Sie es.

Ein Chassis, das für den Einsatz mehrerer Beschleuniger ausgelegt ist, benötigt möglicherweise redundante Stromversorgungen, eine Hochstromverteilung, gut zugängliche Anschlüsse, eine sichere Kabeltrennung, eine ausreichende Luftzirkulation im Bereich der Netzteile sowie ausreichend Platz, um ein ausgefallenes Modul auszutauschen, ohne den Server auseinanderbauen zu müssen.

Dies ist der Ort, an dem ein Servergehäuse mit hoher Dichte Es kann zu Problemen kommen, selbst wenn die Komponentenliste auf dem Papier vollkommen kompatibel erscheint.

Alles passt.

Nichts ist funktionsfähig.

Maßgeschneiderter Hochdichte-Schrank für ein KI-Rechenprojekt

Die Geschichte des 30–40-kW-Racks, die meine Sichtweise auf die Dichte verändert hat

Als ich mir kürzlich Diskussionen aus der Branche ansah, stieß ich auf einen älteren Thread im r/sysadmin-Forum zum Thema Kühlung von Racks mit hoher Dichte, der mir im Gedächtnis geblieben ist.

Der Verfasser des ursprünglichen Beitrags verfügte über mehrere NVIDIA-DGX-Systeme sowie Speichergeräte und suchte nach einer Möglichkeit, etwa 30–40 kW in einem Rack unterzubringen. Ein Teilnehmer beschrieb den Betrieb von Schränken mit einer Leistung von bis zu etwa 36 kW und erklärte, dass die Sicherheitsmarge bei einem Ausfall der Kühlung extrem gering sein könnte – bei vielen Systemen in dieser speziellen Konfiguration würden nur etwa 20 Sekunden verbleiben, bevor es zu einer thermischen Abschaltung käme. Andere Ingenieure in diesem Thread äußerten wiederholt dieselben Bedenken: Verfügbarkeit der Kühlung, Stromversorgung der Anlage, Notabschaltung, Rohrleitungen, Wartungskompetenz sowie die Risiken, die durch die Konzentration so großer Wärmemengen in einem einzigen Schrank entstehen.

Diese Diskussion hat meine Aufmerksamkeit geweckt, weil Käufer ein maßgeschneidertes KI-Projekt manchmal mit einer verlockenden Frage beginnen:

Wie viel Rechenleistung können wir in diesen Raum unterbringen?

Die erste Frage ist falsch.

Die bessere Variante lautet:

Wie viel Rechenleistung kann dieses Gehäuse unter den tatsächlichen Betriebsbedingungen kontinuierlich, sicher und wartungsfreundlich bewältigen?

Ein Gehäuse kann auf einem CAD-Bildschirm fantastisch aussehen. Alle Komponenten passen zusammen. Jede Rack-Einheit ist belegt.

Dann geht die Arbeit los.

Ventilatorrampe.

Die Kabeltemperaturen steigen.

Die Abluft der GPU kollidiert mit einer anderen Wärmequelle.

Ein Bauteil drosselt.

Ein Techniker versucht, eine Karte zu entfernen, und stellt fest, dass drei Kabel und ein Verteiler diese blockieren.

Das ist keine Technik mit hoher Dichte.

Das ist eine hochverdichtete Verpackung.

Es gibt einen Unterschied.

Und hier kommt der Teil, den viele Käufer nicht gerne hören

Eine maximale Bauteilbelegung ist oft ein schlechtes Konstruktionsziel für ein maßgeschneidertes KI-Gehäuse.

Ja, das habe ich gesagt.

“Acht GPUs in 4U” macht sich in einer Vergleichstabelle wirklich gut.

“Maximale Rechenleistung pro Rack-Einheit” macht sich in einer Beschaffungspräsentation hervorragend.

Eine zusätzliche GPU ist jedoch wertlos, wenn ihr Einbau zu einem schlechten Luftstrom, thermischer Drosselung, unzugänglichen Anschlüssen, einer überlasteten Stromversorgung, schwierigen Reparaturen vor Ort oder einer Nullmarge führt, sobald die Raumbedingungen von den idealen Laborannahmen abweichen.

Das siegreiche Gehege ist nicht automatisch das kleinste.

Bei vielen Projekten würde ich lieber ein etwas größeres Gehäuse bauen, das eine vorhersehbare Luftzirkulation, eine solide GPU-Unterstützung, eine saubere Stromverteilung, eine logische Kabelführung, leicht zugängliche Lüfter und genügend Platz für Techniker bietet, als einen Wettbewerb um die höchste Packdichte zu gewinnen, der die Bedienung des fertigen Systems zur Qual macht.

Das beste Gehäuse mit hoher Packungsdichte ist dasjenige, das der Arbeitslast standhält.

Nicht der, der das Tetris-Spiel gewinnt.

Die Wartungsfreundlichkeit muss bereits bei der Konstruktion berücksichtigt werden

Stellen Sie während der CAD-Prüfung eine einfache Frage:

Was fällt zuerst aus, und wie ersetzen wir es?

Simuliere dann die Antwort physikalisch.

Kann der Techniker einen Lüfter austauschen, ohne die GPUs auszubauen?

Lässt sich das Netzteil von hinten herausnehmen?

Kann man auf einen Netzwerkadapter zugreifen, ohne die Kühlmittelschläuche zu stören?

Kann eine GPU vertikal oder horizontal ausgebaut werden, ohne dass nicht dazu gehörende Kabel abgezogen werden müssen?

Kann die Frontblende gewartet werden, ohne den gesamten Server auszubauen?

Lässt sich eine undichte Armatur schnell erreichen?

Kann ein defektes Boot-Laufwerk ausgetauscht werden, ohne den Rechenbereich zu berühren?

Diese Fragen sind nicht besonders glamourös.

Sie sparen Geld.

Für einen Systemintegrator, der 50, 100 oder 500 Maschinen baut, bedeuten ein paar zusätzliche Minuten Wartungszeit pro Einheit echte Betriebskosten. Eine ungünstige Zugangsreihenfolge erhöht zudem das Risiko, dass Techniker bei der Behebung eines anderen Problems in der Nähe befindliche Kabel, Steckverbinder, Karten oder Schläuche beschädigen.

Deshalb ist ein Maßgefertigtes Rack-Gehäuse sollte nicht nur für die Montage, sondern auch für die Demontage ausgelegt sein.

Produktionsingenieure bauen es einmal.

Ihr Kunde wird es möglicherweise jahrelang nutzen.

Je größer die GPUs werden, desto wichtiger wird die Strukturplanung

KI-Server sind sehr ressourcenintensiv.

Manchmal extrem schwer.

Das Gehäuse muss diese Belastung während der Montage, des Transports, des Einbaus in das Rack, des normalen Betriebs und der Wartung aushalten. Lange GPU-Karten, mehrere Netzteile, große Hauptplatinen, Kupferkühlkörper, Kühler, Verteiler und hochverdichtete Speichersysteme können den Schwerpunkt verlagern.

Prüfen:

  • Blechdicke
  • Biegegeometrie
  • Lokale Verstärkung
  • GPU-Halterungen
  • Unterstützung für Netzteile
  • Befestigungspunkte an der Schiene
  • Lasten handhaben
  • Einsetzkräfte für Rack-Einbaueinheiten
  • Durchhang des Fahrwerks
  • Torsionssteifigkeit
  • Versandausrichtung
  • Sturz- und Vibrationsrisiken

Eine Klammer mag für sich genommen unbedeutend erscheinen.

Multiplizieren Sie diese winzige Verformung mit einer langen, schweren Karte, berücksichtigen Sie die Vibrationen beim Transport und wiederholen Sie diesen Vorgang für eine gesamte Produktionscharge.

Jetzt kommt es darauf an.

Prototypentests sollten darauf abzielen, Ihre Annahmen zu widerlegen

Ein Prototyp ist nicht nur ein Metallmuster, mit dem geprüft wird, ob die Schraubenlöcher übereinstimmen.

Setzen Sie es offensiv ein.

Setzen Sie das eigentliche Motherboard ein.

Installieren Sie die eigentlichen GPUs.

Verwenden Sie Stromkabel in Serienqualität.

Installieren Sie dieselben Steigleitungen, Laufwerke, Netzwerkkarten, Lüfter, Kühlkörper, Schläuche, Netzteile, Schienen und Frontblenden, die auch im fertigen Server vorgesehen sind.

Testen Sie dann die ungünstigen Bedingungen.

Mechanische Validierung

Überprüfen Sie den Einbau der Komponenten, den festen Sitz der Karten, die Kabelführung, den Zugang zu den Steckverbindern, die Steifigkeit des Gehäuses, den festen Sitz der Schienen, den festen Sitz des Deckels und die Wartungsreihenfolge.

Thermische Validierung

Führen Sie repräsentative Lastabläufe durch. Messen Sie Einlass- und Auslasstemperaturen, Bauteiletemperaturen, das Verhalten der Lüfter, Heißzonen sowie die Leistung unter den zu erwartenden Umgebungsbedingungen.

Leistungsvalidierung

Überprüfen Sie die Auslastung der Netzteile, das Redundanzverhalten, die Kabeltemperaturen, die Steckertemperaturen, die Stromverteilung und das Startverhalten.

Fehlerüberprüfung

Was passiert, wenn ein Ventilator ausfällt?

Was passiert, wenn eine Kühlmittelpumpe oder ein Anlagenstromkreis eine Störung aufweist?

Was passiert, wenn ein Netzteil ausfällt?

Was passiert, wenn ein Filter teilweise verstopft ist?

Was passiert, wenn die Umgebungstemperatur steigt?

Versandüberprüfung

Ein Gerät, das zwar einen Thermaltest besteht, bei dessen Auslieferung jedoch die GPUs im Gehäuse verschoben sind, ist dennoch ein Konstruktionsfehler.

Prüfen Sie vor dem Serienversand die Verpackung, die Haltbarkeit, die Vibrationsfestigkeit, die Halterungen, die Befestigungselemente und die Stützen für schwere Bauteile.

Was sollte die Angebotsanfrage enthalten?

Eine unzureichende Angebotsanfrage führt zu Annahmen.

Annahmen führen zu Korrekturen.

Überarbeitungen kosten Zeit.

Bei einem maßgeschneiderten AI-Gehäuse-Projekt sollten Sie dem Lieferanten ausreichende Informationen zur Verfügung stellen, damit dieser die gesamte Systemarchitektur bewerten kann, anstatt nur ein Angebot für ein leeres Metallgehäuse abzugeben.

Ein aussagekräftiges Ausschreibungspaket sollte Folgendes enthalten:

Angaben zur AngebotsanfrageAnzugebende Informationen
FormfaktorZielmaße: Höhe, Breite, Tiefe
HauptplatineModell, Abmessungen, Zeichnungen, Einbaustellen
GPUGenaues Modell, Stückzahl, Abmessungen, Schlitzbreite, Leistung
CPUPlattform, Menge, Kühlbox
SpeicherAnforderungen an die DIMM-Konfiguration und den Freiraum
LagerungLaufwerkstyp, Anzahl, Hot-Swap-Anforderung
VernetzungNIC/DPU-Modell und Stückzahl
PCIeSchlitzplan, Steigleitungen, Schalter, Anforderungen an Abzweigungen
StromNetzteiltyp, Redundanz, Gesamtzielleistung
KühlungLuft/Flüssigkeit, Lüfterdaten, Anforderungen an Kühler/Verteiler
E/AAnforderungen an die Anschlüsse vorne und hinten
AufbauGPU-Halterung, Griffe, Schienen, Verstärkung
DienstBauteile, die einen werkzeuglosen oder schnellen Zugriff erfordern
BrandingLogo, Farbe, Siebdruck, Etiketten
ProduktionPrototypenmenge, Jahresvolumen, Zielzeitplan
MarktZielländer und Compliance-Anforderungen

Je vollständiger die Eingaben sind, desto früher lassen sich mechanische Konflikte erkennen.

Eine 12-mm-Interferenz im CAD zu finden, ist kostengünstig.

Es ist jedoch nicht einfach, es nach der Werkzeugfertigung, der Fertigung, der Montage und dem internationalen Versand zu finden.

Orientieren Sie sich an der nachhaltigen Rechenleistung, nicht an der Dichte

KI-Systeme mit hoher Dichte erfordern, dass Maschinenbau, Wärmetechnik, Elektrotechnik und Gebäudetechnik in einem einzigen Gehäuse vereint werden.

Deshalb ist ein Maßgeschneidertes AI-Servergehäuse sollte niemals allein anhand der Rackhöhe und der Anzahl der GPUs festgelegt werden.

Beginnen Sie mit der vollständigen Stückliste.

Modellieren Sie die Wärme.

Platz für die Stromversorgung vorsehen.

Unterstützen Sie die GPUs.

Planen Sie die Kabelverlegung.

Legen Sie die Kühlarchitektur frühzeitig fest.

Die Zugänglichkeit sollte so gestaltet werden, dass die Teile, die am ehesten gewartet werden müssen, leicht erreichbar sind.

Erstellen Sie dann einen Prototyp des eigentlichen Systems – nicht nur ein leeres Gehäuse.

Die Rechenleistung im Bereich der KI wird weiter steigen. Die Prognosen der IEA zum Stromverbrauch von Hochleistungsservern und die heutigen Rack-Architekturen mit einer Leistung von über 100 kW deuten bereits in diese Richtung.

Die Hersteller und Systemintegratoren, die mit dieser Dichte gut zurechtkommen, werden nicht diejenigen sein, die einfach nur kleinere Geräte bauen.

Sie werden diejenigen sein, die verstehen, was geschehen muss in diesen Boxen, wenn die Auslastung 100% erreicht.

FAQs

Was ist ein maßgeschneidertes KI-Servergehäuse?

Kurze Antwort: Ein maßgeschneidertes KI-Servergehäuse ist ein Gehäuse, das speziell auf eine bestimmte Kombination aus GPUs, CPUs, Hauptplatine, Speicher, Netzwerkkomponenten, Stromversorgung, Kühlung und Rack-Anforderungen ausgelegt ist.

Im Gegensatz zu einem herkömmlichen Servergehäuse lässt sich dessen Innenaufbau hinsichtlich des Abstands zwischen den Beschleunigern, der strukturellen Stabilität, der Luftzirkulation, der Flüssigkeitskühlung, der Kabelführung, der redundanten Stromversorgung und des Wartungszugangs optimieren.

Was macht ein Servergehäuse zu einem “High-Density”-Gehäuse?

Kurze Antwort: Ein Servergehäuse mit hoher Packungsdichte bietet Platz für eine große Menge an Rechen-, Speicher- oder Beschleunigerhardware auf begrenztem Rackplatz und gewährleistet gleichzeitig eine ausreichende Stromversorgung, Kühlung, strukturelle Stabilität und Wartungszugänglichkeit.

Die Dichte sollte anhand der nutzbaren Dauerleistung bewertet werden, nicht allein anhand der Anzahl der Komponenten.

Ist 4U für GPU-Server immer besser als 5U oder 6U?

Kurze Antwort: Nein. Ein kleineres Gehäuse kann zwar die Rack-Dichte erhöhen, doch bieten 5U- oder 6U-Gehäuse möglicherweise bessere Kühlleistung, mehr Platz zwischen den GPUs, eine bessere Kabelführung, bessere Erweiterungsmöglichkeiten und einen besseren Wartungszugang.

Der richtige Formfaktor hängt vom GPU-Typ, der Leistung, der Kühlungsstrategie, dem Layout des Mainboards und den Betriebsanforderungen ab.

Wann sollte ein KI-Server eine Flüssigkeitskühlung verwenden?

Kurze Antwort: Flüssigkeitskühlung wird dann interessant, wenn die Wärmedichte, die Leistung der Beschleuniger, die Rack-Dichte, Lärmgrenzwerte oder Einschränkungen beim Luftstrom eine effiziente herkömmliche Luftkühlung erschweren.

Bei der Entscheidung müssen außerdem der Wasserverbrauch der Anlage, die Anforderungen an die CDU, Verteiler, das Leckagemanagement, Wartungsverfahren und Redundanz berücksichtigt werden.

Welche Informationen benötigt ein Gehäusehersteller, bevor er ein KI-Gehäuse entwirft?

Kurze Antwort: Geben Sie folgende Angaben an: GPU, Hauptplatine, CPU, Netzteil, Speicher, Netzwerk, PCIe, Kühlung, Rack-Abmessungen, E/A, Anforderungen an die Stromschienen, Produktionsvolumen und Zielmarkt.

Genaue Bauteilzeichnungen sind weitaus nützlicher als allgemeine Angaben wie “8-GPU-KI-Server”.”

Warum ist die GPU-Bindung in einem Server mit hoher Dichte wichtig?

Kurze Antwort: Leistungsstarke GPUs können während des Betriebs, des Transports und der Wartung mechanische Belastungen auf PCIe-Steckplätze, Halterungen und Gehäusestrukturen ausüben.

Eine ordnungsgemäße Befestigung regelt die Bewegung der Karte, verteilt die mechanische Belastung und verringert das Risiko einer Beschädigung des Steckverbinders oder der Leiterplatte.

Sollte die maximale Anzahl an GPUs das Hauptziel bei der Entwicklung sein?

Kurze Antwort: In der Regel nicht. Das bessere Ziel ist die höchstmögliche Rechendichte, bei der die thermische Leistung, eine zuverlässige Stromversorgung, die strukturelle Stabilität und ein akzeptabler Wartungszugang gewährleistet bleiben.

Eine zusätzliche GPU bringt keinen Nutzen, wenn das daraus resultierende System gedrosselt wird oder sich nur schwer warten lässt.

Bild von Mark Lee - Founder & Server Chassis OEM/ODM Specialist
Mark Lee – Gründer und Spezialist für Servergehäuse (OEM/ODM)

Mark Lee ist der Gründer von ISTONECASE und verfügt über 20 Jahre Erfahrung in der Servergehäuse-Branche. Er ist spezialisiert auf OEM-/ODM-Lösungen für GPU- und KI-Gehäuse, Rackmount-, Industrie-, Wandmontage-, NAS-, Mini-ITX- und Multi-Node-Gehäuse. Mit seinem Fachwissen unterstützt er maßgeschneiderte Hardwareprojekte für Rechenzentren, KI-Computing, Unternehmensspeicher, Edge-Computing, Netzwerke und industrielle Anwendungen.