El hardware de IA ha cambiado el significado del término “alta densidad”.”
Hace unos años, un proyecto de carcasa para servidores solía comenzar por las dimensiones de la placa base, las bahías para unidades, las ranuras PCIe, el formato de la fuente de alimentación y la altura del rack. Esos datos siguen siendo importantes. Pero un proyecto de computación con IA añade otra capa de dificultad: múltiples aceleradores de alta potencia concentrados en un volumen reducido, una demanda de corriente muy elevada, tarjetas pesadas, mazos de cables densos, disipadores térmicos restrictivos, redes de alta velocidad y hardware de refrigeración que compiten por los mismos milímetros de espacio.
Eso cambia por completo el trabajo.
La cuestión ya no es simplemente:, “¿Podemos instalar ocho GPU en este chasis?”
Una pregunta más adecuada sería:
“¿Podemos instalar todo el sistema en este chasis y mantenerlo en funcionamiento con una carga de trabajo constante sin que surjan problemas térmicos, eléctricos, estructurales o de mantenimiento?”
Esa es la filosofía de diseño que subyace a un auténtico Chasis de servidor de IA a medida.
Las plataformas actuales de IA a escala de rack ponen de manifiesto por qué hay que prestar más atención al diseño de los armarios.
La arquitectura de referencia GB300 NVL72 de NVIDIA integra 72 GPU Blackwell Ultra y 36 CPU Grace. NVIDIA afirma que el rack cuenta con refrigeración líquida, utiliza ocho módulos de alimentación de 33 kW y puede requerir hasta 142 kW para un rack completo.
Esa no es la densidad habitual en una sala de servidores.
En la documentación independiente de NVIDIA sobre la gestión de la alimentación de Mission Control se indica que la potencia nominal del rack es de 120 kW para el modelo GB200 NVL72 y 135 kW para el modelo GB300 NVL72, con presupuestos máximos de potencia por nodo de aproximadamente 6,7 kW y 7,5 kW, respectivamente. Estas cifras se presentan en el contexto de la gestión del presupuesto de potencia, por lo que no deben considerarse intercambiables con todas las especificaciones máximas de los racks, pero ilustran la misma realidad técnica: la computación moderna basada en IA puede generar una potencia enorme en un espacio físico muy reducido.
| Punto de referencia | Figura publicada | Qué implica esto para el diseño de las carcasas |
|---|---|---|
| NVIDIA GB300 NVL72 | 72 GPU + 36 CPU Grace | Una configuración extremadamente densa de recursos informáticos, redes, alimentación eléctrica y conductos de refrigeración |
| Requisitos para el rack completo del GB300 NVL72 | Hasta 142 kW | La arquitectura térmica y energética no puede ser una cuestión secundaria |
| Potencia de la estantería diseñada para GB300 en el ejemplo de NVIDIA PRS | 135 kW | La distribución de la alimentación y el margen deben tenerse en cuenta a nivel del sistema |
| Potencia máxima del nodo GB300 en el ejemplo de PRS | 7,5 kW | Las bandejas informáticas individuales pueden soportar una carga térmica considerable |
| Crecimiento acelerado del consumo eléctrico de los servidores, según la AIE | ~30% al año en el escenario base | Es probable que la computación acelerada de alta densidad se generalice |
La tendencia general apunta en la misma dirección. El análisis «Energía e IA» de la Agencia Internacional de la Energía prevé que el consumo eléctrico mundial de los centros de datos alcance aproximadamente 945 TWh para 2030 en su escenario base. Se prevé que el consumo eléctrico de los servidores acelerados, impulsado principalmente por la adopción de la IA, crezca aproximadamente 30% al año, frente a los aproximadamente 9% de los servidores convencionales.
Para los diseñadores de carcasas y los compradores de fabricantes de equipo original (OEM), eso es importante.
Un hardware más potente implica un mayor número de proyectos en los que la densidad de potencia, la carga de la GPU, la capacidad de refrigeración, la gestión del cableado y el acceso para el mantenimiento se convierten en requisitos mecánicos de primer orden.
Una de las formas más rápidas de hacer fracasar un proyecto de carcasa a medida es empezar a trabajar con CAD antes de que la arquitectura informática esté estabilizada.
No lo hagas.
Antes de fijar la geometría del chasis, el equipo de ingeniería debe conocer la carga de trabajo prevista y los principales componentes que se espera que incorpore el sistema.
Como mínimo, bloquea:
En Carcasa para servidor de IA debería diseñarse en torno a este conjunto. Cambiar una parte más adelante puede provocar una reacción en cadena que afecte al resto del diseño.
¿Cambiar la GPU?
La ubicación del conector puede variar.
¿Cambiar la fuente de alimentación?
Cambia el haz de cables.
¿Añadir otra tarjeta de red?
Ahora cambia la geometría del tubo ascendente.
¿Aumentar el grosor del ventilador?
De repente, el cable de alimentación de la GPU ya no tiene ningún sitio donde doblarse cómodamente.
Los milímetros se acumulan rápidamente.
Esto parece obvio, pero provoca errores que salen caros.
El hecho de que una GPU quepa dentro del chasis no significa que funcione dentro del mismo.
A la hora de evaluar un Chasis de servidor GPU, debemos ir más allá de las dimensiones nominales de la tarjeta y comprobar el espacio real disponible para su instalación.
Esto incluye el cuerpo de la tarjeta, el disipador térmico, el conector de alimentación, el radio de curvatura del conector, el espacio libre adyacente a la tarjeta, la posición de la ranura en la placa base, los elementos de sujeción, la ubicación del adaptador, la pared del ventilador, el cableado y la dirección en la que el técnico debe extraer la tarjeta.
Los aceleradores pesados plantean otro problema: la gravedad.
Las tarjetas largas pueden ejercer una presión considerable sobre la conexión PCIe y la zona de montaje trasera. Las vibraciones durante el transporte agravan aún más esta situación. Una GPU que resiste el funcionamiento en reposo en una mesa de laboratorio puede comportarse de forma muy diferente tras un transporte internacional, la instalación en un rack, ciclos de mantenimiento repetidos o las vibraciones provocadas por los ventiladores de alta velocidad.
En el caso de los sistemas compactos, el sistema de sujeción de la GPU debería formar parte de la estructura del chasis, y no ser un accesorio del que alguien se acuerda dos días antes del envío.
Al calor no le importa lo bien que se vea el dibujo CAD.
Un servidor de alta densidad puede ser mecánicamente perfecto y, desde el punto de vista térmico, un desastre.
En los sistemas refrigerados por aire, el chasis debe contar con un recorrido de presión bien definido. El aire debe entrar por donde lo espera el hardware, atravesar los componentes de alta resistencia y salir de la carcasa sin circular repetidamente por las zonas calientes.
Parece sencillo.
No lo es.
Los cables estorban. Las jaulas para discos duros estorban. Las carcasas de las fuentes de alimentación estorban. Los módulos DIMM altos, los risers, las vigas estructurales, los soportes de los radiadores, los conectores, los filtros, las placas base e incluso las bridas de chapa mal colocadas pueden reducir la presión en la trayectoria del flujo de aire.
A Rack de IA de alta densidad Por lo tanto, no se puede diseñar basándose únicamente en el recuento de las posiciones de los ventiladores.
“Seis aficionados” no me dice casi nada.
Quiero saber las dimensiones de los ventiladores, sus curvas de rendimiento, la presión estática, la resistencia, la temperatura de entrada, el recorrido del aire de salida, la estrategia de control, la impedancia de los componentes y qué ocurre cuando se detiene uno de los ventiladores.
Son preguntas útiles.
| Factor de diseño | Refrigeración por aire | Refrigeración líquida |
|---|---|---|
| Complejidad mecánica | Baja | Más alto |
| Dependencia del flujo de aire del chasis | Muy alta | Reducido para componentes refrigerados por líquido |
| Integración de instalaciones | Normalmente, más sencillo | Puede ser necesario disponer de una unidad de control de agua (CDU), un colector, mangueras y una conexión al suministro de agua de la instalación. |
| Requisito relativo a la gestión de fugas | Sin circuito de refrigeración | Sí |
| Procedimientos de servicio | Algo que la mayoría de los técnicos conocen bien | Requiere procedimientos de mantenimiento que tengan en cuenta el líquido refrigerante |
| Idoneidad a medida que aumenta la densidad térmica | Cada vez más difícil | A menudo resulta más práctico |
| Concurso de diseño de espacios interiores | Ventiladores y conductos | Placas de refrigeración, tubos, colectores, conectores |
| Planificación ante fallos | Redundancia de los ventiladores y pérdida de flujo de aire | Escenarios relacionados con bombas, unidades de condensación (CDU), fugas, caudal y circuitos de las instalaciones |
Mudarse a un Chasis de servidor refrigerado por líquido No elimina el trabajo de diseño mecánico. Lo transforma.
Ahora, el trazado de las mangueras es importante.
La facilidad de acceso mediante desconexión rápida es importante.
La detección de fugas es importante.
El radio mínimo de curvatura es importante.
La posición de los colectores es importante.
El técnico necesita espacio suficiente para desconectar y volver a conectar un bucle sin tener que retirar componentes que no estén relacionados ni mojar los componentes electrónicos.
La propia arquitectura GB300 NVL72 de NVIDIA utiliza sistemas de detección de fugas tanto a nivel de rack como de bandeja, además de refrigeración líquida, lo que nos recuerda que la gestión del líquido refrigerante forma parte de la arquitectura del sistema y no es simplemente una placa de refrigeración atornillada a una GPU.
La distribución de energía suele considerarse un tema relacionado con la electricidad.
Dentro de un recinto cerrado, también se trata en gran medida de una cuestión mecánica.
Una potencia de alta intensidad implica conectores más grandes, más cables, restricciones de curvatura más estrictas, consideraciones adicionales sobre las barras colectoras, temperaturas más elevadas en los conectores y menos libertad para tender el cableado por el espacio que quede una vez instalados los componentes “importantes”.
La arquitectura energética necesita un territorio físico.
Resérvalo.
Un chasis diseñado para albergar varios aceleradores puede necesitar fuentes de alimentación redundantes, distribución de alta intensidad, conectores accesibles, separación segura de los cables, flujo de aire alrededor de la zona de las fuentes de alimentación y espacio suficiente para sustituir un módulo averiado sin tener que desmontar el servidor.
Aquí es donde un Chasis de servidor de alta densidad pueden surgir problemas incluso cuando, sobre el papel, la lista de componentes parece perfectamente compatible.
Todo encaja.
Nada funciona.
Hace poco, mientras revisaba los debates del sector, me topé con un hilo antiguo de r/sysadmin sobre la refrigeración de racks de alta densidad que me llamó la atención.
El autor del mensaje original contaba con varios sistemas NVIDIA DGX, además de equipos de almacenamiento, y estaba estudiando cómo acomodar entre 30 y 40 kW aproximadamente en un solo rack. Uno de los participantes describió que los armarios funcionaban a una potencia de hasta unos 36 kW y señaló que el margen en caso de fallo del sistema de refrigeración podía ser extremadamente reducido: unos 20 segundos antes de que se produjera el apagado térmico en muchos sistemas de esa implementación concreta. Otros ingenieros del hilo plantearon repetidamente las mismas preocupaciones: la disponibilidad de refrigeración, la potencia de la instalación, el apagado de emergencia, las instalaciones de fontanería, los conocimientos de mantenimiento y los riesgos que conlleva concentrar tanto calor en un solo armario.
Esa conversación me llamó la atención porque, a veces, los compradores inician un proyecto de IA a medida con una pregunta muy tentadora:
¿Cuánta potencia de cálculo podemos aprovechar en este espacio?
La primera pregunta no es correcta.
La mejor opción es:
¿Qué capacidad de cálculo puede soportar esta carcasa de forma continua, segura y con un buen rendimiento en las condiciones reales de la instalación?
Un chasis puede tener un aspecto fantástico en la pantalla del CAD. Todos los componentes encajan. Todas las unidades de rack están ocupadas.
Y entonces empieza el ajetreo.
Rampa para aficionados.
Aumentan las temperaturas de los cables.
El aire de salida de la GPU entra en contacto con otra fuente de calor.
Un componente limita el caudal.
Un técnico intenta extraer una tarjeta y descubre que tres cables y un colector se lo impiden.
Eso no es ingeniería de alta densidad.
Eso es un embalaje de alta densidad.
Hay una diferencia.
La densidad máxima de componentes suele ser un objetivo de diseño poco adecuado para una carcasa de IA a medida.
Sí, lo he dicho.
“Ocho GPU en 4U” queda muy bien en una tabla comparativa.
“Máxima potencia de cálculo por unidad de rack” queda muy bien en una presentación sobre adquisiciones.
Pero una GPU más no sirve de nada si su incorporación provoca un flujo de aire deficiente, una limitación térmica, conectores inaccesibles, una sobrecarga en el suministro eléctrico, dificultades para las reparaciones in situ o un margen nulo cuando las condiciones del entorno se alejan de las hipótesis perfectas de laboratorio.
El recinto ganador no es necesariamente el más pequeño.
En muchos proyectos, prefiero construir una carcasa un poco más grande con un flujo de aire predecible, un soporte sólido para la tarjeta gráfica, una distribución de alimentación ordenada, un tendido lógico de los cables, ventiladores accesibles y espacio suficiente para que los técnicos puedan trabajar, antes que ganar un concurso de densidad que haga que el sistema final sea un auténtico calvario a la hora de manejarlo.
El mejor armario de alta densidad es aquel que puede soportar la carga de trabajo.
No es el que gana la partida de Tetris.
Haz una pregunta sencilla durante la revisión del CAD:
¿Qué es lo primero que falla y cómo lo sustituimos?
A continuación, simula físicamente la respuesta.
¿Puede el técnico sustituir un ventilador sin desmontar las GPU?
¿Se puede sacar la fuente de alimentación por la parte trasera?
¿Se puede acceder a una tarjeta de red sin tener que mover las mangueras de refrigeración?
¿Se puede extraer una GPU en vertical u horizontal sin desconectar cables que no estén relacionados con ella?
¿Se puede realizar el mantenimiento del panel frontal sin tener que desmontar el servidor por completo?
¿Se puede acceder rápidamente a un racor que gotea?
¿Se puede sustituir una unidad de arranque averiada sin tocar la sección de procesamiento?
Estas preguntas no son nada glamurosas.
Ahorran dinero.
Para un integrador de sistemas que monta 50, 100 o 500 máquinas, unos pocos minutos adicionales de tiempo de servicio por unidad se convierten en un coste operativo real. Una secuencia de acceso inadecuada también aumenta la probabilidad de que los técnicos dañen cables, conectores, tarjetas o tubos cercanos mientras reparan algo que no tiene relación con el problema.
Por eso, un Caja de montaje en rack a medida debe diseñarse no solo para su montaje, sino también para su desmontaje.
Los ingenieros de producción lo construyen una sola vez.
Tu cliente podrá mantenerlo en buen estado durante años.
Los servidores de IA consumen mucha energía.
A veces, extremadamente pesado.
El chasis debe soportar esa carga durante el montaje, el transporte, la instalación en el rack, el funcionamiento normal y el mantenimiento. Las tarjetas GPU largas, las fuentes de alimentación múltiples, las placas base de gran tamaño, los disipadores de calor de cobre, los radiadores, los colectores y los sistemas de almacenamiento de alta densidad pueden desplazar el centro de gravedad.
Compruébalo:
Una llave puede parecer insignificante si se considera por sí sola.
Multiplica esa mínima desviación a lo largo de una tarjeta larga y pesada, añádele las vibraciones del transporte y, a continuación, repítelo en todo un lote de producción.
Ahora sí que importa.
Un prototipo no es solo una pieza de metal que sirve para comprobar si los orificios de los tornillos coinciden.
Úsalo sin dudar.
Instala la placa base definitiva.
Instala las GPU propiamente dichas.
Utiliza cables de alimentación equivalentes a los de producción.
Instala los mismos soportes, unidades, adaptadores de red, ventiladores, radiadores, tubos, fuentes de alimentación, rieles y conjuntos del panel frontal que se espera que tenga el servidor una vez montado.
A continuación, comprueba las condiciones adversas.
Comprueba la instalación de los componentes, la sujeción de las tarjetas, el tendido de los cables, el acceso a los conectores, la rigidez del chasis, el encaje de los rieles, el ajuste de la tapa y la secuencia de mantenimiento.
Ejecuta cargas de trabajo representativas. Mide las temperaturas de entrada y salida, las temperaturas de los componentes, el comportamiento de los ventiladores, las zonas calientes y el rendimiento en las condiciones ambientales previstas.
Comprueba la carga de la fuente de alimentación, el comportamiento de la redundancia, las temperaturas de los cables y de los conectores, la distribución de la alimentación y el comportamiento durante el arranque.
¿Qué pasa cuando se para un ventilador?
¿Qué ocurre cuando se produce un problema en una bomba de refrigerante o en un circuito de la instalación?
¿Qué ocurre si falla una fuente de alimentación?
¿Qué ocurre si un filtro se obstruye parcialmente?
¿Qué ocurre cuando aumenta la temperatura ambiente?
Un equipo que supera una prueba térmica pero que llega con las GPU desplazadas dentro del chasis sigue siendo un diseño fallido.
Comprueba el embalaje, la estabilidad, la resistencia a las vibraciones, los soportes, los elementos de fijación y el soporte para componentes pesados antes del envío en serie.
Una solicitud de presupuesto poco clara da lugar a suposiciones.
Las suposiciones dan lugar a revisiones.
Las revisiones llevan tiempo.
Para un proyecto de chasis de IA a medida, envía al proveedor información suficiente para que pueda evaluar la arquitectura completa del sistema, en lugar de solicitar un presupuesto para una carcasa metálica vacía.
Un dossier de solicitud de presupuesto útil debería incluir:
| Datos de la solicitud de presupuesto | Información que debe facilitarse |
|---|---|
| Factor de forma | Altura, anchura y profundidad del objetivo U |
| Placa base | Modelo, dimensiones, planos, puntos de montaje |
| GPU | Modelo exacto, cantidad, dimensiones, anchura de la ranura, potencia |
| CPU | Plataforma, cantidad, nevera |
| Memoria | Requisitos de configuración y espacio libre del módulo DIMM |
| Almacenamiento | Tipo de unidad, cantidad, necesidad de intercambio en caliente |
| Red | Modelo y cantidad de NIC/DPU |
| PCIe | Plano de ranuras, elevadores, interruptores, requisitos de bifurcación |
| Potencia | Tipo de fuente de alimentación, redundancia, potencia total prevista |
| Refrigeración | Aire/líquido, especificaciones del ventilador, requisitos del radiador y del colector |
| E/S | Requisitos relativos a los puertos delanteros y traseros |
| Estructura | Fijación de la GPU, asas, rieles, refuerzos |
| Servicio | Componentes que requieren un acceso rápido o sin herramientas |
| Marca | Logotipo, color, serigrafía, etiquetas |
| Producción | Cantidad de prototipos, volumen anual, calendario previsto |
| Mercado | Países de destino y requisitos de cumplimiento |
Cuanto más completa sea la información introducida, antes se podrán detectar los conflictos mecánicos.
Detectar una interferencia de 12 mm en el CAD no cuesta mucho.
Encontrarlo tras las fases de diseño de utillaje, fabricación, montaje y envío internacional no lo es.
Los sistemas de IA de alta densidad obligan a que la ingeniería mecánica, térmica, eléctrica y de instalaciones se integren en un único dispositivo.
Por eso, un Chasis de servidor de IA a medida Nunca debería determinarse únicamente en función de la altura del rack y el número de GPU.
Empieza por la lista completa de materiales.
Simula el calor.
Deja espacio para la alimentación eléctrica.
Compatibilidad con las GPU.
Planifica el recorrido de los cables.
Decide la arquitectura de refrigeración desde el principio.
Diseña el acceso de forma que se pueda acceder a las piezas que más probablemente necesiten mantenimiento.
A continuación, crea un prototipo del sistema real, no de una carcasa vacía.
La densidad de cálculo de la IA seguirá aumentando. Las previsiones de la AIE sobre el consumo eléctrico de los servidores acelerados y las actuales arquitecturas de racks de más de 100 kW ya apuntan en esa dirección.
Los fabricantes e integradores de sistemas que sepan gestionar bien esa densidad no serán aquellos que se limiten a fabricar cajas más pequeñas.
Serán ellos quienes entiendan lo que tiene que pasar dentro de esas cajas cuando la carga de trabajo alcance los 100%.
Respuesta breve: Un chasis de servidor de IA a medida es una carcasa diseñada en función de una combinación específica de GPU, CPU, placa base, almacenamiento, redes, alimentación, refrigeración y requisitos de montaje en rack.
A diferencia de una carcasa de servidor genérica, su distribución interna puede optimizarse en cuanto a la disposición de los aceleradores, el soporte estructural, el flujo de aire, la refrigeración líquida, el tendido de cables, la alimentación redundante y el acceso para el mantenimiento.
Respuesta breve: Un chasis de servidor de alta densidad permite alojar una gran cantidad de hardware de procesamiento, almacenamiento o aceleradores en un espacio limitado del rack, al tiempo que garantiza un suministro eléctrico, una refrigeración, un soporte estructural y un acceso para el mantenimiento adecuados.
La densidad debe evaluarse en función del rendimiento sostenido útil, y no únicamente por el número de componentes.
Respuesta breve: No. Un chasis más pequeño puede mejorar la densidad del rack, pero los de 5U o 6U pueden ofrecer una mejor capacidad de refrigeración, mayor espacio entre las GPU, un mejor tendido de cables, más posibilidades de ampliación y un mejor acceso para el mantenimiento.
El formato adecuado depende del tipo de GPU, la potencia, la estrategia de refrigeración, la disposición de la placa base y los requisitos operativos.
Respuesta breve: La refrigeración líquida resulta una opción atractiva cuando la densidad térmica, la potencia de los aceleradores, la densidad de los racks, los límites de ruido o las restricciones en el flujo de aire hacen que la refrigeración por aire convencional resulte difícil de gestionar de forma eficiente.
La decisión también debe tener en cuenta el suministro de agua de la instalación, los requisitos de la unidad de condensación (CDU), los colectores, la gestión de fugas, los procedimientos de mantenimiento y la redundancia.
Respuesta breve: Indica la GPU, la placa base, la CPU, la fuente de alimentación, el almacenamiento, la red, el PCIe, la refrigeración, las dimensiones del rack, las E/S, los requisitos de raíles, el volumen de producción y el mercado objetivo.
Los planos detallados de los componentes son mucho más útiles que las descripciones genéricas como “servidor de IA con 8 GPU”.”
Respuesta breve: Las GPU pesadas pueden ejercer una tensión mecánica sobre las ranuras PCIe, los soportes y las estructuras del chasis durante su funcionamiento, transporte y mantenimiento.
Una sujeción adecuada controla el movimiento de la tarjeta, distribuye la carga mecánica y reduce el riesgo de que se produzcan daños en el conector o en la placa.
Respuesta breve: Normalmente no. El objetivo más adecuado es la mayor densidad de cálculo práctica que permita mantener el rendimiento térmico, un suministro de energía fiable, la estabilidad estructural y un acceso aceptable para el mantenimiento.
Una GPU adicional no aporta ningún valor si el sistema resultante se ralentiza o resulta difícil de mantener.
Mark Lee es el fundador de ISTONECASE y cuenta con 20 años de experiencia en el sector de los chasis para servidores. Está especializado en soluciones OEM/ODM para chasis de GPU e IA, de montaje en rack, industriales, de montaje en pared, NAS, Mini-ITX y multinodo. Su experiencia respalda proyectos de hardware a medida para centros de datos, computación de IA, almacenamiento empresarial, computación periférica, redes y aplicaciones industriales.
Comentarios
