O hardware de IA alterou o significado da expressão “alta densidade”.”
Há alguns anos, um projeto de caixa para servidor poderia começar pelas dimensões da placa-mãe, compartimentos para unidades, ranhuras PCIe, formato da fonte de alimentação e altura do rack. Esses fatores continuam a ser importantes. Mas um projeto de computação com IA acrescenta mais um nível de dificuldade: vários aceleradores de alta potência concentrados num volume reduzido, uma procura de corrente muito elevada, placas pesadas, feixes de cabos densos, dissipadores de calor restritivos, redes de alta velocidade e hardware de refrigeração a disputar os mesmos milímetros de espaço.
Isso muda completamente o trabalho.
A questão já não é simplesmente:, “Será que conseguimos encaixar oito GPUs neste chassis?”
Uma pergunta mais adequada seria:
“Será que conseguimos encaixar todo o sistema neste chassis e mantê-lo a funcionar com uma carga de trabalho sustentada sem criar problemas térmicos, elétricos, estruturais ou de manutenção?”
Essa é a filosofia de design subjacente a um produto sério Chassis personalizado para servidores de IA.
As atuais plataformas de IA à escala de rack demonstram por que razão a engenharia de caixas de equipamento merece maior atenção.
A arquitetura de referência GB300 NVL72 da NVIDIA integra 72 GPUs Blackwell Ultra e 36 CPUs Grace. A NVIDIA afirma que o rack é arrefecido a líquido, utiliza oito prateleiras de alimentação de 33 kW e pode necessitar de até 142 kW para um rack completo.
Essa não é uma densidade normal para uma sala de servidores.
A documentação separada da NVIDIA sobre a gestão de energia do Mission Control indica uma potência nominal do rack de 120 kW para o GB200 NVL72 e 135 kW para o GB300 NVL72, com orçamentos máximos de potência por nó de aproximadamente 6,7 kW e 7,5 kW, respetivamente. Estes valores são apresentados no contexto da gestão do orçamento de potência, pelo que não devem ser considerados intercambiáveis com todas as especificações máximas de rack, mas ilustram a mesma realidade de engenharia: a computação moderna de IA consegue processar uma quantidade enorme de potência num espaço físico muito reduzido.
| Ponto de referência | Figura publicada | O que isso significa para a conceção de caixas |
|---|---|---|
| NVIDIA GB300 NVL72 | 72 GPUs + 36 CPUs Grace | Roteamento extremamente denso de recursos de computação, rede, energia e refrigeração |
| Requisitos para o rack completo do GB300 NVL72 | Até 142 kW | A arquitetura térmica e de potência não pode ser uma preocupação secundária |
| Potência do rack projetado para o GB300 no exemplo do NVIDIA PRS | 135 kW | A distribuição de energia e a margem de manobra devem ser tidas em conta ao nível do sistema |
| Potência máxima do nó GB300 num exemplo de PRS | 7,5 kW | As bandejas de processamento individuais podem suportar uma carga térmica considerável |
| Crescimento acelerado do consumo de eletricidade para servidores, segundo a AIE | ~30% por ano no Cenário de Referência | É provável que a computação acelerada de alta densidade se torne mais comum |
A tendência geral aponta na mesma direção. A análise «Energia e IA» da Agência Internacional de Energia prevê que o consumo global de eletricidade dos centros de dados atinja cerca de 945 TWh até 2030 no seu Cenário Base. Prevê-se que o consumo de eletricidade dos servidores acelerados, impulsionado principalmente pela adoção da IA, cresça aproximadamente 30% por ano, em comparação com cerca de 9% nos servidores convencionais.
Para os projetistas de caixas e os compradores de equipamentos originais, isso é importante.
Um hardware mais potente implica mais projetos em que a densidade de potência, a carga da GPU, a capacidade de arrefecimento, a gestão dos cabos e o acesso para manutenção se tornam requisitos mecânicos de primeira ordem.
Uma das formas mais rápidas de comprometer um projeto de caixa personalizada é iniciar o CAD antes de a arquitetura de computação estar estabilizada.
Não faças isso.
Antes de a geometria do chassis ser definida, a equipa de engenharia deve conhecer a carga de trabalho prevista e os principais componentes que se prevê que integrem o sistema.
No mínimo, bloqueie:
Um Gabinete para servidor de IA deve ser concebido em torno deste conjunto integrado. A alteração de uma parte posteriormente pode desencadear uma reação em cadeia no resto do projeto.
Trocar a GPU?
A localização do conector pode mudar.
Trocar a fonte de alimentação?
O feixe de cabos muda.
Adicionar outra placa de rede?
Agora, a geometria do tubo ascendente muda.
Aumentar a espessura da ventoinha?
De repente, o cabo de alimentação da GPU não tem nenhum sítio confortável onde se possa dobrar.
Os milímetros acumulam-se rapidamente.
Isto pode parecer óbvio, mas leva a erros que custam caro.
O facto de uma GPU caber no interior do chassis não significa que a GPU funcione no interior do chassis.
Ao avaliar um Chassis de servidor GPU, temos de ir além das dimensões nominais da placa e verificar o espaço real disponível para a instalação.
Isso inclui o corpo da placa, o dissipador de calor, o conector de alimentação, o raio de curvatura do conector, a distância livre em relação às placas adjacentes, a posição do encaixe na placa-mãe, os elementos de fixação, a localização do riser, a parede do ventilador, o cablagem e a direção em que um técnico tem de retirar a placa.
Os aceleradores pesados levantam outra questão: a gravidade.
As placas longas podem exercer uma pressão considerável sobre a ligação PCIe e a área de montagem traseira. A vibração durante o transporte agrava ainda mais a situação. Uma GPU que resiste ao funcionamento em repouso numa bancada de laboratório pode comportar-se de forma muito diferente após o transporte internacional, a instalação num rack, ciclos de manutenção repetidos ou a vibração causada por ventoinhas de alta velocidade.
No caso de sistemas densos, o suporte para a GPU deve fazer parte da estrutura do chassis — e não ser um acessório de que só se lembram dois dias antes da expedição.
O calor não se importa com a qualidade do desenho CAD.
Um servidor de alta densidade pode ser mecanicamente perfeito e, do ponto de vista térmico, péssimo.
Nos sistemas arrefecidos a ar, o chassis necessita de um percurso de pressão bem definido. O ar deve entrar no local previsto pelo hardware, passar pelos componentes de alta resistência e sair do invólucro sem circular repetidamente pelas zonas quentes.
Parece simples.
Não é.
Os cabos ficam no caminho. As gaiolas das unidades ficam no caminho. As caixas das fontes de alimentação ficam no caminho. Os módulos DIMM altos, os risers, as vigas estruturais, os suportes dos radiadores, os conectores, os filtros, os backplanes e até mesmo as flanges de chapa metálica mal posicionadas podem reduzir a pressão no percurso do fluxo de ar.
A Rack de IA de alta densidade por isso, não pode ser concebido apenas com base nas posições dos ventiladores.
“Seis fãs” não me diz praticamente nada.
Quero saber as dimensões dos ventiladores, as curvas dos ventiladores, a pressão estática, a restrição, a temperatura de entrada, o percurso de escape, a estratégia de controlo, a impedância dos componentes e o que acontece quando um ventilador pára.
Essas são perguntas úteis.
| Fator de conceção | Arrefecimento por ar | Arrefecimento líquido |
|---|---|---|
| Complexidade mecânica | Inferior | Mais alto |
| Dependência do fluxo de ar do chassis | Muito elevado | Reduzido para componentes arrefecidos a líquido |
| Integração de instalações | Normalmente, mais simples | Pode ser necessário um CDU, um coletor, mangueiras e uma ligação à rede de água da instalação |
| Requisito relativo à gestão de fugas | Sem circuito de refrigeração | Sim |
| Procedimentos de assistência | Conhecido pela maioria dos técnicos | Exige procedimentos de manutenção que tenham em conta o líquido de arrefecimento |
| Adequação à medida que a densidade térmica aumenta | Cada vez mais difícil | Muitas vezes, é mais prático |
| Concurso de design de espaços interiores | Ventiladores e condutas | Placas de arrefecimento, tubagem, coletores, conectores |
| Planeamento para situações de falha | Redundância dos ventiladores e perda de fluxo de ar | Cenários relacionados com bombas, CDU, fugas, caudal e circuitos da instalação |
Mudar-se para um Chassis de servidor com refrigeração líquida Não elimina o trabalho de conceção mecânica. Simplesmente altera a natureza desse trabalho.
Agora, o traçado das mangueiras é importante.
A facilidade de acesso com desconexão rápida é importante.
A deteção de fugas é importante.
O raio mínimo de curvatura é importante.
A posição dos coletores é importante.
O técnico precisa de espaço suficiente para desligar e voltar a ligar um circuito sem ter de remover equipamento não relacionado nem molhar os componentes eletrónicos.
A própria arquitetura GB300 NVL72 da NVIDIA utiliza deteção de fugas ao nível do rack e da bandeja, a par do arrefecimento líquido, o que constitui um lembrete útil de que a gestão do líquido de arrefecimento faz parte da arquitetura do sistema, não sendo simplesmente uma placa de arrefecimento aparafusada a uma GPU.
A distribuição de energia é frequentemente considerada um tema da área da eletricidade.
No interior de um recinto fechado, trata-se também, em grande medida, de uma questão mecânica.
A alimentação de alta corrente implica conectores maiores, mais cabos, restrições de curvatura mais rigorosas, considerações adicionais relativas às barras de distribuição, temperaturas mais elevadas nos conectores e menos liberdade para encaminhar a cablagem pelo espaço que resta após a instalação dos componentes “importantes”.
A arquitetura de poder necessita de território físico.
Reserva-o.
Um chassis concebido para albergar vários aceleradores pode necessitar de fontes de alimentação redundantes, distribuição de alta corrente, conectores acessíveis, separação segura dos cabos, fluxo de ar à volta da zona das fontes de alimentação e espaço para substituir um módulo avariado sem ser necessário desmontar o servidor.
É aqui que um Chassis de servidor de alta densidade pode correr mal, mesmo quando a lista de componentes parece perfeitamente compatível no papel.
Tudo encaixa.
Nada está em bom estado.
Recentemente, ao analisar os debates do setor, deparei-me com um tópico mais antigo do r/sysadmin sobre o arrefecimento de racks de alta densidade que me marcou.
O autor da publicação original tinha vários sistemas NVIDIA DGX, além de equipamento de armazenamento, e estava a explorar como acomodar cerca de 30–40 kW num único rack. Um participante descreveu armários a funcionar com potências de até cerca de 36 kW e afirmou que a margem em caso de falha do arrefecimento poderia ser extremamente reduzida — cerca de 20 segundos antes do desligamento térmico para muitos sistemas nessa implementação específica. Outros engenheiros no tópico levantaram repetidamente as mesmas preocupações: disponibilidade de refrigeração, potência da instalação, desligamento de emergência, canalização, conhecimentos de manutenção e os riscos decorrentes da concentração de tanto calor num único armário.
Essa discussão chamou-me a atenção porque, por vezes, os compradores iniciam um projeto de IA personalizado com uma pergunta sedutora:
Quanta capacidade computacional conseguimos encaixar neste espaço?
A primeira pergunta está errada.
A melhor opção é:
Qual é a capacidade de processamento que este armário pode suportar de forma contínua, segura e com condições de funcionamento nas condições reais da instalação?
Um chassis pode ter um aspeto fantástico no ecrã do CAD. Todos os componentes encaixam na perfeição. Todas as unidades de rack estão ocupadas.
E aí começa a carga de trabalho.
Rampa dos fãs.
As temperaturas dos cabos aumentam.
O ar de escape da GPU entra em contacto com outra fonte de calor.
Um dos componentes está a limitar o fluxo.
Um técnico tenta retirar uma placa e descobre que três cabos e um distribuidor a estão a bloquear.
Isso não é engenharia de alta densidade.
Isso é embalagem de alta densidade.
Há uma diferença.
A densidade máxima de componentes é, muitas vezes, um mau objetivo de conceção para uma caixa personalizada para IA.
Sim, foi o que eu disse.
“Oito GPUs em 4U” fica muito bem numa tabela comparativa.
“Capacidade máxima de computação por unidade de rack” fica muito bem numa apresentação sobre aquisições.
Mas uma GPU adicional não serve de nada se a sua instalação resultar num fluxo de ar insuficiente, limitação térmica, conectores inacessíveis, sobrecarga na distribuição de energia, dificuldades na reparação no local ou margem nula quando as condições do local se afastam do pressuposto ideal de laboratório.
O recinto vencedor não é, automaticamente, o mais pequeno.
Em muitos projetos, prefiro construir uma caixa ligeiramente maior, com um fluxo de ar previsível, um suporte sólido para a placa gráfica, uma distribuição de energia organizada, um percurso lógico dos cabos, ventoinhas de fácil acesso e espaço suficiente para os técnicos trabalharem, do que ganhar um concurso de densidade que torne o sistema final difícil de operar.
O melhor armário de alta densidade é aquele que consegue suportar a carga de trabalho.
Não é aquele que ganha o jogo do Tetris.
Faça uma pergunta simples durante a revisão do CAD:
O que é que avaria primeiro e como é que o substituímos?
Em seguida, simule fisicamente a resposta.
O técnico pode substituir uma ventoinha sem retirar as GPUs?
É possível retirar a fonte de alimentação pela parte de trás?
É possível aceder a uma placa de rede sem mexer nas mangueiras de refrigeração?
É possível retirar uma GPU na vertical ou na horizontal sem desligar cabos que não estejam relacionados?
É possível efetuar a manutenção do painel frontal sem ter de retirar o servidor na totalidade?
É possível aceder rapidamente a uma ligação com fuga?
É possível substituir uma unidade de arranque avariada sem interferir na secção de processamento?
Estas questões não têm nada de glamoroso.
Eles poupam dinheiro.
Para um integrador de sistemas que monta 50, 100 ou 500 máquinas, alguns minutos adicionais de tempo de assistência por unidade traduzem-se num custo operacional real. Uma sequência de acesso mal planeada também aumenta a probabilidade de os técnicos danificarem cabos, conectores, placas ou tubagens nas proximidades enquanto reparam algo que não está relacionado.
É por isso que um Caixa de montagem em rack personalizada deve ser concebido não só para a montagem, mas também para a desmontagem.
Os engenheiros de produção constroem-no uma única vez.
O seu cliente poderá mantê-lo em bom estado durante anos.
Os servidores de IA são pesados.
Por vezes, extremamente pesado.
O chassis tem de suportar essa carga durante a montagem, o transporte, a inserção no rack, o funcionamento normal e a manutenção. Placas GPU compridas, várias fontes de alimentação, placas-mãe de grandes dimensões, dissipadores de calor em cobre, radiadores, coletores e sistemas de armazenamento de alta densidade podem, todos eles, alterar o centro de gravidade.
Verificar:
Um parêntese pode parecer insignificante quando considerado isoladamente.
Multiplique essa pequena deflexão ao longo de um cartão longo e pesado, acrescente as vibrações durante o transporte e, em seguida, repita o processo ao longo de um lote de produção.
Agora é que importa.
Um protótipo não é apenas uma amostra de metal para verificar se os orifícios dos parafusos estão alinhados.
Usa-o de forma agressiva.
Instaure a placa-mãe propriamente dita.
Instale as GPUs propriamente ditas.
Utilize cabos de alimentação equivalentes aos de produção.
Instale os mesmos suportes de elevação, unidades de disco, adaptadores de rede, ventoinhas, radiadores, tubagem, fontes de alimentação, calhas e conjuntos do painel frontal que estarão presentes no servidor acabado.
Depois, teste as condições adversas.
Verifique a instalação dos componentes, a fixação das placas, o encaminhamento dos cabos, o acesso aos conectores, a rigidez do chassis, o encaixe dos trilhos, o ajuste da tampa e a sequência de manutenção.
Executar cargas de trabalho representativas. Medir as temperaturas de entrada e de saída, as temperaturas dos componentes, o comportamento das ventoinhas, as zonas quentes e o desempenho nas condições ambientais previstas.
Verifique a carga da fonte de alimentação, o comportamento da redundância, as temperaturas dos cabos e dos conectores, a distribuição de energia e o comportamento durante o arranque.
O que acontece quando um ventilador pára?
O que acontece quando uma bomba de refrigeração ou um circuito da instalação apresenta um problema?
O que acontece quando uma fonte de alimentação avaria?
O que acontece se um filtro ficar parcialmente obstruído?
O que acontece quando a temperatura ambiente aumenta?
Uma máquina que passe num teste térmico, mas que chegue com as GPUs deslocadas no interior do chassis, continua a ser um projeto falhado.
Teste a embalagem, a retenção, a resistência à vibração, os suportes, os elementos de fixação e o suporte para componentes pesados antes do envio em grande escala.
Um pedido de cotação mal elaborado dá origem a suposições.
As suposições dão origem a revisões.
As revisões levam tempo.
No caso de um projeto personalizado de chassis para IA, envie ao fornecedor informações suficientes para que este possa avaliar a arquitetura completa do sistema, em vez de apresentar um orçamento apenas para uma estrutura metálica vazia.
Um pacote de pedido de cotação útil deve incluir:
| Dados da solicitação de cotação | Informações a fornecer |
|---|---|
| Fator de forma | Altura, largura e profundidade do alvo U |
| Placa-mãe | Modelo, dimensões, desenhos, locais de montagem |
| GPU | Modelo exato, quantidade, dimensões, largura da ranhura, potência |
| CPU | Plataforma, quantidade, refrigerador |
| Memória | Requisitos de configuração e espaço livre do DIMM |
| Armazenamento | Tipo de unidade, quantidade, necessidade de substituição a quente |
| Ligação em rede | Modelo e quantidade da NIC/DPU |
| PCIe | Mapa de ranhuras, elevadores, interruptores, requisitos de bifurcação |
| Potência | Tipo de fonte de alimentação, redundância, potência total pretendida |
| Arrefecimento | Ar/líquido, especificações do ventilador, requisitos do radiador/coletor |
| E/S | Requisitos relativos às portas dianteiras e traseiras |
| Estrutura | Fixação da GPU, pegas, calhas, reforço |
| Serviço | Componentes que requerem acesso sem ferramentas ou acesso rápido |
| Marca | Logótipo, cor, serigrafia, etiquetas |
| Produção | Quantidade de protótipos, volume anual, calendário previsto |
| Mercado | Países de destino e requisitos de conformidade |
Quanto mais completa for a informação introduzida, mais cedo será possível detetar conflitos mecânicos.
Detetar uma interferência de 12 mm no CAD é barato.
Mas encontrá-lo após as fases de concepção de ferramentas, fabrico, montagem e envio internacional já não é assim tão fácil.
Os sistemas de IA de alta densidade exigem que a engenharia mecânica, térmica, elétrica e de instalações se integrem numa única caixa.
É por isso que um Chassis personalizado para servidores de IA nunca deve ser determinada apenas com base na altura do rack e no número de GPUs.
Comece pela lista completa de materiais.
Modelar o calor.
Reservar espaço para a alimentação elétrica.
Suportar as GPUs.
Planear o percurso dos cabos.
Decida a arquitetura de refrigeração numa fase inicial.
Conceba o acesso de forma a abranger as peças que mais provavelmente necessitarão de manutenção.
Depois, crie um protótipo do sistema propriamente dito — não de uma caixa vazia.
A densidade computacional da IA continuará a aumentar. As projeções da AIE relativas ao consumo acelerado de eletricidade pelos servidores e as atuais arquiteturas de racks com mais de 100 kW já apontam nessa direção.
Os fabricantes e integradores de sistemas que souberem lidar bem com essa densidade não serão aqueles que se limitam a fabricar caixas mais pequenas.
Serão eles que vão perceber o que tem de acontecer dentro dessas caixas quando a carga de trabalho atingir 100%.
Resposta curta: Um chassis de servidor de IA personalizado é um invólucro concebido em função de uma combinação específica de GPUs, CPUs, placa-mãe, armazenamento, rede, alimentação, refrigeração e requisitos de rack.
Ao contrário de um gabinete de servidor genérico, a sua disposição interna pode ser otimizada no que diz respeito ao espaçamento entre aceleradores, suporte estrutural, fluxo de ar, arrefecimento líquido, passagem de cabos, alimentação redundante e acesso para manutenção.
Resposta curta: Um chassis de servidor de alta densidade permite instalar uma grande quantidade de hardware de processamento, armazenamento ou aceleração num espaço limitado do rack, mantendo ao mesmo tempo um fornecimento de energia, refrigeração, suporte estrutural e acesso para manutenção adequados.
A densidade deve ser avaliada com base no desempenho sustentado útil, e não apenas no número de componentes.
Resposta curta: Não. Um chassis mais pequeno pode melhorar a densidade do rack, mas os modelos de 5U ou 6U podem oferecer melhor capacidade de refrigeração, espaçamento entre GPUs, passagem de cabos, expansão e acesso para manutenção.
O formato adequado depende do tipo de GPU, da potência, da estratégia de refrigeração, da disposição da placa-mãe e dos requisitos operacionais.
Resposta curta: O arrefecimento líquido torna-se uma opção atraente quando a densidade térmica, a potência do acelerador, a densidade do rack, os limites de ruído ou as restrições ao fluxo de ar tornam difícil gerir de forma eficiente o arrefecimento convencional por ar.
A decisão deve também ter em conta o abastecimento de água da instalação, os requisitos da CDU, os coletores, a gestão de fugas, os procedimentos de manutenção e a redundância.
Resposta curta: Indique a GPU, a placa-mãe, a CPU, a fonte de alimentação, o armazenamento, a rede, as interfaces PCIe, o sistema de refrigeração, as dimensões do rack, as entradas/saídas, os requisitos de alimentação, o volume de produção e o mercado-alvo.
Os desenhos precisos dos componentes são muito mais úteis do que descrições genéricas como “servidor de IA com 8 GPUs”.”
Resposta curta: As GPUs pesadas podem exercer pressão mecânica sobre as ranhuras PCIe, os suportes e as estruturas do chassis durante o funcionamento, o transporte e a manutenção.
Uma fixação adequada controla o movimento da placa, distribui a carga mecânica e reduz o risco de danos no conector ou na placa.
Resposta curta: Normalmente, não. O objetivo mais adequado é a maior densidade de computação prática possível que consiga manter o desempenho térmico, um fornecimento de energia fiável, a estabilidade estrutural e um acesso de manutenção aceitável.
Uma GPU adicional não traz qualquer vantagem se o sistema resultante ficar a funcionar abaixo do seu potencial ou se tornar difícil de manter.
Mark Lee é o fundador da ISTONECASE, com 20 anos de experiência no setor dos chassis para servidores. É especialista em soluções OEM/ODM para GPU e IA, chassis para montagem em rack, industriais, para montagem na parede, NAS, Mini-ITX e de múltiplos nós. A sua experiência apoia projetos de hardware personalizados para centros de dados, computação de IA, armazenamento empresarial, computação de ponta, redes e aplicações industriais.
Comentários
