Fale com a nossa Chassis de servidor Engenheiros e Equipa de Vendas
24 mil assinantes
Indique-nos a sua aplicação, o tipo de chassis, a altura do rack, a placa-mãe, a GPU, os compartimentos para unidades, a fonte de alimentação, o sistema de refrigeração, as entradas/saídas e a quantidade a encomendar. Os nossos engenheiros e a nossa equipa de vendas irão recomendar um modelo padrão ou uma configuração OEM/ODM para o seu projeto.
Mas quando oito aceleradores de alta potência, duas CPUs, bancos de memória, unidades NVMe, comutadores PCIe, cabos de alimentação, backplanes e fontes de alimentação redundantes forem reunidos num único chassis de servidor de GPU, aquela fila organizada de ventoinhas em funcionamento passa a fazer parte de um sistema térmico com controlo de pressão, onde um erro mecânico surpreendentemente pequeno pode fazer com que uma GPU sobreaqueça, enquanto outra recebe muito mais ar do que o necessário.
Então, por que razão os compradores continuam a especificar paredes de ventiladores com base no número de ventiladores?
Eu não aprovaria algo assim.
No que diz respeito ao arrefecimento de servidores com GPUs de alta densidade, a questão relevante não é: “Quantas ventoinhas de 80 mm cabem no chassis?”
A questão relevante é:
Será que o conjunto de ventoinhas consegue manter o fluxo de ar necessário, tendo em conta a resistência total do sistema, em todas as zonas térmicas da GPU e na pior carga de trabalho prevista, mesmo com uma ventoinha indisponível?
Essa formulação altera completamente o processo de conceção.
E é assim que deve ser.
A NVIDIA indica que o H100 SXM atinge um máximo de TDP de 700 W, enquanto uma plataforma HGX H100 pode utilizar oito GPUs. Isso significa que só os aceleradores podem representar 5,6 kW antes de se terem em conta as CPUs, os módulos DIMM, o armazenamento NVMe, as placas de rede (NIC), a regulação de tensão, as perdas na conversão de energia ou outros componentes. A documentação do HGX B200 da NVIDIA vai mais longe: cada GPU B200 pode ser configurada até 1 000 W, colocando oito GPUs a atingirem até 8 kW só de TDP da GPU.
É por isso que o design moderno das paredes dos ventiladores deixou de ser um simples detalhe em chapa metálica.
Trata-se de engenharia de sistemas.
Comece pela carga térmica, e não pelo CFM do ventilador
Uma das formas mais rápidas de acabar com um chassi de servidor com GPU de má qualidade é começar a discussão sobre a gestão térmica com um catálogo de ventoinhas.
“200 CFM por ventilador.”
“Oito fãs.”
“1 600 CFM.”
Ficou ótimo.
Só que isso pode não lhe dizer praticamente nada sobre o fluxo de ar que o servidor, uma vez montado, irá efetivamente receber.
O CFM máximo descreve normalmente uma das extremidades da curva de funcionamento de uma ventoinha, perto de uma resistência à pressão muito baixa. A pressão estática máxima descreve a extremidade oposta, onde o fluxo de ar se aproxima de zero. O seu servidor GPU funciona algures entre esses pontos.
Esse ponto de funcionamento é mais importante do que qualquer um desses números de marketing.
Antes de escolher uma parede de ventilação, eu elaboraria um inventário térmico completo:
Número de GPUs ou aceleradores e potência sustentada
Número de núcleos da CPU e potência sustentada do pacote
Preenchimento de DIMMs
Unidades NVMe
Comutadores PCIe
NICs e DPUs
Placas RAID ou HBA
VRMs
placas traseiras de armazenamento
Perdas de conversão da fonte de alimentação
o próprio poder dos fãs
qualquer equipamento interno de conversão CC/CC
Não se baseie apenas na potência indicada na placa de identificação da fonte de alimentação.
Uma arquitetura de potência de 12 kW não significa automaticamente que o chassis dissipa continuamente 12 kW. No entanto, conceber o sistema com base numa carga de trabalho “típica” irrealisticamente baixa é igualmente perigoso.
Utilize a carga de trabalho de produção.
Em seguida, defina o aumento de temperatura que está disposto a aceitar entre a entrada e a saída do chassis.
Um cálculo útil do fluxo de ar numa primeira aproximação
No caso da refrigeração por ar, uma aproximação prática é:
CFM necessário ≈ 1,76 × Carga térmica em watts ÷ Aumento admissível da temperatura do ar em °C
Trata-se de uma estimativa teórica do equilíbrio térmico baseada nas propriedades típicas do ar. É um ponto de partida, não uma especificação para o sistema de ventilação da parede.
Consideremos dois sistemas simplificados:
Exemplo de servidor com GPU
Carga térmica aproximada do sistema
ΔT permitido
Fluxo de ar teórico
Sistema com 8 GPUs da classe H100
7 000 W
15 °C
~821 CFM
Sistema com 8 GPUs da classe H100
7 000 W
10 °C
~1 232 CFM
Plataforma com 8 GPUs de maior potência
10 000 W
15 °C
~1 173 CFM
Plataforma com 8 GPUs de maior potência
10 000 W
10 °C
~1 760 CFM
Estes números são deliberadamente incómodos.
Deviam estar.
Quando um servidor de alta densidade se aproxima dos 7–10 kW, uma alteração de apenas 5 °C no aumento admissível da temperatura do ar pode alterar os requisitos teóricos de fluxo de ar em centenas de CFM.
E este cálculo ainda parte do princípio de que o ar vai para onde se quer.
Normalmente, não.
Para projetos que ainda se encontram na fase de conceção, o nosso guia sobre concepção do fluxo de ar do servidor da frente para trás explica como a sequência dos componentes, os percursos de derivação, as portas do rack, o cabeamento, as gaiolas dos unidades de alimentação e a geometria da exaustão alteram o percurso do fluxo de ar antes mesmo de se iniciar a seleção das ventoinhas.
O CFM representa apenas metade do projeto da parede de ventiladores
Eis a parte difícil.
Um banco de GPUs é resistência.
Um dissipador de calor compacto é sinónimo de resistência.
Um backplane é uma resistência.
O mesmo se aplica ao painel frontal perfurado, ao filtro de pó, à proteção da ventoinha, ao feixe de cabos, à grelha traseira, à porta do rack, à gaiola de armazenamento, ao conduto de ar e à abertura de ventilação mal alinhada.
Ao empilhá-las, a parede de ventiladores tem de mover o ar contra uma queda de pressão que pode ser drasticamente diferente da observada num teste de bancada com chassis aberto.
É por isso que me preocupo com pressão estática.
Pense em termos de uma curva do sistema
À medida que o fluxo de ar aumenta, a perda de pressão através do chassis aumenta, em geral, de forma acentuada. Por conseguinte, o invólucro completo apresenta a sua própria curva de resistência do sistema.
A ventoinha tem outra curva.
O ponto de intersecção dessas duas curvas corresponde, aproximadamente, ao ponto em que o ventilador funciona efetivamente.
É esse o número que as equipas de aquisições devem solicitar.
Não é o valor máximo de CFM indicado na parte superior da ficha do produto.
Um estudo sobre servidores indexado pela NSF, que analisou os diferenciais de pressão estática entre a entrada e a saída, concluiu que o desempenho térmico do servidor, o comportamento do controlo das ventoinhas, a direção do fluxo de ar e o consumo de energia das ventoinhas podem todos ser influenciados pelas condições de pressão em torno do chassis. Por outras palavras, o arrefecimento do servidor não pode ser isolado completamente do ambiente de pressão que o rodeia.
O Departamento de Energia dos EUA defende o mesmo princípio geral à escala dos centros de dados: as suas orientações para a conceção de centros de dados energeticamente eficientes alertam para o facto de que as obstruções ao fluxo de ar podem reduzir o caudal de ar fornecido e favorecer a formação de pontos quentes, enquanto uma gestão correta do ar melhora a eficácia do arrefecimento e a densidade de potência utilizável.
A minha interpretação quanto ao design do chassis da GPU é simples:
A pressão é um orçamento.
Gasta-o com cuidado.
Criar um mapa de queda de pressão
Eu analisaria o percurso nesta ordem:
Elemento de fluxo de ar
O que pode correr mal
O que verificar
Moldura frontal
Blocos metálicos decorativos na zona de entrada
Área útil
Filtro
A pressão aumenta à medida que a concentração de poeira aumenta
Queda de pressão em condições de funcionamento normal
Gaiola de transmissão
As condutas dividem e redirecionam o fluxo de ar
Percursos de fluxo entre compartimentos
Placa traseira
A placa de circuito impresso ocupa a maior parte da área frontal
Geometria da perfuração
Zona de cabos
As barragens locais são constituídas por barragens de contenção
Trajetória dos cabos de produção
Parede do ventilador
As aberturas permitem a recirculação local
Revestimento e vedação
Banco de GPUs
As aletas densas exigem pressão
Direção do fluxo e impedância da GPU
Área da CPU/DIMM
Recebe ar pré-aquecido da GPU
Ordem das zonas e condutas
Zona da PSU
Compete pela entrada de ar no chassis
Fluxo de ar independente ou partilhado
Grelha traseira
A área de exaustão é demasiado pequena
Área útil
Porta do rack/PDU
Aumento das restrições externas
Configuração final do rack
Reparou no que falta?
“Número de fãs.”
A quantidade de ventiladores é determinada após se compreender o percurso do fluxo de ar.
Onde deve ser colocada a parede de ventoinhas num chassis de servidor GPU?
Em muitos projetos de GPUs para montagem em rack, prefiro uma parede de ventoinhas posicionada de forma a criar uma barreira de pressão controlada entre a secção de admissão frontal e a secção de computação de alta temperatura.
Uma estrutura conceptual comum é a seguinte:
Entrada de ar frontal → área de unidades ou manutenção → parede do ventilador → zonas térmicas da GPU/CPU → saída de ar traseira
Mas isso não é verdade em todos os casos.
Se um painel traseiro de armazenamento situado à frente da parede de ventoinhas for altamente restritivo, as ventoinhas têm de aspirar o ar através dele. Se a parede de ventoinhas se situar a montante de dissipadores passivos de GPU extremamente densos, tem de gerar pressão suficiente a jusante para forçar o ar a passar através dessas aletas.
A geometria vence.
Sempre.
Alinhar as ventoinhas com o percurso do ar da GPU
Não construas uma bela parede com seis ventoinhas para depois descobrires que duas delas alimentam principalmente chapas metálicas vazias, enquanto outras duas são responsáveis por quatro GPUs.
Associe a cobertura do ventilador às fontes de calor reais.
Para cada posição do ventilador, quero saber:
A que GPU está ligado?
Qual é o banco da CPU ou das memórias DIMM que partilha esse fluxo de ar?
Que restrição existe imediatamente a montante?
Que restrições existem a jusante?
Os ventiladores adjacentes conseguem compensar se este parar?
Existe alguma abertura de derivação ao lado?
O ar quente a jusante pode regressar através de uma posição de ventilação avariada?
Isto torna-se especialmente importante quando as dimensões da GPU, os suportes de fixação, os cabos de alimentação PCIe e as estruturas de suporte ocupam o mesmo canal de ventilação.
Antes de congelar a parede do ventilador, verifique o envelope do acelerador utilizando as medições constantes no nosso Guia de dimensões da GPU e compatibilidade com caixas. O comprimento da GPU é apenas uma das variáveis; a altura da placa, a espessura, o espaço para a curvatura do cabo de alimentação, as estruturas de fixação e o espaço livre para manutenção podem todos interferir com o fluxo de ar pretendido.
Selar a parede do ventilador ou desperdiçar a parede do ventilador
Este é um daqueles detalhes que parecem triviais no CAD.
Não é.
Suponhamos que a parede do ventilador crie uma diferença de pressão entre os lados de entrada e saída. Se houver uma grande abertura não vedada junto à base do ventilador, o ar passa a ter um percurso fácil para recircular.
É o ar que o leva.
Os ventiladores podem aspirar algum ar do seu próprio lado de descarga de volta para o lado de admissão, em vez de aspirar ar fresco através das restrições frontais.
Pagaste pelo fluxo de ar.
Tens boa circulação.
É por isso que as bandejas dos ventiladores precisam de ser vedadas cuidadosamente à volta:
bordas exteriores;
interrupções no serviço;
passagens para cabos;
locais para ventiladores não utilizados;
interfaces entre o tabuleiro e o chassis;
espaços entre as estruturas das ventoinhas;
aberturas em torno dos módulos amovíveis.
Juntas de espuma, rebordos de chapa metálica moldados, condutas moldadas, placas de corte e suportes de ventilador devidamente concebidos podem todos contribuir para isso.
Um estudo de 2023 sobre o arrefecimento por parede de ventiladores, realizado por investigadores associados à Universidade de Hertfordshire, oferece uma analogia útil em maior escala. Na configuração analisada, os investigadores descobriram um volume ótimo de ar de alimentação, em vez de uma relação simples do tipo “quanto mais fluxo de ar, melhor”, e o seu modelo sugeriu uma poupança de energia dos ventiladores de cerca de 34% em condições de funcionamento otimizadas. A experiência incidiu sobre um centro de dados com parede de ventoinhas, e não sobre um chassis de GPU individual, pelo que não transporia os valores de fluxo para o projeto de um servidor; o que importa é a questão mais ampla: a quantidade de fluxo de ar e o consumo energético das ventoinhas têm de ser otimizados em conjunto.
Uma maior velocidade da ventoinha não significa, automaticamente, uma maior eficiência térmica.
Ventiladores em paralelo, pressão em série e o erro que os compradores cometem
Uma parede típica de ventoinhas de chassis dispõe várias ventoinhas lado a lado.
Esses ventiladores funcionam, em termos gerais, como um matriz de fluxo de ar paralelo. Obtém-se uma capacidade total de caudal numa área transversal maior, mas não se deve partir do princípio, sem mais nem menos, que a capacidade de pressão estática se multiplica com o número de ventiladores.
Isso é importante.
Colocar oito ventiladores lado a lado não faz com que cada um deles passe subitamente a ser capaz de suportar oito vezes a queda de pressão.
Quando é necessária uma pressão muito elevada, os engenheiros podem considerar projetos de ventiladores de alta pressão mais profundos, configurações de rotor duplo ou disposições de ventiladores em estágios. No entanto, cada opção acarreta um aumento no consumo de energia, no ruído, nos requisitos de controlo, no custo e no comportamento em caso de avaria.
Não existe ar gratuito.
Não compare o CFM dos ventiladores aos preços dos produtos de mercearia
Imagine seis ventiladores com uma capacidade nominal de 200 CFM em ar livre.
A folha de cálculo relativa às aquisições indica o seguinte:
6 × 200 = 1 200 CFM
Eu riscaria esse número.
Se o ponto de funcionamento de cada ventilador descer para 120 CFM, tendo em conta a restrição real do chassis, o valor teórico combinado já se aproxima dos 720 CFM, antes de se considerar a distribuição desigual da carga, o desvio local, os efeitos da instalação, o comportamento dos ventiladores avariados e os limites de controlo.
A pergunta certa é:
Qual é o débito da parede de ventiladores montada à pressão estimada do sistema?
Peça ao fornecedor do ventilador a curva P-Q completa.
Depois, teste-o no chassis.
Conceba o sistema de refrigeração com N+1, e não com “N+1 ventoinhas”
Um comprador diz-me:
“Temos oito ventiladores, por isso é desnecessário.”
N.º.
Oito fãs significa apenas oito fãs.
A redundância só existe se o sistema se mantiver dentro dos seus limites térmicos e de desempenho após a ocorrência da falha definida.
Teste: Uma ventoinha avariada
Quando um ventilador pára, podem surgir imediatamente três problemas.
Em primeiro lugar, o caudal de ar total disponível diminui.
Em segundo lugar, os ventiladores adjacentes podem passar para outro ponto de funcionamento.
Em terceiro lugar, a própria abertura do ventilador parado pode tornar-se uma via de circulação de ar indesejada.
É fácil não reparar nesse último.
Se as condições de pressão permitirem um fluxo inverso através da ventoinha avariada, parte da capacidade da ventoinha em bom estado poderá circular pela ventoinha avariada, em vez de passar pelos dissipadores de calor da GPU.
Entre as possíveis soluções de design contam-se:
detecção de avaria do ventilador;
aumento automático da PWM nas ventoinhas restantes;
zonas térmicas independentes;
controlo do refluxo do fluxo de ar, sempre que necessário;
dispositivos de obstrução amovíveis;
uma margem de segurança suficiente no funcionamento normal do ventilador para suportar a avaria;
Limitação da potência da GPU;
limitação da carga de trabalho;
desligamento controlado caso as margens de temperatura desapareçam.
Mas não chamem ao sistema «N+1», porque o desenho mostra uma ventoinha a mais.
Execute o teste.
Se o servidor necessitar que todas as ventoinhas funcionem a 100% PWM durante o funcionamento normal, não lhe restará praticamente nenhuma margem de controlo do fluxo de ar em caso de avaria.
Esse não é o tipo de redundância que eu aprovaria.
Não deixe que uma GPU roube o ar a outra GPU
O arrefecimento de servidores com GPUs de alta densidade raramente é uniforme por acaso.
O ar segue as diferenças de pressão.
Se a GPU 1 tiver um percurso de baixa resistência, enquanto a GPU 4 se encontra atrás de um feixe de cabos e de uma geometria de dissipador de calor mais densa, a parede de ventoinhas pode arrefecê-las de forma muito diferente, apesar de estarem fisicamente próximas.
A resposta é, muitas vezes, planeamento urbanístico.
Criar zonas térmicas
Dependendo da arquitetura, posso dividir o fluxo de ar, de forma conceptual, em:
Zona A da GPU;
Zona B da GPU;
Zona da CPU e da memória;
zona de armazenamento;
zona de alimentação;
rede ou zona PCIe.
Depois, pergunto se todas as zonas precisam, de facto, do mesmo volume de ar.
Normalmente, não.
Pode ajustar a distribuição utilizando:
produtos;
defletores;
juntas de espuma;
painéis de cobertura;
câmaras de pressão;
posicionamento do ventilador;
diferentes grupos PWM;
alterações na área de ventilação;
padrões de perfuração locais.
É precisamente por isso que o nosso Estudo de caso sobre um armário para computação de IA de alta densidade aborda a disposição da GPU, a potência do rack, o fluxo de ar, o suporte estrutural, o acesso para manutenção e a validação térmica como um único problema de engenharia, em vez de decisões de aquisição independentes.
A localização do sensor pode fazer com que uma parede com ventiladores mal dispostos pareça bonita
Um sensor de temperatura pode dar uma indicação errada sem estar, tecnicamente, errado.
Coloque o sensor de entrada perto da parte mais fria do painel frontal e este poderá indicar 23 °C.
Entretanto, os gases de escape recirculados poderão estar a entrar noutra parte do chassis a 31 °C.
Qual é o valor que representa a entrada da GPU?
Nenhum dos dois, por si só.
No caso de sistemas com GPU de alta densidade, pretendo obter várias medições de temperatura.
No mínimo, considere registar:
temperatura na entrada dianteira esquerda;
temperatura na entrada frontal central;
temperatura na entrada dianteira direita;
Dados relativos à temperatura na entrada da GPU ou à temperatura local;
Telemetria do núcleo da GPU/HBM, quando disponível;
Temperatura da CPU;
Temperatura do DIMM, quando disponível;
Temperatura do NVMe;
Temperatura do VRM;
RPM da ventoinha;
Ciclo de trabalho PWM;
diferencial de pressão, sempre que possível;
temperatura dos gases de escape na parte traseira;
eventos de limitação térmica.
Então, veja o o pior dispositivo, e não um dispositivo comum.
As médias ocultam os problemas.
Se sete GPUs estiverem a funcionar a 67 °C e uma estiver a 88 °C, não me interessa que a média das oito GPUs pareça aceitável.
Quero saber por que é que a GPU 8 está quente.
O impacto da densidade de potência das GPUs modernas no design das paredes de ventilação
A curva de potência das GPUs está a evoluir mais rapidamente do que muitos ciclos de desenvolvimento de caixas.
A NVIDIA especifica que a H100 SXM tem um consumo máximo de 700 W e a H200 SXM, de 700 W. A AMD indica que o seu acelerador MI300X tem um consumo máximo na placa de 750 W. A documentação da NVIDIA relativa ao HGX B200 indica um valor máximo configurável de 1 000 W por GPU.
Essa evolução deverá alterar a forma como encaramos a durabilidade do chassis.
Uma parede de ventiladores que mal consegue suportar a configuração atual do acelerador de 400 W pode não ter capacidade de pressão, potência elétrica, espaço físico ou margem de controlo suficientes para a próxima revisão do hardware.
E os números a nível do setor confirmam essa mesma tendência. A atualização de junho de 2026 do Berkeley Lab estima que os centros de dados dos EUA poderão representar cerca de 11,81 TP6T do consumo de eletricidade dos EUA até 2030, com cenários modelados que vão desde 9,51 TP6T a 15,31 TP6T. O relatório recorre a dados relativos às remessas de equipamento, a modelos energéticos por dispositivo e a simulações de refrigeração, em vez de se limitar a extrapolar os dados históricos de consumo de eletricidade.
Isso não nos diz quantas ventoinhas cabem num chassis 4U.
Isso diz-nos algo ainda mais importante.
A densidade computacional e a necessidade de refrigeração não são meros incómodos temporários no processo de conceção.
Trata-se de restrições arquitetónicas.
Quando se deve deixar de tentar forçar o arrefecimento por ar
Chega-se a um ponto em que a instalação de ventoinhas mais rápidas deixa de ser uma boa opção do ponto de vista da engenharia.
O poder dos fãs cresce.
O ruído aumenta.
A pressão estática poderá melhorar.
No entanto, os ganhos de caudal disponíveis podem estabilizar à medida que a resistência do sistema aumenta.
Ao mesmo tempo, o chassis começa a perder espaço devido a módulos de ventoinha mais profundos, dissipadores de calor maiores, corredores de ar mais largos, condutas e espaços livres para manutenção.
Uma tese de engenharia mecânica da Universidade do Texas em Arlington, de 2026, analisou especificamente o arrefecimento por ar em comparação com o arrefecimento direto por líquido, utilizando um veículo de ensaio térmico inspirado num placa-base da classe SXM5 com oito GPUs, salientando o desafio crescente decorrente da elevada densidade de potência do acelerador e da potência parasitária das ventoinhas.
Isso não significa que todos os servidores com GPU devam utilizar refrigeração líquida.
Rejeito essa conclusão.
A refrigeração por ar continua a ser uma opção atraente, uma vez que pode ser mecanicamente mais simples, fácil de manter e familiar. No entanto, chega-se a um ponto de densidade térmica em que forçar ainda mais a curva do ventilador deixa de fazer sentido, sendo mais sensato reconsiderar a arquitetura de transferência de calor.
Um fluxo de trabalho prático para a conceção de uma parede de ventiladores
Se estivesse a analisar um novo projeto de servidor com GPU para montagem em rack, esta seria a sequência que seguiria.
1. Congelar a configuração da GPU
Não escreva:
“8 GPUs.”
Indique o número de referência exato, a gama de potência, o formato, o tipo de dissipador de calor, a orientação do fluxo de ar, as dimensões, o método de fixação e a geometria do conector.
2. Calcular a carga térmica sustentada
Adicione as GPUs, as CPUs, a memória, o armazenamento, as redes, a alimentação da placa-mãe, as perdas de conversão e outras cargas.
Utilize a carga de trabalho que realmente prevê.
Não é uma captura de ecrã aleatória.
3. Definir o aumento de temperatura admissível
Decida qual o aumento da temperatura do ar que está a ter em conta no seu projeto.
Em seguida, calcule o caudal de ar necessário na primeira passagem.
4. Traçar o percurso do fluxo de ar
Empate:
Entrada → restrição → parede do ventilador → fonte de calor → restrição → saída
Se o percurso não for óbvio no papel, não se tornará magicamente óbvio na chapa metálica.
5. Estimativa da queda de pressão
Incluir a configuração de produção:
moldura;
filtro;
unidades;
placa traseira;
cabos;
dissipadores de calor;
Banco de GPUs;
produtos;
painel traseiro;
porta do rack.
6. Selecionar os ventiladores com base nas suas curvas
Compare o caudal de ar necessário com a pressão estática disponível.
Não se baseie no CFM ao ar livre.
7. Associar as posições dos ventiladores às zonas térmicas
Todos os adeptos deviam ter um emprego.
Saiba quais são os componentes que suporta.
8. Vias de desvio da vedação
Faz com que o percurso pretendido seja mais fácil do que o percurso indesejado.
9. Definir o comportamento em caso de falha do ventilador
Decida o que os ventiladores restantes fazem automaticamente depois de um ventilador parar.
10. Validar na população de produção máxima
Instale tudo o que está previsto:
GPUs;
DIMMs;
unidades;
Dispositivos PCIe;
cabos de alimentação;
placas traseiras;
PSUs;
proteções para ventiladores;
filtros;
painéis da carroçaria.
Não há tampas abertas.
Não faltam cabos.
Não vale dizer “vamos testar a oitava GPU mais tarde”.”
11. Recriar a restrição do suporte
Adicione a porta do rack de produção, o cabeamento traseiro, a interferência da PDU, a geometria dos trilhos e condições realistas de entrada de ar.
Um servidor que só funciona com a porta traseira removida não passou no teste de implementação real.
12. Executar cargas de trabalho contínuas
Leve o sistema ao equilíbrio térmico.
Esteja atento à saturação das ventoinhas, à limitação do desempenho da GPU, ao desequilíbrio de temperatura e à lenta dissipação do calor.
Em seguida, retire uma ventoinha.
Agora é que começa o teste interessante.
O que eu incluiria no pedido de cotação do chassis
Se estiver a pedir a um fabricante de chassis para servidores que conceba uma parede de ventoinhas, não escreva:
“É necessário um sistema de refrigeração de alto desempenho.”
Essa frase não tem praticamente nenhum valor do ponto de vista da engenharia.
Especifique:
Dados da solicitação de cotação
O que é necessário apresentar
Configuração da GPU
Modelo exato, quantidade, formato, potência
Configuração da CPU
Modelo exato e potência contínua
Carga total do sistema
Potência estimada em watts contínuos
Formato do chassis
2U, 4U, 5U, 6U, etc.
Direção do fluxo de ar
Da frente para trás, a menos que a arquitetura exija o contrário
Condições de entrada
Intervalo de temperatura e altitude
Redundância dos ventiladores
Requisitos para o estado normal e para a avaria do ventilador
Limite da GPU
Temperatura máxima aceitável/comportamento de limitação
Controlo do ventilador
PWM, tacómetro, resposta a falhas
Filtro
Sim/não e tempo de carregamento previsto
Restrição do rack
Pressupostos relativos à porta, à PDU e à gestão de cabos
Ruído
Valor máximo a atingir, se aplicável
Modelo de serviço
Requisitos relativos às ventoinhas substituíveis em funcionamento
Validação
Carga de trabalho, duração do teste, localização dos sensores
Se esta informação ainda não estiver definida, o nosso Guia completo para pedidos de cotação de chassis personalizados fornece informações mais abrangentes sobre aspetos mecânicos, materiais, tolerâncias, componentes, qualidade e produção, que devem ser definidas antes de uma proposta de um fornecedor se tornar significativa.
A norma de design para paredes de ventiladores que eu realmente utilizaria
Não aprovaria um chassis para servidor com GPU porque:
tem oito ventiladores;
as ventoinhas são de “alta velocidade”;
A ficha técnica indica 1 500 CFM;
a temperatura da GPU parecia normal durante cinco minutos;
o chassis funcionou com a tampa removida;
uma captura de ecrã do CFD parecia azul;
O fornecedor afirma que clientes semelhantes utilizam os mesmos ventiladores.
Aprovar-ia essa medida quando as provas demonstrassem que:
quando se compreende a carga térmica real;
calcula-se o caudal de ar;
a resistência do sistema é estimada ou medida;
os ventiladores funcionam num ponto adequado das suas curvas;
o fluxo de ar de derivação é controlado;
As zonas da GPU recebem um fluxo adequado;
foi tida em conta a configuração da linha de produção;
os ventiladores mantêm uma margem de controlo utilizável;
o servidor resiste à condição definida de falha da ventoinha;
Os testes de carga de trabalho contínua confirmam os limites de temperatura e de desempenho.
Isso é um design de parede para fãs.
O resto é a instalação da ventoinha.
FAQs
O que é uma parede de ventoinhas num chassis de servidor com GPU?
A A parede de ventoinhas do servidor de GPU consiste num conjunto organizado de ventoinhas axiais ou de alta pressão, posicionadas ao longo do percurso do fluxo de ar do chassis, com o objetivo de gerar o fluxo de ar e a pressão estática necessários para fazer circular o ar de refrigeração através das GPUs, CPUs, memória, armazenamento, placas traseiras, cabos, dissipadores de calor e restrições de exaustão, mantendo simultaneamente uma distribuição térmica controlada da frente para trás.
Ao contrário das ventoinhas isoladas, uma parede de ventoinhas deve ser concebida como uma barreira de pressão. O seu desempenho depende das curvas das ventoinhas, da vedação, da resistência do chassis, do zoneamento térmico, da lógica de controlo e do comportamento em caso de falha de uma ventoinha.
De quantos ventiladores necessita um servidor com GPU de alta densidade?
O número de ventoinhas necessárias num servidor com GPU de alta densidade depende da carga térmica total sustentada, do aumento de temperatura admissível entre a entrada e a saída, da queda de pressão no chassis, das curvas de desempenho individuais das ventoinhas, da resistência ao fluxo de ar da GPU, dos requisitos de redundância, das condições ambientais e do fluxo de ar que deve permanecer disponível após a ocorrência de uma falha definida numa ventoinha.
Não existe, portanto, uma resposta universal fiável do tipo “oito GPUs requerem oito ventoinhas”. Calcule primeiro o fluxo de ar, estime em seguida a resistência e, por fim, selecione a quantidade e a geometria das ventoinhas capazes de satisfazer ambos os requisitos.
Onde deve ser colocada a parede de ventoinhas num chassis de servidor com GPU?
Uma parede de ventoinhas para servidores com GPU deve ser posicionada de forma a criar uma diferença de pressão controlada nas zonas térmicas de maior resistência, distribuindo simultaneamente o ar de maneira uniforme pelos aceleradores, CPUs, memória e outros componentes, sendo que a sua localização é determinada pela entrada de ar do painel frontal, pela disposição do armazenamento, pelas restrições do backplane, pela orientação do dissipador de calor da GPU, pela geometria da saída de ar e pelos requisitos de manutenção.
É comum instalar ventiladores nas paredes centrais do chassi, mas a melhor localização depende da geometria do sistema. A posição correta é aquela que gera um fluxo de ar útil através dos componentes, em vez de à volta deles.
Qual é o fluxo de ar necessário para um servidor com 8 GPUs?
Um servidor com oito GPUs pode necessitar de, aproximadamente, centenas a bem mais de mil CFM, dependendo da potência total do sistema e do aumento aceitável da temperatura do ar; por exemplo, um sistema simplificado de 7 000 W arrefecido a ar requer, teoricamente, cerca de 821 CFM com um aumento de 15 °C e cerca de 1 232 CFM com um aumento de 10 °C.
Esses valores são pontos de partida para o equilíbrio térmico, não especificações do ventilador. A capacidade real do conjunto ventilador-parede deve ter em conta a queda de pressão, a distribuição do fluxo de ar, a altitude, os filtros, a resistência dos componentes, a redundância do ventilador e o ponto de funcionamento real na curva do ventilador.
Por que razão a pressão estática é importante para o arrefecimento dos servidores com GPU?
A pressão estática é a capacidade da parede da ventoinha de manter o fluxo de ar contra a resistência criada por dissipadores de calor densos de GPU, backplanes de armazenamento, filtros, grelhas, cabos, condutas, aberturas do chassis e estruturas de rack, tornando-a mais útil do que o CFM máximo em ar livre na avaliação de ventoinhas para um chassis de servidor de GPU densamente equipado.
Dois ventiladores com um caudal de ar máximo semelhante podem apresentar um desempenho muito diferente no interior do mesmo compartimento. Avalie sempre a curva P-Q em função da resistência estimada ou medida do sistema.
O arrefecimento por ar é suficiente para um chassis de servidor com GPUs de alta densidade?
O arrefecimento por ar pode ser adequado para servidores com GPUs de alta densidade quando o chassis proporciona uma secção transversal de fluxo de ar adequada, pressão estática, derivação controlada, condições de entrada aceitáveis, margem térmica e redundância de ventoinhas; no entanto, a potência cada vez maior dos aceleradores pode, a longo prazo, tornar o consumo energético das ventoinhas, o ruído, o tamanho do dissipador de calor, a perda de pressão, a densidade do rack ou as temperaturas dos componentes impraticáveis para um projeto que recorra exclusivamente ao ar.
A decisão deve basear-se em cálculos térmicos e em ensaios prolongados. Não opte pelo arrefecimento líquido apenas porque parece mais avançado, e não imponha o arrefecimento a ar depois de os dados de pressão e temperatura indicarem que já não existe margem prática.
Construir a parede de ventoinhas à volta do sistema de GPU real
Uma parede de ventilação nunca deve ser o primeiro componente de refrigeração a ser escolhido.
Comece pelas GPUs.
Considere as CPUs, a memória, o armazenamento, os backplanes, a arquitetura da fonte de alimentação, o traçado dos cabos, as restrições do rack e a carga de trabalho prevista. Calcule o calor. Defina o aumento de temperatura admissível. Estime a perda de pressão. Em seguida, escolha ventoinhas capazes de fornecer o fluxo de ar necessário à pressão de funcionamento real.
E teste a ventoinha avariada.
Se estiver a desenvolver um Chassis para servidores GPU de alta densidade de 4U, 5U ou 6U, envie os modelos exatos das GPUs, o esquema da placa-mãe, a configuração de alimentação, a disposição do armazenamento, a profundidade do rack, a direção pretendida do fluxo de ar e a potência prevista do sistema à equipa de engenharia de chassis antes de definir a disposição das ventoinhas.
Explore as opções disponíveis Plataformas de chassis para servidores de GPU e IA ou solicitar um esquema personalizado de fluxo de ar e disposição das paredes de ventoinhas com base no seu equipamento de produção, em vez de uma meta genérica de CFM.
Mark Lee - Fundador e especialista em chassis para servidores (OEM/ODM)
Mark Lee é o fundador da ISTONECASE, com 20 anos de experiência no setor dos chassis para servidores. É especialista em soluções OEM/ODM para GPU e IA, chassis para montagem em rack, industriais, para montagem na parede, NAS, Mini-ITX e de múltiplos nós. A sua experiência apoia projetos de hardware personalizados para centros de dados, computação de IA, armazenamento empresarial, computação de ponta, redes e aplicações industriais.