AI 컴퓨팅 프로젝트를 위한 맞춤형 고밀도 인클로저

주요 내용

• 고밀도 AI 인클로저는 랙 유닛 자체만을 기준으로 설계되어서는 안 되며, GPU, CPU, 메인보드, 전원 공급 장치(PSU), 네트워킹, 스토리지 및 냉각 아키텍처 전체를 고려하여 설계되어야 합니다.
• NVIDIA는 전력 요구량이 100kW를 훨씬 상회하는 현재의 랙 규모 AI 플랫폼을 소개하며, AI 인프라가 기존의 서버 밀도 가정을 얼마나 뛰어넘었는지를 보여주고 있다.
• GPU 간격 확보는 단지 첫 번째 기계적 점검 사항일 뿐입니다. 카드 간격, 고정 방식, 케이블 굽힘 반경, 전원 커넥터, 공기 흐름 저항, 유지보수 접근성 등도 마찬가지로 중요합니다.
• 섀시 내부 레이아웃이 확정되기 전에 냉각 구조를 결정해야 합니다.
• GPU 밀도가 높다고 해서 무조건 설계상 좋은 것은 아닙니다. 케이스를 약간 더 크게 만들면 더 나은 지속적 연산 성능을 얻을 수 있을 뿐만 아니라 현장 유지보수도 훨씬 수월해질 수 있습니다.
• 시제품 테스트에서는 양산 전에 실제와 같은 열 부하, 팬 작동 상태, 케이블 배선, GPU 무게, 전원 공급 장치(PSU) 구성 및 예상되는 유지보수 절차를 재현해야 합니다.

AI 하드웨어는 “고밀도’의 의미를 바꿔 놓았다.”

몇 년 전만 해도 서버 인클로저 프로젝트는 마더보드 치수, 드라이브 베이, PCIe 슬롯, 전원 공급 장치(PSU) 형식, 랙 높이부터 시작되곤 했습니다. 이러한 요소들은 여전히 중요합니다. 하지만 AI 컴퓨팅 프로젝트에는 또 다른 난관이 따릅니다. 작은 공간에 다수의 고출력 가속기가 밀집되어 있고, 전류 수요가 매우 높으며, 무거운 카드, 빽빽한 케이블 뭉치, 공간이 제한된 방열판, 고속 네트워킹, 그리고 냉각 하드웨어가 불과 몇 밀리미터에 불과한 공간을 놓고 경쟁해야 하는 상황입니다.

그러면 업무 내용이 완전히 달라집니다.

이제 문제는 더 이상 단순히, “이 케이스에 GPU 8개를 넣을 수 있을까요?”

더 나은 질문은 다음과 같습니다:

“이 섀시에 시스템 전체를 모두 수용하면서도 열적, 전기적, 구조적 또는 유지보수상의 문제를 일으키지 않고 지속적인 작업 부하 상태에서 시스템을 계속 가동할 수 있을까요?”

그것이 바로 진지한 [... ]의 디자인 철학입니다. 맞춤형 AI 서버 섀시.

AI 랙 밀도가 새로운 차원으로 도약했다

현재의 랙 규모 AI 플랫폼들은 인클로저 설계에 더 많은 관심이 필요한 이유를 보여준다.

NVIDIA의 GB300 NVL72 레퍼런스 아키텍처는 72개의 Blackwell Ultra GPU와 36개의 Grace CPU를 통합하고 있습니다. NVIDIA에 따르면, 이 랙은 수냉식이며 8개의 33kW 전원 셸프를 사용하며, 최대 전체 랙 기준 최대 142 kW.

그건 일반적인 서버실 밀도가 아닙니다.

NVIDIA의 별도 ‘미션 컨트롤(Mission Control)’ 전원 관리 설명서에는 설계된 랙 전력이 GB200 NVL72의 경우 120 kW, GB300 NVL72의 경우 135 kW, 각 노드의 최대 전력 예산은 각각 약 6.7 kW와 7.5 kW입니다. 이 수치는 전력 예산의 맥락에서 제시된 것이므로, 모든 최대 랙 사양과 상호 교환 가능한 것으로 간주해서는 안 되지만, 현대적인 AI 컴퓨팅이 매우 작은 물리적 공간을 통해 막대한 전력을 소비할 수 있다는 동일한 공학적 현실을 잘 보여줍니다.

더 넓은 맥락에서 볼 때 추세는 같은 방향을 가리키고 있습니다. 국제에너지기구(IEA)의 ‘에너지와 AI’ 분석 보고서에 따르면, 전 세계 데이터센터의 전력 소비량은 약 2030년까지 945 TWh 기본 시나리오에 따르면, 주로 AI 도입에 힘입어 가속화 서버의 전력 사용량은 약 연간 30%, 반면 기존 서버의 경우 약 9% 수준입니다.

케이스 설계자와 OEM 구매 담당자들에게는 이것이 중요한 문제입니다.

하드웨어의 고성능화가 가속화됨에 따라, 전력 밀도, GPU 부하, 냉각 용량, 케이블 관리 및 유지보수 접근성이 최우선적인 기계적 요구 사항이 되는 프로젝트가 늘어나고 있습니다.

판금부터가 아니라 작업량부터 시작하세요

맞춤형 인클로저 프로젝트를 좌초시키는 가장 빠른 방법 중 하나는 컴퓨팅 아키텍처가 안정화되기도 전에 CAD 작업을 시작하는 것입니다.

그러지 마세요.

섀시 지오메트리가 확정되기 전에, 엔지니어링 팀은 예상되는 워크로드와 시스템 내부에 탑재될 주요 구성 요소를 파악해야 합니다.

최소한 다음 항목에 대해서는 접근을 차단하십시오:

• GPU 모델 및 수량
• GPU 크기 및 슬롯 폭
• GPU 전원 커넥터 위치
• 마더보드 모델 및 도면
• CPU 플랫폼 및 쿨러 구조
• DIMM 높이 및 키프아웃 영역
• PCIe 라이저 또는 스위칭 아키텍처
• NVMe 및 스토리지 요구 사항
• 네트워크 어댑터 및 상호 연결 장치
• PSU 유형, 수량 및 중복 구성
• 예상 최대 시스템 전력
• 팬 크기, 두께, 압력 요구 사항 및 제어 방식
• 공기 냉각 또는 액체 냉각 방식
• 해당되는 경우 라디에이터, 매니폴드, CDU 또는 호스에 대한 요구 사항
• 전면 및 후면 I/O
• 랙 깊이
• 레일 배열
• 유지보수 지침
• 목표 생산량

An AI 서버 인클로저 이 통합 패키지를 중심으로 설계되어야 합니다. 나중에 한 부분을 변경하면 나머지 설계 전반에 연쇄적인 영향을 미칠 수 있습니다.

GPU를 교체할까요?

커넥터의 위치가 바뀔 수 있습니다.

전원 공급 장치(PSU)를 교체해야 할까요?

케이블 묶음의 구성이 달라집니다.

네트워크 카드를 하나 더 추가할까요?

이제 라이저의 형상이 바뀝니다.

팬 두께를 늘릴까요?

갑자기 GPU 전원 케이블을 구부릴 만한 적절한 곳이 없어졌다.

밀리미터는 순식간에 쌓입니다.

GPU 적합성은 단순히 길이 × 높이 × 너비 이상의 의미를 지닙니다

당연한 말처럼 들리겠지만, 이로 인해 막대한 손실을 초래하는 실수가 발생합니다.

섀시 안에 GPU가 들어간다고 해서 그 GPU가 섀시 안에서 작동한다는 뜻은 아닙니다.

~을 평가할 때 GPU 서버 섀시, 명목상의 카드 크기를 넘어 실제 설치 가능 범위를 확인해야 합니다.

여기에는 카드 본체, 방열판, 전원 커넥터, 커넥터 굽힘 반경, 인접 카드와의 간격, 마더보드 슬롯 위치, 고정 부품, 라이저 위치, 팬 벽, 케이블 배선, 그리고 기술자가 카드를 제거할 때 따라야 할 방향 등이 포함됩니다.

거대 가속기는 또 다른 문제, 즉 중력을 야기합니다.

긴 카드의 경우 PCIe 연결부 및 후면 장착 부위에 상당한 하중을 가할 수 있습니다. 운송 중 발생하는 진동은 이러한 문제를 더욱 악화시킵니다. 실험실 작업대에서 정지 상태로 작동할 때는 문제가 없던 GPU라도, 국제 운송, 랙 설치, 반복적인 유지보수 과정, 또는 고속 팬에서 발생하는 진동을 겪은 후에는 전혀 다른 작동 양상을 보일 수 있습니다.

고밀도 시스템의 경우, GPU 고정 장치는 섀시 구조의 일부로 설계되어야 하며, 출하 이틀 전에야 누군가가 깜빡하고 추가하는 부속품이 되어서는 안 됩니다.

냉각 아키텍처는 초기 단계에서 확정되어야 한다

열은 CAD 도면이 얼마나 멋지게 보이는지 신경 쓰지 않습니다.

밀집형 서버는 기계적으로는 완벽할 수 있지만, 열 관리 측면에서는 형편없을 수 있다.

공랭식 시스템의 경우, 섀시에는 의도적으로 설계된 공기 흐름 경로가 필요합니다. 공기는 하드웨어가 예상하는 지점으로 유입되어 저항이 큰 부품들을 통과한 뒤, 고온 구역을 반복적으로 순환하지 않고 인클로저 밖으로 배출되어야 합니다.

그거 간단해 보이네요.

그렇지 않습니다.

케이블이 방해가 됩니다. 드라이브 케이지가 방해가 됩니다. 전원 공급 장치(PSU) 하우징이 방해가 됩니다. 키가 큰 DIMM, 라이저, 구조용 빔, 라디에이터 브래킷, 커넥터, 필터, 백플레인, 심지어 위치가 부적절한 판금 플랜지까지 모두 기류 경로의 압력을 저하시킬 수 있습니다.

A 고밀도 AI 랙 따라서 팬의 위치만 고려하여 설계할 수는 없습니다.

“팬 6명”이라는 말만으로는 거의 아무것도 알 수 없습니다.

팬의 치수, 팬 곡선, 정압, 유량 손실, 흡입 온도, 배기 경로, 제어 전략, 구성 요소 임피던스, 그리고 팬 하나가 정지할 경우 어떤 현상이 발생하는지 알고 싶습니다.

유용한 질문들이네요.

공랭식 대 수랭식

~로 이사하기 수냉식 서버 섀시 기계 설계 업무를 없애는 것은 아닙니다. 업무의 성격만 달라질 뿐입니다.

이제 호스 배치가 중요해졌습니다.

빠른 분리 방식은 중요합니다.

누수 감지는 중요합니다.

최소 굽힘 반경은 중요합니다.

매니폴드의 위치는 중요합니다.

기술자는 관련 없는 하드웨어를 분리하거나 전자 부품을 물에 적시지 않고도 루프를 분리하고 다시 연결할 수 있는 충분한 공간이 필요합니다.

NVIDIA의 GB300 NVL72 아키텍처 자체는 액체 냉각과 더불어 랙 단위 및 트레이 단위의 누설 감지 기능을 활용하는데, 이는 냉각수 관리가 단순히 GPU에 볼트로 고정된 콜드 플레이트가 아니라 시스템 아키텍처의 일부임을 상기시켜 주는 유용한 사례입니다.

전력 밀도는 기계적 레이아웃을 변화시킨다

전력 배전은 흔히 전기 분야의 주제로 다루어집니다.

밀폐된 공간 안에서는 이 또한 매우 기계적인 문제이기도 합니다.

고전류 전원은 더 큰 커넥터, 더 많은 케이블, 더 엄격한 굽힘 제한, 추가적인 버스바 고려 사항, 더 높은 커넥터 온도, 그리고 “중요한” 부품이 설치된 후 남은 공간을 통해 배선을 배치할 수 있는 여지가 줄어든다는 것을 의미합니다.

전력 아키텍처에는 물리적 공간이 필요합니다.

예약하세요.

여러 개의 가속기를 중심으로 설계된 섀시는 중복 전원 공급 장치, 고전류 분배, 접근성이 뛰어난 커넥터, 안전한 케이블 분리, 전원 공급 장치(PSU) 구역 주변의 공기 흐름, 그리고 서버를 분해하지 않고도 고장 난 모듈을 교체할 수 있는 공간이 필요할 수 있습니다.

여기에서 고밀도 서버 섀시 문서상으로는 부품 목록이 완벽하게 호환되는 것처럼 보여도 문제가 발생할 수 있다.

모든 게 딱 맞아떨어집니다.

사용할 만한 것이 하나도 없다.

밀도에 대한 나의 생각을 바꿔놓은 30~40kW 랙 이야기

최근 업계 토론 내용을 살펴보던 중, 고밀도 랙 냉각에 관한 r/sysadmin의 오래된 게시글을 우연히 발견했는데, 그 내용이 계속 마음에 남았습니다.

원글 작성자는 여러 대의 NVIDIA DGX 시스템과 스토리지 장비를 보유하고 있었으며, 약 30~40kW의 전력을 하나의 랙에 어떻게 수용할지 고민하고 있었습니다. 한 참가자는 캐비닛을 최대 약 36kW까지 가동한 경험이 있다고 설명하며, 냉각 시스템이 고장 났을 때의 여유 시간이 극도로 짧을 수 있다고 말했습니다. 즉, 해당 특정 구축 환경에서 많은 시스템의 경우 열 차단이 발생하기까지 약 20초밖에 남지 않을 수 있다는 것이었습니다. 이 스레드의 다른 엔지니어들도 냉각 가용성, 시설 전력, 비상 정지, 배관, 유지보수 전문 지식, 그리고 하나의 캐비닛에 과도한 열을 집중시킬 때 발생하는 위험 등 동일한 우려 사항을 반복해서 제기했습니다.

그 논의가 제 관심을 끌었던 이유는, 구매자들이 때때로 한 가지 매력적인 질문으로 맞춤형 AI 프로젝트를 시작하기 때문인데, 바로 다음과 같은 질문입니다:

이 공간에 얼마나 많은 연산 능력을 집어넣을 수 있을까요?

첫 번째 질문이 틀렸네요.

더 나은 표현은 다음과 같습니다:

이 인클로저는 실제 시설 환경에서 얼마나 많은 컴퓨팅 부하를 지속적이고 안전하며 유지보수가 용이하게 처리할 수 있습니까?

섀시는 CAD 화면에서는 정말 멋져 보일 수 있습니다. 모든 부품이 딱 맞아떨어지고, 모든 랙 유닛이 꽉 채워져 있습니다.

그러면 업무가 본격적으로 시작됩니다.

팬 램프.

케이블 온도가 상승합니다.

GPU 배기구가 다른 열원과 충돌합니다.

한 개의 구성 요소가 속도를 조절합니다.

한 기술자가 카드를 빼내려다, 세 개의 케이블과 매니폴드가 카드를 가로막고 있음을 발견한다.

그건 고밀도 공학이 아닙니다.

그것이 바로 고밀도 패키징입니다.

차이가 있습니다.

많은 구매자들이 듣기 싫어하는 부분이 바로 이것입니다

최대 부품 밀도는 맞춤형 AI 인클로저의 경우 종종 바람직하지 않은 설계 목표가 됩니다.

네, 제가 그렇게 말했죠.

“4U에 GPU 8개”라는 문구는 비교표에서 아주 인상적으로 보입니다.

“랙 유닛당 최대 연산 성능”은 조달 프레젠테이션에서 아주 인상적으로 보입니다.

하지만 GPU를 하나 더 추가한다고 해도, 그로 인해 공기 흐름이 나빠지거나, 열로 인한 성능 저하가 발생하거나, 커넥터에 접근하기 어려워지거나, 전원 배선이 과부하되거나, 현장 수리가 어려워지거나, 실험실과 같은 이상적인 환경 조건에서 벗어나면 여유가 전혀 없어진다면, 그 추가된 GPU는 무용지물일 뿐입니다.

우승한 우리라고 해서 무조건 가장 작은 것은 아닙니다.

많은 프로젝트의 경우, 완성된 시스템을 다루기 힘들게 만드는 ‘밀도 경쟁’에서 이기는 것보다, 예측 가능한 공기 흐름, 견고한 GPU 지원, 깔끔한 전원 분배, 체계적인 케이블 배선, 손쉬운 팬 접근성, 그리고 기술자가 작업하기에 충분한 공간을 갖춘 약간 더 큰 섀시를 제작하는 편을 택합니다.

최고의 고밀도 인클로저는 작업 부하를 감당할 수 있는 것입니다.

테트리스 게임에서 이기는 사람이 아닙니다.

유지보수성은 설계 단계에서 고려되어야 한다

CAD 검토 중에 간단한 질문을 해보세요:

무엇이 먼저 고장 나며, 어떻게 교체해야 할까요?

그런 다음 그 답을 실제로 시뮬레이션해 보세요.

기술자가 GPU를 분리하지 않고도 팬을 교체할 수 있나요?

전원 공급 장치(PSU)를 뒤쪽에서 빼낼 수 있나요?

냉각수 호스를 건드리지 않고도 네트워크 어댑터에 접근할 수 있나요?

관련 없는 케이블을 분리하지 않고도 GPU를 세로 또는 가로 방향으로 꺼낼 수 있나요?

서버 전체를 분리하지 않고도 전면 패널을 수리할 수 있습니까?

누수가 발생하는 배관 부품을 신속하게 수리할 수 있나요?

부팅 드라이브에 문제가 생겼을 때, 컴퓨팅 섹션을 건드리지 않고 해당 드라이브만 교체할 수 있나요?

이 질문들은 그다지 매력적이지 않습니다.

그들은 돈을 아깁니다.

50대, 100대, 혹은 500대의 장비를 구축하는 시스템 통합업체의 경우, 장비 한 대당 서비스 시간이 단 몇 분만 더 소요되어도 실질적인 운영 비용으로 이어집니다. 또한 접근 순서가 부적절하면 기술자가 관련 없는 문제를 수리하는 과정에서 인근의 케이블, 커넥터, 카드 또는 배관을 손상시킬 가능성도 높아집니다.

바로 그 때문에 맞춤형 랙 마운트 인클로저 조립뿐만 아니라 분해도 고려하여 설계되어야 한다.

생산 엔지니어들은 이를 한 번만 제작합니다.

고객님께서 이 제품을 수년 동안 사용하실 수도 있습니다.

GPU가 커질수록 구조 설계가 더욱 중요해진다

AI 서버는 용량이 큽니다.

때로는 엄청나게 무겁기도 합니다.

섀시는 조립, 운송, 랙 장착, 정상 작동 및 유지보수 과정에서 이러한 하중을 견뎌내야 합니다. 긴 GPU 카드, 여러 개의 전원 공급 장치(PSU), 대형 마더보드, 구리 방열판, 라디에이터, 매니폴드, 고밀도 저장 장치 등은 모두 질량 중심을 이동시킬 수 있습니다.

확인:

• 판재 두께
• 굽힘 형상
• 국부 보강
• GPU 브라켓
• PSU 지원
• 레일 장착 위치
• 하중 처리
• 랙 삽입 힘
• 섀시 처짐
• 비틀림 강성
• 배송 방향
• 낙하 및 진동 위험

괄호는 그 자체만 보면 별것 아닌 것처럼 보일 수 있습니다.

그 미세한 변형을 길고 무거운 카드 전체에 적용하고, 운송 중 발생하는 진동을 더한 다음, 이를 생산 배치 전체에 걸쳐 반복한다고 가정해 봅시다.

이제 그게 중요해.

시제품 테스트는 기존의 가정을 뒤엎어 보려고 노력해야 한다

시제품은 단순히 나사 구멍이 잘 맞는지 확인하기 위한 금속 샘플에 그치는 것이 아닙니다.

적극적으로 활용하세요.

실제 마더보드를 장착하십시오.

실제 GPU를 장착하십시오.

실제 운영 환경과 동등한 사양의 전원 케이블을 사용하십시오.

완성된 서버에 장착될 것과 동일한 라이저, 드라이브, 네트워크 어댑터, 팬, 라디에이터, 튜빙, 전원 공급 장치(PSU), 레일 및 전면 패널 어셈블리를 설치하십시오.

그런 다음 그 까다로운 조건들을 테스트해 보세요.

기계적 검증

부품 장착 상태, 카드 고정 상태, 케이블 배선, 커넥터 접근성, 섀시 강성, 레일 결합 상태, 덮개 장착 상태 및 정비 순서를 확인하십시오.

열적 검증

대표적인 워크로드를 실행합니다. 예상되는 주변 환경 조건 하에서 흡기 및 배기 온도, 구성 요소 온도, 팬 작동 상태, 과열 구역 및 성능을 측정합니다.

전원 검증

PSU 부하, 이중화 동작, 케이블 온도, 커넥터 온도, 전원 분배 및 시동 동작을 확인하십시오.

오류 검증

팬 하나가 멈추면 어떻게 될까요?

냉각수 펌프나 설비 순환계에 문제가 발생하면 어떻게 되나요?

한 대의 전원 공급 장치(PSU)에 고장이 발생하면 어떻게 되나요?

필터가 부분적으로 막히면 어떻게 되나요?

주변 온도가 올라가면 어떻게 되나요?

배송 확인

열 테스트를 통과했지만, 배송 시 섀시 내부에서 GPU의 위치가 어긋난 상태인 기기는 여전히 설계상 결함이 있는 제품입니다.

대량 출하 전에 포장, 고정, 내진성, 브라켓, 체결 부품 및 대형 부품 지지 기능을 테스트하십시오.

견적 요청서(RFQ)에는 무엇을 포함해야 할까요?

부실한 견적 요청서(RFQ)는 추측을 낳습니다.

가정은 수정으로 이어진다.

수정 작업에는 시간이 걸립니다.

맞춤형 AI 섀시 프로젝트를 진행할 때는, 단순히 빈 금속 케이스에 대한 견적을 요청하기보다는 공급업체가 전체 시스템 아키텍처를 평가할 수 있도록 충분한 정보를 제공하십시오.

유용한 견적 요청서(RFQ) 패키지에는 다음 내용이 포함되어야 합니다:

입력 정보가 완전할수록 기계적 충돌을 더 빨리 발견할 수 있습니다.

CAD에서 12mm 간섭을 찾는 데 드는 비용은 저렴합니다.

하지만 공구 제작, 제작, 조립, 국제 배송 과정을 거친 후에야 비로소 찾을 수 있는 것은 아닙니다.

밀도 수치가 아니라 지속적인 컴퓨팅 성능을 중심으로 시스템을 구축하십시오

고밀도 AI 시스템은 기계, 열, 전기 및 설비 공학 분야를 하나의 케이스 안에 통합하도록 요구합니다.

바로 그 때문에 맞춤형 AI 서버 섀시 절대 랙 높이와 GPU 개수만으로 지정해서는 안 됩니다.

먼저 전체 자재 명세서부터 시작하십시오.

열을 모델링하십시오.

전원 공급을 위한 공간을 확보하십시오.

GPU를 지원합니다.

케이블 배선 경로를 계획하십시오.

냉각 아키텍처를 조기에 결정하십시오.

정비가 가장 필요할 가능성이 높은 부품을 중심으로 접근 경로를 설계하십시오.

그런 다음 빈 케이스가 아니라 실제 시스템의 시제품을 제작하십시오.

AI 연산 밀도는 계속 높아질 것이다. IEA가 예측한 고성능 서버의 전력 소비 증가 추세와 현재 100kW 이상의 랙 아키텍처는 이미 이러한 추세를 시사하고 있다.

이러한 밀도를 잘 처리해내는 제조업체와 시스템 통합업체는 단순히 더 작은 장치를 만드는 업체들이 아닐 것입니다.

무엇이 일어나야 하는지 이해하게 될 사람들은 바로 그들일 것입니다 작업 부하가 100%에 도달하면 해당 박스 내부에서.

자주 묻는 질문

맞춤형 AI 서버 섀시란 무엇인가요?

간단한 답변: 맞춤형 AI 서버 섀시는 GPU, CPU, 마더보드, 스토리지, 네트워킹, 전원, 냉각 및 랙 요구 사항의 특정 조합을 기반으로 설계된 인클로저입니다.

일반적인 서버 케이스와는 달리, 이 제품의 내부 레이아웃은 가속기 간격, 구조적 지지력, 공기 흐름, 수냉 시스템, 케이블 배선, 이중화 전원 공급 및 유지보수 접근성을 고려하여 최적화될 수 있습니다.

서버 섀시가 “고밀도”라고 할 수 있는 기준은 무엇인가요?

간단한 답변: 고밀도 서버 섀시는 제한된 랙 공간 내에 대량의 컴퓨팅, 스토리지 또는 가속기 하드웨어를 탑재하면서도 적절한 전원 공급, 냉각, 구조적 지지 및 유지보수 접근성을 유지합니다.

밀도는 단순히 구성 요소 수만으로는 평가해서는 안 되며, 실제 사용 가능한 지속 성능을 기준으로 평가해야 합니다.

GPU 서버의 경우 4U가 5U나 6U보다 항상 더 나은가요?

간단한 답변: 아닙니다. 더 작은 섀시는 랙 밀도를 높일 수는 있지만, 5U나 6U 섀시가 냉각 성능, GPU 간격, 케이블 배선, 확장성 및 유지보수 접근성 면에서 더 우수할 수 있습니다.

적절한 폼 팩터는 GPU 유형, 전력, 냉각 방식, 메인보드 레이아웃 및 운영 요구 사항에 따라 달라집니다.

AI 서버는 언제 수냉식 냉각 방식을 사용해야 할까요?

간단한 답변: 열 밀도, 가속기 전력, 랙 밀도, 소음 제한 또는 기류 제약으로 인해 기존의 공랭식 냉각을 효율적으로 관리하기 어려울 때, 수냉식 냉각이 매력적인 대안이 됩니다.

또한 이 결정에는 설비 용수, CDU 요구 사항, 매니폴드, 누수 관리, 유지보수 절차 및 이중화도 고려되어야 합니다.

섀시 제조업체가 AI 인클로저를 설계하기 전에 어떤 정보가 필요한가요?

간단한 답변: GPU, 메인보드, CPU, 전원 공급 장치(PSU), 저장 장치, 네트워킹, PCIe, 냉각 시스템, 랙 치수, I/O, 레일 사양, 생산량 및 목표 시장을 제시해 주십시오.

“8-GPU AI 서버”와 같은 일반적인 표현보다 정확한 부품 도면이 훨씬 더 유용합니다.”

고밀도 서버에서 GPU 유지율이 왜 중요한가요?

간단한 답변: 고성능 GPU는 작동, 운송 및 유지보수 과정에서 PCIe 슬롯, 브래킷 및 섀시 구조에 기계적 부하를 가할 수 있습니다.

적절한 고정 장치는 카드의 이동을 제어하고, 기계적 하중을 분산시키며, 커넥터나 기판이 손상될 위험을 줄여줍니다.

GPU의 최대 개수를 주요 설계 목표로 삼아야 할까요?

간단한 답변: 보통은 그렇지 않습니다. 더 나은 목표는 열 성능, 안정적인 전원 공급, 구조적 안정성, 그리고 적절한 유지보수 접근성을 유지할 수 있는 범위 내에서 달성 가능한 최고 수준의 연산 밀도입니다.

결과적으로 시스템의 성능이 저하되거나 유지보수가 어려워진다면, GPU를 하나 더 추가하는 것은 별 의미가 없습니다.