AI 데이터센터를 처음 공부하는 사람에게 아무도 알려주지 않는 것

나는 원래 GPU를 공부하려고 했다.

삼성전자와 SKhynix 반도체 관련 뉴스에서 매일 나오는 단어들을 제대로 이해하고 싶었다.

그래서 스펙 비교부터 시작했다.

NVIDIA
> Grace(GB200,GB300) 
> Blackwell (B200, B300)
      HBM4

H100이 얼마나 빠른지, B200이 얼마나 달라졌는지, Vera Rubin이 언제 나오는지. 그런데 공부하면 할수록 이상한 감각이 들었다.

“GPU를 확보하면 끝인 줄 알았는데, 그게 시작도 아니었다.”

처음엔 GPU가 전부인 줄 알았다

AI 인프라 학습의 첫 번째 착각은 “GPU = AI 데이터센터”라는 공식이다.

틀렸다. 정확히는 절반만 맞다.

GPU는 AI 연산의 핵심 엔진이다. 하지만 엔진만 있으면 차가 달리지 않는다. 연료가 있어야 하고, 냉각이 있어야 하고, 도로가 있어야 한다.

데이터센터에서 그 역할을 하는 것들이 바로 내가 알아야할 두 번째 관문이였다.

랙 하나에 담긴 세계

데이터센터를 처음 들여다보면 랙(Rack) 구조부터 마주친다. AI는 소프트웨어가 아니라 물리적 공간에서 작동한다.

- 냉각 팬 
- 네트워크 스위치
- 방화벽
- 라우터
- 서버스토리지
- PDU(전력 분배 장치)
- UPS(무정전 전원 장치)
- 케이블 관리 시스템

모든 것이 2미터짜리 철제 구조물 하나에 들어간다.

처음엔 그냥 서버 박스들이 쌓여있는 줄 알았다. 실제로는 전력, 냉각, 네트워크, 보안이 하나의 유기적 시스템으로 설계된 정밀 구조물이다.

그리고 이 랙 하나가 제대로 작동하려면 바닥 아래 냉기(Cold Aisle)와 배출 열기(Hot Aisle)의 흐름까지 설계되어 있어야 한다.

공기의 방향이 틀리면 서버가 죽는다.

GPU 하나를 만들기까지

두 번째로 충격받은 건 공급망이었다. OpenAI가 GPT를 만들기 위해 의존하는 공급망을 따라가보면 구조가 이렇다.

GPU는 NVIDIA와 AMD가 설계한다. 그걸 TSMC, Samsung, SK Hynix가 제조한다.

완성된 칩은 Supermicro, Dell, HPE 같은 OEM이 서버로 조립한다.

서버는 Microsoft Azure, CoreWeave, Oracle Cloud 같은 클라우드 인프라 위에 올라간다.

그 시설을 Vertiv, Schneider Electric이 냉각하고 전력을 공급한다. 전력은 IREN, NextEra 같은 에너지 기업이 제공한다.

그리고 Microsoft, SoftBank, a16z 같은 투자자들이 이 전체 생태계에 자본을 넣는다.

GPU 하나가 내 손에 들어오기까지 이 모든 레이어가 작동해야 한다.

그리고 이 체인에서 하나라도 막히면 전체가 멈춘다.

공급망이 병목이지 GPU 설계가 병목이 아니다. 현재 AI 인프라의 실질적 제약은 TSMC의 CoWoS 패키징 용량이다. 월 3.5만 장에서 12~14만 장으로 확장 중이지만, NVIDIA가 이미 50~60%를 선점하고 있다.

AI 데이터센터를 구성하는 플레이어들

세 번째로 만난 세계는 생태계 지도였다. AI 데이터센터를 구축하는 주체들은 크게 이렇게 나뉜다.

컴퓨팅 레이어 — NVIDIA, AMD. GPU와 CPU를 만드는 곳. 여기가 모든 것의 출발점이다.

서버 OEM — Supermicro, Dell, HPE, Lenovo, Gigabyte. GPU를 받아서 서버와 랙으로 만드는 곳. 최근 Supermicro가 DCBBS(Data Center Building Block Solutions)를 통해 단순 OEM을 넘어 원스톱 AI 팩토리 구축 플랫폼으로 진화하고 있다.

네트워킹 — Cisco, Broadcom, Marvell. AI 클러스터 내부에서 GPU끼리 통신하게 해주는 인프라. 400G, 800G InfiniBand와 Ethernet이 경쟁 중이다.

스토리지 — Dell Technologies, NetApp, Pure Storage, VAST, WEKA. AI 모델 학습에 필요한 데이터를 저장하고 고속으로 공급하는 레이어.

냉각·전력 — Vertiv, Schneider Electric, Eaton. AI 가속기 세대가 올라갈수록 이 레이어의 중요도가 폭발적으로 증가하고 있다.

클라우드·운영 — AWS, Azure, Google Cloud, CoreWeave, NHN Cloud, Naver Cloud. 이 인프라 위에서 실제 AI 서비스를 제공하는 곳.

그리고 최근 급부상한 영역이 하나 있다. Edge Data Center — 중앙 하이퍼스케일 데이터센터에서 멀리 떨어진 곳에서 저지연으로 AI 연산을 처리하는 분산 인프라다. 5G 확산, IoT 성장, 자율주행과 맞물려 NTT, Fujitsu, Singtel, Equinix 같은 플레이어들이 아시아 태평양 시장에서 경쟁 중이다.

냉각이 경쟁력이 된 이유

공부를 계속하다 현장에서 발표를 들었을 때, 슬라이드 하나가 눈에 꽂혔다.

“Liquid cooling isn’t a leap. It’s a path.”

Blackwell, Vera Rubin 세대로 올라오면서 랙당 전력 밀도가 공랭 방식의 물리적 한계를 초과했다. 이건 성능 저하 문제가 아니다. GPU를 물리적으로 수용할 수 없는 구조적 불가능성이다.

Supermicro DLC-2가 제시하는 수치를 보면 이해가 된다.

• 전력 절감 최대 40%
• 용수 절감 최대 40%
• 열 포집률 최대 98%
• 공간 절감 최대 60%

더 흥미로운 건 Brownfield, 즉 기존 공랭 시설을 위한 전환 경로가 명확히 제시됐다는 점이다. 설비 배관 없이 랙 옆에 붙이는 L2A Sidecar만으로 200kW 냉각이 가능하다. 기존 시설을 버리지 않아도 된다.

냉각이 더 이상 인프라의 부속품이 아니다. 냉각이 경쟁력이다.

내가 공부하면서 배운 흐름

AI 인프라를 공부하는 것은 스펙을 외우는 게 아니다.

레이어를 이해하는 것이다.

GPU → 서버 → 랙 → 냉각 → 전력 → 네트워크 → 소프트웨어 → 운영. 이 모든 레이어가 하나의 체인으로 연결되어 있고, 어느 하나가 막히면 전체가 멈춘다.

그리고 이 체인을 이해하는 사람이 생각보다 적다.

엔지니어는 GPU 스펙을 안다. 사업 기획자는 시장 수치를 안다.

하지만 GPU 공급망이 왜 패키징에서 막히는지, 냉각 방식이 왜 사업 가능성을 결정하는지, OEM 납기와 통관과 Facility 준비가 어떻게 하나의 타임라인으로 연결되는지

이걸 연결해서 이해하는 사람은 드물다.

나는 지금 그 교차점을 공부하고 있다.

아직 배우는 중이지만, 하나는 확실히 알겠다.

AI 인프라를 이해하는 것과 그렇지 않은 격차는,

이 산업시장이 바뀌는 속도만큼 빠르게 벌어진다.

앞으로는 사람 인구수보다 많아질 데이터센터와 AI 사용량의 격차와 똑같다.

이 체인의 중간에 사람이 있다.

철탑 하나를 세우려면 마을 주민을 설득해야 한다. 변전소 하나를 짓는 데 인허가에 수년이 걸린다. 아무리 기술이 준비돼도, 아무리 자본이 있어도, 사람이 동의하지 않으면 전선이 깔리지 않는다.

GPU 확보 경쟁, 냉각 설계, OEM 납기

이것들이 AI 인프라의 기술적 병목이라면

인허가, 주민 협상, 송전망 건설 기간이 AI 인프라의 사회적 병목이다.

그리고 기술적 병목은 돈과 기술로 어느 정도 풀린다. 사회적 병목은 시간이 필요하다. 그 시간이 2030년이라는 숫자로 나왔다.

결국 AI 인프라는 부동산이고 에너지고 정치다

공부를 시작할 때는 반도체 스펙을 외웠다.

공부를 계속하니 냉각 구조와 공급망이 보였다.

현장 전문가들의 말을 들으니 결국 AI 인프라는 땅이고, 전선이고, 주민이고, 인허가이고, 정치라는 게 보였다.

젠슨 황이 아무리 좋은 GPU를 만들어도, 그걸 돌릴 전기가 마을 주민의 동의 없이는 들어오지 않는다.

이게 AI 인프라의 진짜 모습이다.