H100 H200 개요
엔비디아 H100과 H200 GPU는 대규모 언어모델 학습·추론 인프라를 구축하려는 기업이라면 반드시 마주치는 선택지다. 문제는 스펙 비교만으로 끝나지 않는다는 데 있다. 수억 원대 서버를 직접 구매할지, 클라우드나 Neocloud(GPU 특화 클라우드 사업자)에서 시간 단위로 임대할지는 스펙보다 재무 구조가 더 크게 가른다.
2026년 8월 기준 시장 상황을 보면, 임대 쪽은 CoreWeave 같은 사업자가 시간당 가격을 공식 홈페이지에 투명하게 공개하는 반면, 구매 쪽은 DGX H100·DGX H200 같은 통합 시스템의 정가를 엔비디아가 여전히 공식 발표하지 않고 있다. 이 비대칭 구조가 의사결정을 어렵게 만드는 핵심 원인이다. 확정된 공식 수치(NVIDIA·AWS·CoreWeave 공식 자료)와 업계 추정치를 구분해서 제시하고, 어떤 조건에서 임대가 유리하고 어떤 조건에서 구매가 유리한지 손익분기 관점에서 짚어본다.
1. H100·H200 스펙 차이, "몇 % 빠르다"는 숫자의 함정
H200을 "더 빠른 H100"으로 소개하는 마케팅 자료가 많지만, 정확한 설명은 아니다. 엔비디아 공식 자료 기준으로 H200 SXM의 연산 성능(FP64·FP32·TF32·FP16·FP8 TFLOPS)은 H100 SXM과 완전히 동일하다. 개선된 부분은 메모리 용량(80GB→141GB, 약 1.76배)과 대역폭(3.35TB/s→4.8TB/s, 약 1.4배)에 그친다.
| 항목 | H100 SXM | H200 SXM | 비고 |
|---|---|---|---|
| 메모리 용량 | 80GB HBM3 | 141GB HBM3e | 약 1.76배 |
| 메모리 대역폭 | 3.35TB/s | 4.8TB/s | 약 1.4배 |
| FP8 TFLOPS(스파시티 적용) | 3,958 | 3,958 | 동일 |
| NVLink | 900GB/s | 900GB/s | 동일 |
| 최대 TDP | 700W | 600W(NVL 기준) | 폼팩터별 상이 |
실제 워크로드별 향상폭은 조건마다 크게 갈린다. 엔비디아 공식 발표로는 700W 표준 조건에서 Llama 2 70B 추론 기준 최대 28% 향상, 1,000W 커스텀 냉각 조건에서는 43~45%까지 확인된다. 반면 Lambda·Baseten의 실측 벤치마크(2026-07-31 확인)에서는 장문맥 입력(32,784 토큰) 처리량이 3.4배까지 벌어지고, 단문맥 출력(128토큰) 구간에서는 BF16 기준 사실상 동률이었다. 컴퓨트 병목 워크로드라면 H200으로 바꿔도 체감 성능 향상은 거의 없다. 장문맥·대용량 배치 추론처럼 메모리 병목 워크로드에서만 H200의 이득이 극대화된다. 도입 전 자사 워크로드가 어느 쪽에 가까운지부터 파악해야 스펙 숫자에 속지 않는다.
2. 임대 가격 구조, CoreWeave·AWS 데이터로 본다
임대 쪽은 Neocloud 사업자를 중심으로 가격이 공개돼 있다는 점이 구매 대비 가장 큰 장점이다. CoreWeave 공식 가격 페이지(2026-07-31 확인) 기준 수치는 다음과 같다.
| 상품 | 구성 | 온디맨드 요금 | GPU당 환산 |
|---|---|---|---|
| HGX H100 | 8-GPU, 640GB | $49.24/시간 | $6.16/시간 |
| HGX H200 | 8-GPU, 1,128GB | $50.44/시간 | $6.31/시간 |
| H100 스팟(북미) | - | $19.71/시간 | - |
| H200 스팟(북미) | - | $20.93/시간 | - |
예약(committed) 용량 계약을 맺으면 온디맨드 대비 최대 60% 할인이 적용된다(구체 조건은 영업 협의 필요). 반면 AWS EC2 P5.48xlarge는 H100 SXM 8장 구성(GPU메모리 총 640GB, NVSwitch 900GB/s, EFA 3,200Gbps)의 스펙은 공식 페이지에서 확인되지만, 온디맨드 시간당 요금은 게시돼 있지 않아 콘솔·견적 문의로만 확인 가능하다. "가격 투명성"만 놓고 보면 하이퍼스케일러보다 CoreWeave 같은 GPU 특화 사업자가 비교 견적을 잡기 더 수월한 이유다.
소프트웨어 비용도 빠뜨리면 안 된다. NVIDIA AI Enterprise 구독 라이선스(자체관리 시스템 기준)는 1년 $4,500/GPU, 2년 $9,000/GPU, 3년 $13,500/GPU로 책정돼 있으며, 클라우드 종량제는 $1/GPU/시간에 CSP 인스턴스 비용이 별도로 붙는다. 임대 견적을 받을 때는 이 라이선스 비용이 포함된 패키지인지부터 확인해야 한다.
3. 구매 손익분기, 가동률과 감가상각 연수가 가른다
구매 쪽 정가는 여전히 비공개다. DGX H100·DGX H200 통합 시스템의 공식 정가는 2026년 8월 기준으로도 발표되지 않았고, 시중에 도는 $300K~$520K대 추정치는 리셀러 추정일 뿐 공식 확인된 수치가 아니다. 구매 여부를 판단하려면 결국 총소유비용(TCO) 추정에 의존할 수밖에 없다.
전문 뉴스레터 SemiAnalysis의 추정(2026-07-31 확인, 유료 콘텐츠 일부 포함)에 따르면 4년 감가상각·부채이자 13% 가정 시 H100 서버의 완전부담원가(자본비+시설·전력)는 시간당 약 $1.5로 추정된다. 이는 시장 일반 대여가(시간당 약 $2, 수요 과열 구간은 $3 이상)보다 낮아, 언뜻 "구매가 항상 유리하다"는 결론처럼 보인다. 하지만 이 추정치는 가동률이 상당히 높다는 전제 아래에서만 성립하며, 이 전제 자체가 업계에서 논쟁 중이다.
특히 GPU 감가상각 연수를 몇 년으로 볼 것인가가 논쟁의 핵심이다. CoreWeave는 자사 재무공시(10-K/S-1 인용 보도 기준, 2026-07-31 확인)에서 GPU·기술장비를 2023년 1월부터 4년에서 6년 정액법으로 연장해 상각하고 있다. 감가상각 연수를 4년으로 잡으면 연간 상각비 부담이 커져 구매의 매력이 줄고, 6년으로 잡으면 반대로 구매가 유리해진다. 투자자 마이클 버리(Michael Burry)가 제기한 "AI 데이터센터 감가상각 과소계상" 논쟁도 바로 이 지점을 겨냥한 것이다. 다만 이는 아직 검증된 회계 사실이 아니라 진행 중인 시장 논쟁임을 분명히 해야 한다.
업계 통설로는 가동률이 50~60% 밑으로 떨어지면 임대가 유리하다고 알려져 있으나, 이 임계치 자체가 공식(T1) 수치가 아니라 업계 추정치라는 점은 감안해야 한다. 전력·냉각·인력·리드타임(도입 지연) 비용은 SemiAnalysis 추정에 온전히 반영되지 않았을 가능성이 크므로, 실제 견적에서는 이 항목들을 별도로 합산해야 한다.
4. 임대 vs 구매, 옵션별 비교표
의사결정을 단순화하기 위해 세 가지 조달 경로를 워크로드 특성별로 비교하면 다음과 같다.
| 조달 경로 | 가격 투명성 | 적합한 시나리오 | 유의사항 |
|---|---|---|---|
| 하이퍼스케일러(AWS/Azure/GCP) | 낮음(견적 기반) | 단기 실험, 기존 클라우드 계약(EDP) 통합 필요 시 | 예약 할인율(업계 보도 최대 70%대)은 공식 미확인 |
| GPU 특화 Neocloud(CoreWeave 등) | 높음(공식 가격 공개) | 6개월~3년 중기 프로젝트, 예측 가능한 워크로드 | 예약 약정 시 최대 60% 할인(공식 확인) |
| 직접 구매(DGX/HGX 온프레미스) | 매우 낮음(정가 비공개) | 가동률 70% 이상, 4년 이상 장기 보유 예상 시 | 감가상각 연수 가정에 따라 결론 자체가 뒤집힐 수 있음 |
경쟁 GPU인 AMD MI300X는 이번 조사에서 공식 스펙 재확인이 완료되지 않아 비교 대상에서 제외했다. B200 등 차세대 제품과의 비교도 함께 고려해야 하는데, ServeTheHome 보도(2026-07-31 확인)에 따르면 8×B200이 Llama 2 70B 인터랙티브 시나리오에서 8×H200 대비 3.1배 처리량을 보인다. 3년 이상 장기 구매를 검토한다면 H200 구매가 차세대 B200 전환 시점과 얼마나 근접한지도 함께 따져봐야 감가상각 기간 내내 구형 장비를 떠안는 상황을 피할 수 있다.
5. 도입 전 반드시 확인해야 할 FAQ
Q. H200이 H100보다 몇 % 빠른가요?
단일 숫자로 답할 수 없다. 엔비디아 공식 기준 최대 28~45%(전력 설정에 따라 상이), 실측 벤치마크 기준으로는 워크로드에 따라 11%~340%까지 편차가 크다. 장문맥·대용량 배치 추론이 아니라면 H200 도입 효과가 기대보다 작을 수 있다.
Q. 3년 약정 임대가 항상 구매보다 유리한가요?
아니다. "3년 임대가 항상 유리하다"는 주장과 "4~6년 보유 시 구매가 항상 유리하다"는 주장이 동시에 유포되고 있는데, 양쪽 모두 가동률·감가상각 연수 가정을 생략한 채 단정하는 경우가 많다. 자사의 예상 가동률과 보유 기간부터 먼저 확정한 뒤 비교해야 한다.
Q. GPU 리드타임(공급 대기 기간)은 얼마나 걸리나요?
"5~6개월"이라는 통설이 업계 블로그에 반복 언급되지만, 특정 벤더·시점에 한정된 수치이며 공급 상황에 따라 크게 변동한다(2026-07-31 기준, 공식 확인 자료 아님). 견적 시점마다 재확인이 필요하다.
Q. NVIDIA AI Enterprise 라이선스는 GPU 모델별로 가격이 다른가요?
공식 페이지에는 GPU 모델 구분 없이 일괄 기재돼 있어, H100·H200 간 차등 여부는 2026년 8월 기준으로도 확인되지 않았다. 견적 시 명시적으로 문의해야 한다.
정리
H100·H200 도입은 스펙 비교가 아니라 재무 구조 비교의 문제다. H200의 성능 우위는 워크로드에 따라 11%에서 340%까지 요동치므로 자사 워크로드가 메모리 병목형인지 컴퓨트 병목형인지부터 파악해야 한다. 임대와 구매의 손익분기는 가동률과 감가상각 연수, 이 두 변수에 좌우되는데 두 변수 모두 지금 업계에서 논쟁 중이다. 임대 쪽 정가는 CoreWeave 등 공식 페이지로 투명하게 공개된 반면 구매 쪽 정가는 여전히 비공개다. 이 비대칭을 인지한 상태에서 다수의 견적을 비교하는 것이 2026년 8월 현재 가장 현실적인 접근이다.
함께 보면 좋은 글
참고 자료
조사 기준일: 2026년 07월 31일
본문의 수치는 아래 자료에서 확인한 것입니다. 제조사 공식 자료(T1)와 전문 매체 실측(T2)을 구분해 표기했습니다. 가격·공급 상황은 변동이 크므로 기준일 이후의 값은 다시 확인해야 합니다.
Tier 1 (WebFetch로 직접 확인)
- NVIDIA AI Enterprise 라이선싱·프라이싱 가이드 — https://docs.nvidia.com/ai-enterprise/planning-resource/licensing-guide/latest/pricing.html (2026-07-31)
- AWS EC2 P5 인스턴스 공식 페이지 — https://aws.amazon.com/ec2/instance-types/p5/ (2026-07-31)
- CoreWeave 공식 가격 페이지 — https://www.coreweave.com/pricing (2026-07-31)
- NVIDIA Developer Blog, H200 MLPerf 추론 기록 — https://developer.nvidia.com/blog/nvidia-h200-tensor-core-gpus-and-nvidia-tensorrt-llm-set-mlperf-llm-inference-records/ (2026-07-31)
Tier 2 (WebFetch/전문매체 확인)
- Lambda 기술 블로그, Baseten 파트너 벤치마크 — https://lambda.ai/blog/partner-spotlight-evaluating-nvidia-h200-gpus-for-ai-inference-with-baseten (2026-07-31)
- ServeTheHome, MLPerf Inference v5.0 — https://www.servethehome.com/mlperf-inference-v5-0-released-amd-intel-nvidia/ (2026-07-31)
- SemiAnalysis, GPU Cloud Economics Explained — https://newsletter.semianalysis.com/p/gpu-cloud-economics-explained-the (2026-07-31, 일부 유료)
- SemiAnalysis, The Great GPU Shortage(1년 임대가 인덱스) — https://newsletter.semianalysis.com/p/the-great-gpu-shortage-rental-capacity (검색 요약 기준)
- HPCwire, MLPerf Training 4.0 보도 — https://www.hpcwire.com/2024/06/12/mlperf-training-4-0-nvidia-still-king-power-and-llm-fine-tuning-added/ (직접 열람 실패, 403 — 검색 요약만 활용, 인용 최소화)
Tier 3 / 미검증 시장 논쟁 (수치 근거로 미사용, 맥락 참고용)
- Michael Burry / CoreWeave 감가상각 논쟁 관련 보도 다수(Yahoo Finance, invezz, deepquarry 등), 확인일 2026-07-31
'도입·구매 판단' 카테고리의 다른 글
| RTX PRO 5000 48GB 72GB 차이 완벽 비교, 워크스테이션 구매 전 필독 (1) | 2026.08.05 |
|---|---|
| RTX PRO 6000 블랙웰 도입 전 체크할 스펙 총정리 (0) | 2026.08.05 |
| H100 H200 도입 전 워크로드 병목부터 확인해야 하는 이유 (1) | 2026.08.02 |
| 엔터프라이즈 GPU 도입 전 H100·H200 스펙 비교 가이드 (0) | 2026.07.31 |
| RTX 스파크 지금 살까, DGX 스파크와 헷갈리면 안 되는 이유 (0) | 2026.07.30 |