H100 H200 가격 핵심만 먼저 정리하면
결론부터 말씀드리면 "Blackwell이 나왔으니 H100 값이 떨어진다"는 기대는 2026년 상반기 데이터로 확인되지 않습니다. SemiAnalysis GPU 클라우드 가격 지수 기준 H100 온디맨드 합성 지수는 2025년 7월부터 2026년 4월까지 GPU당 $2.79~$2.83 구간에서 사실상 횡보했고, 1년 계약가는 오히려 $1.70~$2.00에서 $2.10~$2.70으로 상승했습니다. 1개월 단기 계약 구간은 2026년 3월부터 "Sold Out" 표기가 붙어 있습니다.
더 중요한 점은 "H200 시간당 얼마입니까"라는 질문에 단일 숫자로 답하는 자료는 전부 의심해야 한다는 것입니다. 2026년 8월 11일 확인 시점 기준으로 각 사업자 공식 요금표를 대조하면 같은 H200이 GPU당 $5.97(AWS Capacity Blocks)에서 $13.78(Azure 종량제 US West)까지 2.3배 벌어집니다. 계약 형태와 리전을 확정하지 않은 견적은 시작부터 두 배 이상의 오차를 안고 있는 셈입니다.
그리고 도입 검토에서 가장 자주 틀리는 지점이 하나 더 있습니다. H100 대비 H200의 가격 프리미엄은 사업자마다 2.4%에서 15%까지 갈립니다. "H200은 H100보다 15~20% 비싸다"는 통용 표현을 그대로 적용하면 CoreWeave 같은 사업자에서는 완전히 틀린 판단이 나옵니다. 아래에서 실제 공식 요금표 수치로 하나씩 짚겠습니다.
Q1. 2026년 8월 기준 H100과 H200의 클라우드 시간당 요금은 실제로 얼마입니까
먼저 전제를 분명히 해야 합니다. NVIDIA는 H100·H200의 공개 소매 정가를 발표하지 않습니다. 시중에 도는 카드 단품 $25,000~$40,000 같은 수치는 전부 리셀러·미디어 추정치이며 공식 확인 자료가 아닙니다. 따라서 신뢰할 수 있는 가격 기준선은 클라우드 사업자가 직접 게시한 공식 요금표뿐입니다.
2026년 8월 11일 확인 시점 기준, 각 사업자 공식 페이지에서 추출한 수치는 다음과 같습니다.
| 사업자 / 상품 | GPU | 인스턴스 시간당 | GPU당 환산 |
|---|---|---|---|
AWS Capacity Blocks p5.48xlarge (US East Ohio) |
H100 ×8 | $41.528 | $5.191 |
AWS Capacity Blocks p5e.48xlarge |
H200 ×8 | $47.76 | $5.97 |
AWS Capacity Blocks p5en.48xlarge (US) |
H200 ×8 | $54.920 | $6.865 |
AWS Capacity Blocks p5en.48xlarge (EU·APAC) |
H200 ×8 | $49.928 | $6.241 |
| CoreWeave HGX H100 | H100 ×8 | $49.24 | $6.16 (Spot $19.71/노드) |
| CoreWeave HGX H200 | H200 ×8 | $50.44 | $6.31 (Spot $20.93/노드) |
Azure ND96isr_H200_v5 종량제 (US East 2) |
H200 ×8 | $84.80 | $10.60 |
| Azure 동일 SKU (UK South) | H200 ×8 | $106.00 | $13.25 |
| Azure 동일 SKU (US West·Germany West Central) | H200 ×8 | $110.24 | $13.78 |
| Lambda H100 SXM (8기 구성) | H100 | — | $3.99 |
| Lambda H100 PCIe | H100 | — | $3.29 |
여기서 반드시 짚어야 할 점은 이 표의 숫자들을 같은 줄에 놓고 "누가 싸다"고 비교하면 안 된다는 것입니다. 하이퍼스케일러 종량제, 예약형 Capacity Blocks, 전문 GPU 클라우드는 서로 다른 시장입니다. Azure 종량제가 비싼 것은 바가지가 아니라 "지금 당장, 약정 없이, 언제든 끄고 켤 수 있는" 조건의 값입니다. 실제로 같은 Azure SKU를 1년 예약으로 잡으면 US East 2 총액 $396,161, 8기·8,760시간으로 나누면 GPU당 약 $5.65 수준으로 종량제의 절반 이하가 됩니다.
또 하나 흥미로운 관찰이 있습니다. Azure Spot(US West 2 $89.216/시)이 다른 리전의 종량제(US East 2 $84.80)보다 비싼 구간이 실재합니다. Spot이 "싸게 쓰는 수단"이라는 통념이 리전 단위로는 깨진다는 뜻입니다.
Q2. H100에서 H200으로 올리면 얼마나 더 내야 하고, 그만한 값어치가 있습니까
이 질문에 일반론으로 답할 수 없다는 것이 이 글의 핵심 메시지 중 하나입니다. 동일 세대·동일 폼팩터인데도 프리미엄 폭이 사업자마다 6배 이상 차이 납니다.
| 사업자 | H100 8기 | H200 8기 | 프리미엄 |
|---|---|---|---|
| CoreWeave (HGX) | $49.24/시 | $50.44/시 | +2.4% |
| AWS Capacity Blocks | $41.528/시 | $47.76/시 (p5e) | +15.0% |
| AWS Capacity Blocks (p5en 기준) | $41.528/시 | $54.920/시 | +32.2% |
| Lambda | $3.99/GPU-시 | 공개 요금 미게시 | 산출 불가 |
반대편에 놓을 성능 근거는 NVIDIA 공식 자료입니다. H200은 H100 대비 Llama 2 70B 추론 1.9배, GPT-3 175B 추론 1.6배, H200 NVL은 H100 NVL 대비 LLM 추론 최대 1.7배·HPC 1.3배로 표기돼 있습니다. 메모리는 80GB HBM3 → 141GB HBM3e(약 1.76배), 대역폭은 3.35TB/s → 4.8TB/s(약 1.4배)입니다.
여기서 판단이 갈립니다. CoreWeave처럼 2.4% 차이라면 계산할 것도 없습니다. 2.4% 더 내고 메모리 1.76배와 대역폭 1.4배를 얻는 거래를 거절할 이유가 없습니다. 반면 AWS p5en 기준 32%라면, 워크로드가 실제로 80GB 벽에 부딪히는지부터 확인해야 합니다.
부딪히는지 판별하는 기준은 명확합니다. H200은 "더 빠른 H100"이 아닙니다. 연산 TFLOPS는 H100과 완전히 동일합니다(FP64 34 / TF32 989 / FP16 1,979 / FP8 3,958, 모두 스파시티 적용치이며 dense는 약 절반). 개선은 오직 메모리 용량과 대역폭입니다. 연산 병목 워크로드라면 H200으로 바꿔도 빨라지지 않습니다. KV 캐시가 넘치거나, 모델이 80GB에 안 들어가 샤딩 오버헤드를 겪고 있거나, 대역폭에 묶여 있을 때만 그 1.9배가 나옵니다.
라이선스 조건도 계산에 넣어야 합니다. H200 NVL에는 5년치 NVIDIA AI Enterprise 구독이 포함되지만, H200 SXM은 별도 애드온입니다. AI Enterprise를 어차피 구매할 계획이었던 곳이라면 NVL 폼팩터의 실질 프리미엄은 표에 적힌 것보다 더 줄어듭니다. (단, AI Enterprise 단품 라이선스 가격으로 통용되는 GPU당 연 $3,500은 공식 확인 자료가 아닙니다.)
Q3. 조금 더 기다리면 H100 가격이 떨어지지 않겠습니까
결재를 미루는 근거로는 약합니다. 2026년 상반기 데이터가 그 반대 방향을 가리키기 때문입니다.
SemiAnalysis GPU 클라우드 가격 지수(2026년 4월 최신 데이터, T2)를 기간별로 보면 이렇습니다.
| 계약 형태 | 2025년 7월 | 2026년 4월 | 방향 |
|---|---|---|---|
| 온디맨드 합성 지수 | $2.79~$2.83 | $2.82/GPU-시 | 9개월 횡보 |
| 1년 계약가 | $1.70~$2.00 | $2.10~$2.70 | 상승 |
| 1개월 계약 | 거래 있음 | Sold Out (2026년 3월~) | 물량 소진 |
별도 조사에서는 2025년 10월 GPU당 $1.70에서 2026년 3월 약 $2.35로 약 38% 반등(1년 계약 기준, 시장 참여자 100곳 이상 설문)이 보고됐고, 국내에서는 KB증권 리서치가 이 수치를 인용 보도했습니다.
왜 안 떨어질까요. 근거 있는 요인이 세 가지 있습니다.
첫째, 이전 비용이 렌탈 차액보다 큽니다. 이미 H100·H200 위에 프로덕션 스택이 올라가 있으면 값이 올라도 놓지 않는다는 유형의 보고가 반복됩니다(시장 참여자 인용 보도, 원문 미확인·공식 확인 자료 아님).
둘째, 메모리 원가 압력이 반대 방향으로 밉니다. TrendForce 분석 기준 2026년 DRAM 가격 70% 이상 상승 전망, HBM 수요는 2025년 전년비 +130%에 이어 2026년에도 +70% 이상, HBM4 지연으로 HBM3e가 2026년 내내 주력으로 남습니다.
셋째, 수명주기상 밀려날 자산이 아닙니다. NVIDIA AI Enterprise 수명주기 문서에 Hopper(H100·H200·H800·H20)의 EOL·단종 공지는 없습니다. 오히려 Infra 8.0+ 지원 하드웨어로 명시돼 있고, 구형 하드웨어의 이관 대상으로 열거됩니다.
다만 정직하게 단서를 붙이겠습니다. 이 지수의 공개 최신 데이터는 2026년 4월이고, 이 글의 기준일인 2026년 8월까지 4개월 공백이 있습니다. "2026년 8월 현재 H100 시세는 얼마"라고 단정할 수 있는 T1 자료는 확보하지 못했습니다.
Q4. 같은 GPU인데 왜 사업자·리전마다 두 배씩 차이가 납니까
가장 극적인 사례는 한 사업자 안에서 벌어집니다. Azure의 동일 SKU Standard_ND96isr_H200_v5가 US East 2에서 $84.80, US West에서 $110.24입니다. 같은 미국 안에서 30% 차이이고, 이건 협상 결과가 아니라 공식 요금표에 그대로 적힌 정가 구조입니다. 리전을 지정하지 않은 견적은 30% 오차를 안고 출발합니다.
가격을 벌리는 축은 크게 네 가지로 정리됩니다.
| 축 | 실제 관측된 차이 | 근거 |
|---|---|---|
| 계약 형태 | Azure 종량제 $10.60 ↔ 1년 예약 약 $5.65 (GPU당) | Azure 소매가 API |
| 리전 | 같은 SKU 미국 내 30% | Azure 소매가 API |
| 사업자 계층 | AWS $5.97 ↔ Azure $13.78 (모두 H200) | 각 사 공식 요금 |
| 인스턴스 세대 | p5e $47.76 ↔ p5en $54.920 (둘 다 H200 8기) | AWS Capacity Blocks |
AWS Capacity Blocks는 고정 정가조차 아닙니다. 공식 페이지에 예약 수수료와 OS 요금이 나뉜 2단 구조이며 수급에 따라 정기 갱신된다고 명시돼 있습니다(공식 페이지 기준 다음 갱신 예정 2026년 10월). 즉 오늘 확인한 $47.76은 10월에 달라질 수 있는 값입니다.
한 가지 더 눈여겨볼 신호가 있습니다. SemiAnalysis 지수에 H200 항목은 존재하지만 2026년 4월 가격 칸이 비어 있습니다. 공개 지수가 형성될 만큼 스팟·단기 물량이 돌지 않는다는 뜻으로 읽힙니다. H200은 "시세"라는 단어를 쓰기 어려운 제품이며, 견적은 사업자별 공식 요금표를 개별로 받아 대조하는 수밖에 없습니다. Lambda가 H100 요금은 공개하면서 H200 시간당 요금은 게시하지 않고 영업 문의로 돌리는 것도 같은 맥락으로 보입니다.
Q5. "Now available"이라는데 왜 실제로는 바로 못 빌립니까
여기가 공식 발표와 시장 관측이 정면으로 갈리는 지점입니다.
공식 입장: NVIDIA H200 제품 페이지는 공급 상태를 "Now available"로 표기합니다. 2025년 9월에는 H100·H200 공급 부족 보도를 두고 NVIDIA가 "erroneous chatter"라며 부인하고, 클라우드 파트너가 모든 물량을 가동 중이며 신규 주문도 지연 없이 대응 가능하다는 취지로 공식 반박했습니다.
시장 관측: 같은 시기 SemiAnalysis 지수의 1개월 계약 구간은 2026년 3월부터 계속 "Sold Out"입니다. 실사용자 쪽에서는 "available"이 실제로는 용량 요청이나 수 주짜리 예약을 뜻했다는 불만, 온디맨드를 못 구해 더 비싼 Spot으로 우회했다는 보고가 관찰됩니다(GPU 클라우드 비교 자료·시장 보도 기준, 원문 미도달·공식 확인 자료 아님).
양쪽을 모순 없이 설명하는 해석은 하나입니다. "카드는 있으나 지금 바로 켤 수 있는 슬롯이 없다." 재고와 가용 슬롯은 다른 이야기이고, 도입 일정은 후자에 걸립니다.
그래서 실무에서 미리 잡아둘 항목이 세 가지 있습니다.
첫째, 리드타임을 견적서에 명시적으로 넣으십시오. "당장 쓸 수 있다"를 전제로 프로젝트 일정을 짜면 대기열에서 무너집니다.
둘째, 전력이 카드값 다음 항목입니다. HGX H200 8-GPU 어셈블리는 냉각 제외로도 5.5kW를 훌쩍 넘겨 소비한다는 실측 리뷰가 있습니다. 폼팩터에 따라 TDP가 두 배 갈리는 점(H100 SXM 700W ↔ H100 PCIe 350W, H200 NVL 600W)도 섀시·전원 설계를 통째로 바꿉니다. 8-GPU급 도입 후 랙 전력밀도 초과를 겪었다는 인프라 사례가 반복 보고되는 만큼, 상담에서 가장 먼저 짚어야 할 지점입니다.
셋째, 예산이 튀는 진짜 원인은 GPU 옆의 메모리일 수 있습니다. HBM3e는 서버 DDR5 대비 원래 4~5배 가격이었는데 2026년 말까지 격차가 1~2배로 좁혀질 전망입니다. 좁혀지는 방향이 서버 DDR5 급등이라는 점이 핵심입니다. GPU 카드값이 그대로여도 동반 시스템 RAM 견적이 전년 대비 크게 오를 수 있습니다. 다만 8-GPU 서버 BOM에서 RAM 비중을 공식 자료로 확인하지 못해 최종 견적 영향률은 정량화할 수 없습니다.
마지막으로 2차 시장에 대한 경고를 덧붙입니다. eBay 등에 H100·H200 개별 카드 매물이 실제로 올라오지만, 보증·펌웨어·서버 호환성 문제로 기업 도입에는 부적합하다는 지적이 따라붙습니다. 게다가 중고 H100 시세 인용치가 같은 시기 자료에서 $6,000~$15,000과 $15,000~$28,000으로 동시에 돌아다닙니다. 어느 쪽도 공식 확인 자료가 아니며, 이 편차 자체가 중고 시장에 신뢰할 기준가가 없다는 증거로만 읽어야 합니다.
정리
2026년 8월 11일 확인 시점 기준으로 H200은 AWS Capacity Blocks GPU당 $5.97, CoreWeave $6.31, Azure 종량제 $10.60~$13.78이며, 이 2.3배 격차는 사업자 실력 차가 아니라 계약 형태·리전·상품 계층이 만들어낸 구조적 층위입니다. 따라서 가격을 묻기 전에 "어느 계약 형태, 어느 리전, 몇 개월 약정"부터 확정해야 견적이 의미를 갖습니다.
H100 대비 H200 프리미엄이 CoreWeave 2.4%, AWS 15~32%로 갈리므로 "H200이 15~20% 비싸다"는 일반화는 성립하지 않습니다. 프리미엄이 작은 곳에서는 고민할 이유가 없고, 큰 곳에서는 워크로드가 실제로 메모리 병목인지부터 검증해야 합니다. 연산 TFLOPS는 두 제품이 동일하기 때문입니다.
그리고 가격 하락을 기다리는 전략은 현재 확인 가능한 데이터로 뒷받침되지 않습니다. 온디맨드는 9개월째 횡보, 1년 계약가는 상승, 단기 물량은 Sold Out, Hopper의 EOL 공지는 없고, 메모리 원가는 오르는 방향입니다. 다만 공개 지수의 최신 데이터가 2026년 4월이라 8월 시점을 단정할 근거는 없다는 점은 그대로 밝혀둡니다.
함께 보면 좋은 글
참고 자료
조사 기준일: 2026년 08월 16일
본문의 수치는 아래 자료에서 확인한 것입니다. 제조사 공식 자료(T1)와 전문 매체 실측(T2)을 구분해 표기했습니다. 가격·공급 상황은 변동이 크므로 기준일 이후의 값은 다시 확인해야 합니다.
Tier 1 — 제조사·서비스 사업자 공식 (전부 WebFetch로 본문 확인)
- NVIDIA H200 Tensor Core GPU 공식 제품 페이지 — https://www.nvidia.com/en-us/data-center/h200/ (확인일 2026-08-11)
- NVIDIA Newsroom, Q4·FY2026 실적 발표 — https://nvidianews.nvidia.com/news/nvidia-announces-financial-results-for-fourth-quarter-and-fiscal-2026 (확인일 2026-08-11, 분기 종료일 2026-01-25)
- NVIDIA AI Enterprise Lifecycle — End of Life Notices — https://docs.nvidia.com/ai-enterprise/lifecycle/latest/eol-notices.html (확인일 2026-08-11)
- Microsoft Azure Retail Prices API (Standard_ND96isr_H200_v5) — https://prices.azure.com/api/retail/prices (확인일 2026-08-11)
- AWS EC2 P5 인스턴스 공식 페이지 — https://aws.amazon.com/ec2/instance-types/p5/ (확인일 2026-08-11)
- AWS EC2 Capacity Blocks for ML 공식 요금 페이지 — https://aws.amazon.com/ec2/capacityblocks/pricing/ (확인일 2026-08-11)
- CoreWeave 공식 Pricing 페이지 — https://www.coreweave.com/pricing (확인일 2026-08-11)
- Lambda 공식 Pricing 페이지 — https://lambda.ai/pricing (확인일 2026-08-11)
Tier 2 — 전문 매체·시장 조사 (WebFetch로 본문 확인한 것 표시)
- SemiAnalysis H100 Daily & Contract Pricing Index — https://gpu-index.semianalysis.com/ (본문 확인, 최신 데이터 2026-04)
- TrendForce, Memory Wall Bottleneck: AI Compute Sparks Memory Supercycle — https://www.trendforce.com/insights/memory-wall (본문 확인, 2026-08-11)
- ServeTheHome, Aivres KR6288 NVIDIA HGX H200 Server Review — https://www.servethehome.com/aivres-kr6288-nvidia-hgx-h200-server-review-intel-xeon/ (본문 확인, 게시일 2024-12-09)
- Notebookcheck, Nvidia denies H100 and H200 GPU shortage — https://www.notebookcheck.net/Nvidia-denies-H100-and-H200-GPU-shortage-says-supply-remains-strong.1104895.0.html (본문 확인, 2025-09-04, NVIDIA Newsroom X 성명 인용)
- SemiAnalysis 공개 게시(1년 계약가 $1.70→$2.35) — https://x.com/SemiAnalysis_/status/2065422861884342420 (검색 요약으로 확인)
- KB증권 리서치, "H100 렌탈 가격 40% 반등" — https://kbthink.com/securities-view.html?docId=20260407174107500K (검색 요약으로 확인, 2026-04-07)
Tier 3 — 커뮤니티·2차 시장 (수치 근거 사용 금지, 원문 미도달)
- 중고 GPU 시세 정리 — https://hashrateindex.com/blog/used-gpu-market-pricing-deprecation-secondary-ai/ (검색 요약, 2026-08-11)
- GPU 클라우드 가격 비교 애그리게이터 다수(getdeploying, thundercompute 등) — H200 "available"의 실제 의미에 대한 이용자 불만 취지 (검색 요약, 2026-08-11)
- eBay H100/H200 개별 카드 매물 (검색 결과에서 존재만 확인, 2026-08-11)
'가격·시장' 카테고리의 다른 글
| GPT-5.6 Luna 80% 인하 vs Gemini 3.7 Flash 도입가 — 2026년 8월 AI API 단가 재계산 실무 가이드 (0) | 2026.08.18 |
|---|---|
| DeepSeek V4 Pro·Flash API 가격 인상 전후 비교와 피크 요금 회피 전략 총정리 (0) | 2026.08.16 |
| GPU 가격 동향 2026, 구매 시기 판단 기준 총정리 (0) | 2026.08.16 |
| RTX PRO 2000 Blackwell 가격 인상 영향과 국내 유통가 격차 정리 (0) | 2026.08.15 |
| RTX PRO 5000 벌크 리테일 가격차이, 구매 전 반드시 확인할 점 (0) | 2026.08.05 |