스펙시트 뜯어보기

로컬 LLM VRAM 개요로컬에서 대형 언어 모델을 돌리려는 사람이 가장 먼저 검색하는 문장은 대체로 "70B 모델 돌리려면 VRAM 얼마나 필요한가요"입니다. 가장 흔하게 돌아오는 답은 "파라미터 수 곱하기 2"고요. 이 답은 절반만 맞습니다. NVIDIA는 기술 블로그에서 Llama 3 70B을 FP16으로 로드하면 약 140GB, Llama 4 Scout(109B)는 약 218GB가 필요하다고 밝혔습니다. 파라미터 1개당 2바이트라는 산술과 정확히 맞는 수치입니다. 문제는 그다음입니다. 같은 회사가 NIM 문서에서 Llama 3.1 8B Instruct의 FP16 프로파일 최소 요구 사항을 24GB로 적어 두었습니다. 순수 가중치는 16GB인데 8GB가 더 붙었습니다.이 8GB의 정체가 KV 캐시와..

B200 GB200 핵심만 먼저 정리하면B200과 GB200 중 무엇을 살지는 성능표가 아니라 건물이 먼저 결정합니다. HGX B200 계열의 8-GPU 노드는 DGX B200 기준 10RU에 시스템 최대 소비전력이 약 14.3kW이고 공랭 옵션도 있습니다. 반면 GB200 NVL72는 랙 1대가 약 120kW를 쓰며 액체냉각을 전제로 설계된 랙스케일 제품입니다(NVIDIA 공식 문서 기준, 2026년 8월 10일 확인). 기존 전산실이 랙당 120kW 급전과 직접칩냉각(DCLC) 배관을 받아줄 수 없다면 GB200 NVL72는 견적을 받아볼 필요조차 없이 후보에서 빠집니다.두 번째 관문은 비용 배수입니다. NVIDIA는 GB200 NVL72가 H100 대비 LLM 학습 4배, 추론 30배, 에너지 효율..

H200 B200 차이, 무엇을 기준으로 비교해야 할까GPU 세대 비교 자료를 찾다 보면 "B200이 H200보다 4~5배 빠르다"는 문장을 흔히 만납니다. 그런데 이 숫자를 그대로 예산안에 넣으면 거의 확실하게 어긋납니다. 이유는 단순합니다. 그 비교는 B200을 NVFP4로, H200을 FP8로 돌린 결과입니다. H200이 속한 Hopper 세대에는 FP4 텐서코어 자체가 없으니, 애초에 같은 조건에서 잰 숫자가 아닙니다.같은 FP8끼리 놓고 보면 그림이 달라집니다. NVIDIA 공식 수치 기준 H200 SXM의 FP8은 3,958 TFLOPS(스파시티 적용), B200은 9 PFLOPS(스파시티 적용)로 약 2.27배입니다. SemiAnalysis가 GLM-5로 측정한 FP8 대 FP8 실측치는 약..

RTX PRO 6000 Blackwell 핵심만 먼저 정리하면RTX PRO 6000 Blackwell은 데스크톱·서버용으로 Workstation Edition, Max-Q Workstation Edition, Server Edition 3종이 나옵니다. 세 제품 모두 CUDA 코어 24,064개, 5세대 Tensor Core 752개, 4세대 RT Core 188개, 96GB GDDR7 ECC 메모리, 512-bit 인터페이스, PCIe Gen5 x16, DisplayPort 2.1 4포트로 연산 자원 구성이 완전히 같습니다. 갈리는 지점은 세 가지뿐입니다. 최대 전력(600W / 300W / 400~600W 구성 가능), 냉각 방식(관통형 / 블로워 액티브 / 무팬 패시브), 물리 크기(5.4"×12"..

RTX PRO 2000 Blackwell 개요RTX PRO 2000 Blackwell은 NVIDIA가 워크스테이션·엣지 AI 시장을 겨냥해 내놓은 Blackwell 아키텍처 기반 소형 전문가용 그래픽카드다. 가장 큰 특징은 최대 70W 전력 소비만으로 별도 보조 전원 커넥터 없이 구동된다는 점으로, 듀얼 슬롯 HHHL(Half-Height Half-Length) 폼팩터 덕분에 슬림 워크스테이션이나 소형 엣지 AI 박스에도 장착이 가능하다. 16GB GDDR7 ECC 메모리와 FP4 정밀도를 지원하는 5세대 Tensor 코어를 탑재해, 로컬 sLLM(소형 언어모델) 추론이나 CAD·3D 렌더링 같은 전문가 워크로드를 소비 전력 대비 효율적으로 처리하도록 설계됐다. 다만 16GB라는 VRAM 용량은 대형 로..

RTX PRO 4500 Blackwell, 무엇을 기준으로 비교해야 할까RTX PRO 4500 Blackwell은 2025년 3월 출시된 NVIDIA의 전문가용(Professional) GPU로, Blackwell 아키텍처(GB203 기반 4N 커스텀 공정)를 탑재하고 32GB GDDR7 메모리를 갖췄다. 문제는 이 제품이 단일 SKU가 아니라는 점이다. 동일한 GPU 다이를 쓰면서도 워크스테이션용(Workstation Edition, WE)과 서버용(Server Edition, SE)이 전력·슬롯 폭·쿨링 방식·가상화 지원까지 다르게 설계되어 있어, 무엇을 기준으로 비교하느냐에 따라 완전히 다른 결론이 나온다.또한 상위 라인업인 RTX PRO 5000 Blackwell, 전세대인 RTX 4500 Ada..

H200 NVL 개요엔터프라이즈 AI 서버 도입을 검토하는 담당자라면 H100, H200, H200 NVL 세 모델의 차이를 표 하나로 정리해두는 것이 좋습니다. 세 제품 모두 NVIDIA Hopper 아키텍처를 기반으로 하지만, 폼팩터(SXM/PCIe)와 메모리 구성에 따라 도입 조건과 견적 구조가 크게 달라집니다.특히 H200 NVL은 "SXM 8-GPU 시스템을 새로 짤 수 없는 환경을 위한 PCIe 공랭 옵션"으로 이해하는 것이 정확합니다. 연산 성능(TFLOPS) 자체는 기존 H100 NVL과 동일하고, 개선된 부분은 메모리 용량·대역폭·NVLink 확장성입니다. 이 글은 2026년 8월 7일 기준 NVIDIA 공식 제품 페이지와 공식 블로그에서 확인된 수치만 근거로 삼았고, 출처마다 표기가 갈..

DGX Spark 개요NVIDIA DGX Spark는 GB10 Grace Blackwell Superchip을 탑재한 개인용 AI 워크스테이션으로, 240W 외장 USB-PD 어댑터가 동봉된다는 스펙 때문에 도입 전 전력·발열 부담을 걱정하는 문의가 많다. 하지만 240W는 시스템이 순간적으로 요구할 수 있는 최대 정격일 뿐, 실사용 시 상시 소비하는 전력량과는 다르다. 이 글에서는 NVIDIA 공식 문서(하드웨어 오버뷰, 제품 페이지)에 명시된 확정 스펙과 ServeTheHome·Tom's Hardware·StorageReview 등 전문 매체의 실측 리뷰를 교차 검증해, 2026년 8월 기준 확인 가능한 전력·발열·소음 데이터를 정리했다. 특히 동일한 GB10 SoC를 쓰더라도 OEM 냉각 설계에 따..

RTX PRO 4000 Blackwell 개요RTX PRO 4000 Blackwell은 NVIDIA가 2025년 Blackwell 아키텍처를 기반으로 출시한 프로페셔널 워크스테이션용 GPU다. 5세대 Tensor Core와 4세대 RT Core를 탑재했고, 가장 큰 특징은 24GB GDDR7 메모리와 672GB/s 대역폭을 140~145W급 전력예산, 싱글슬롯 폼팩터 안에 구현했다는 점이다. 워크스테이션 담당자 입장에서는 "VRAM이 무조건 큰 카드"보다 "소형 케이스·저전력 시스템에 들어가는 프로급 카드"를 찾을 때 우선적으로 검토 대상이 되는 제품군이다. 이 글에서는 NVIDIA 공식 제품페이지 기준 확정 스펙, AEC Magazine·Puget Systems 등 전문 매체의 벤치마크 결과, 실사용자..

H100 H200 개요엔비디아 H100과 H200은 현재 대규모 AI 학습·추론 인프라에서 가장 널리 채택되는 데이터센터급 GPU다. 두 제품은 같은 Hopper 아키텍처(CUDA Compute Capability 9.0, sm_90)를 공유하지만, H200은 HBM3e 메모리를 탑재해 용량과 대역폭을 끌어올린 강화판이라는 점에서 도입 검토 시 항상 함께 비교되는 조합이다. 문제는 "H200이 무조건 더 빠르다"는 식의 단순 비교가 실제 벤치마크 결과와 상당 부분 어긋난다는 점이다. 2026년 8월 기준으로 공개된 MLPerf 제출 결과, 인프라 기업의 자체 실측 자료, 그리고 대규모 클러스터 운영 사례를 종합하면 GPU 선택은 "어떤 워크로드를 돌리는가"에 따라 결론이 완전히 달라진다. 이 글에서는 제..