NVIDIA Nemotron 3 Diarization의 실시간 다화자 인식 구조를 AOSC 스피커 캐시, 지연시간 4단계별 DER, 화자 수별 정확도, 라이선스, ASR 결합 제약을 기준으로 비교했습니다(2026년 9월 기준).
Nemotron3화자분리, 무엇을 기준으로 비교해야 할까
화자 4명 이하 회의를 1초 안팎 지연으로 분리하려는 경우, 현재 공개된 오픈 웨이트 화자분리 모델 가운데 Nemotron 3 Diarization을 가장 먼저 검토할 만합니다. 2026년 9월 23일 공개된 이 모델은 DIHARD III 기준 0.32초 지연 설정에서도 DER 13.55%를 기록했습니다. 30.4초 오프라인 설정(12.73%)과 비교하면 차이는 약 6.4%입니다. 이 글에서는 Nemotron 3 Diarization의 실시간 다화자 인식 구조를 살펴보고 지연시간·화자 수·라이선스·ASR 결합 조건을 비교합니다. 한국어 성능은 공개된 측정이 없어 다루지 않습니다.
기준을 따로 세우는 이유는 발표 문구와 실제 사용 조건이 어긋나기 때문입니다. "최대 8명", "리더보드 1위", "실시간"은 모두 사실이지만 측정 조건이 서로 다릅니다. 리더보드 1위는 오프라인 모드에서 나온 결과입니다. 8명 지원이 정확도까지 보장하지는 않고, 실시간 받아쓰기 파이프라인의 공식 경로도 아직 4명까지입니다.
판단 기준은 네 가지입니다. 첫째, 허용 가능한 지연시간이 몇 초인지. 둘째, 한 녹음에 등장하는 화자 수가 4명을 넘는지. 셋째, 운영 환경에 쓸 수 있는 정식 저장소 라이선스인지. 넷째, 받아쓰기(ASR)와 어떻게 합칠 것인지입니다. 아래에서는 이 네 기준을 공식 모델 카드·NVIDIA 블로그(T1) 수치와 제3자 벤치마크(T2) 수치로 나눠 정리했습니다. 모든 수치는 공개 이틀 뒤인 2026년 9월 25일에 조사했고, 아직 후속 정정은 나오지 않았습니다.
용어 풀이
1. 화자 분리(Diarization) — 음성에서 "언제 누가 말했는지"를 구간별로 나누는 작업으로, 받아쓰기와는 별개입니다.
2. DER — 화자 분리 오류율로, 놓친 발화·잘못 잡은 발화·화자 혼동을 합산하며 낮을수록 좋습니다.
3. RTFx — 실시간 대비 처리 배속으로, 1시간 음성을 몇 배 빠르게 처리하는지를 뜻합니다.
비교 기준 정리
기준표를 읽으려면 Nemotron 3 Diarization의 구조부터 알아야 합니다. 파라미터는 약 100M이고, 31층 Transformer 인코더에 RoPE를 쓰며, 여기에 Conv1D 업샘플링과 스피커 캐시를 더했습니다. 입력은 16kHz 단일 채널 음성입니다. 10ms 간격 멜 스펙트로그램을 8배 다운샘플링해 80ms 프레임 단위로 처리하고, 프레임마다 화자 8명 각각의 발화 확률을 담은 [T, 8] 행렬을 출력합니다.
실시간 처리는 두 장치가 떠받칩니다. 도착 순서 스피커 캐시(AOSC)는 앞선 청크에 나온 화자 정보를 처음 말한 순서대로 정해진 채널에 보관하고, FIFO 큐는 최근 프레임의 맥락을 공급합니다. AOSC는 2025년 7월 24일 arXiv에 제출된 Streaming Sortformer 논문(2507.18446)이 제안한 방식입니다. 화자를 임의 번호 대신 등장 순서로 정렬하기 때문에, 청크 사이에서 화자 번호가 뒤바뀌는 순열 문제가 생기지 않습니다.
| 비교 항목 | 기준값 | 단위 | 주의점 |
|---|---|---|---|
| 지연시간 | 30.4 / 1.04 / 0.64 / 0.32 | 초 | 한 체크포인트에서 설정만 바꿈 |
| 청크 길이 | 340 / 9 / 6 / 3 | 80ms 프레임 | 짧을수록 반응은 빠르고 DER은 상승 |
| 최대 화자 수 | 8 | 명 | 5명 이상 구간은 오류가 약 3배 |
| 정확도 | DIHARD III 전체 DER | % | 영어 중심 평가, 한국어 미측정 |
| 처리 속도 | RTFx | 배 | 배치 32·torch.compile 조건 |
| 실행 환경 | NeMo Framework v3.0 | — | Ampere 이상 GPU, Linux 권장 |
| 라이선스 | OpenMDW-1.1 | — | 정식 저장소에만 해당 |
표에서 가장 자주 잘못 읽히는 항목은 최대 화자 수와 라이선스입니다. 8명은 출력 채널 수일 뿐, 8명 회의에서도 같은 정확도가 나온다는 뜻은 아닙니다. 라이선스는 저장소 이름에 따라 갈리니, 운영 환경에 올리기 전에 반드시 저장소 경로를 대조해야 합니다.
용어 풀이
1. AOSC(도착 순서 스피커 캐시) — 화자를 처음 말한 순서대로 고정 채널에 저장해, 스트리밍 중에도 화자 번호가 유지되게 하는 장치입니다.
2. 순열 문제 — 청크를 나눠 처리할 때 같은 사람이 앞 청크에서는 1번, 뒤 청크에서는 2번으로 바뀌는 현상입니다.
3. RoPE — 토큰 위치 정보를 회전 방식으로 넣는 위치 임베딩으로, 긴 입력에서 상대 위치를 다루는 데 쓰입니다.
옵션·유형별 비교
첫 번째 비교 축은 지연시간 설정입니다. NVIDIA 모델 카드의 DIHARD III 수치에서 지연을 30.4초에서 0.32초로 줄여도 전체 DER은 0.82%p만 오릅니다. 차이가 훨씬 큰 쪽은 화자 수입니다. 같은 설정에서도 5-9명 구간 DER이 1-4명 구간의 약 3배입니다.
| 지연 설정 | 청크(프레임) | DIHARD III 전체 DER | 1-4명 DER | 5-9명 DER | RTFx(신모델 / 이전 모델) |
|---|---|---|---|---|---|
| 30.4초(오프라인) | 340 | 12.73% | 9.13% | 27.58% | 15,113배 / 2,619배 |
| 1.04초(저지연) | 9 | 13.18% | 공개값 없음 | 공개값 없음 | 865배 / 136배 |
| 0.64초(초저지연) | 6 | 13.28% | 공개값 없음 | 공개값 없음 | 579배(미확인) |
| 0.32초(극저지연) | 3 | 13.55% | 9.69% | 29.49% | 292배(미확인) |
0.64초와 0.32초 설정의 RTFx(579배, 292배)는 MarkTechPost 보도에만 나오고, NVIDIA 블로그와 모델 카드에서는 찾지 못했습니다. T1에서 확인되지 않은 값이므로 확인 필요 상태로 봐야 합니다.
두 번째 축은 이전 모델보다 얼마나 나아졌는가입니다. NVIDIA 블로그에 따르면 diar_streaming_sortformer_4spk-v2.1과 비교한 평가 조건 8개의 상대 DER 감소율 단순평균은 41.0%입니다. 그런데 범위가 9.0%(CALLHOME-Part2)부터 65.2%(NOTSOFAR1 MHM)까지 넓고, 2화자 CALLHOME 30.4초 설정에서는 DER이 5.68%에서 5.98%로 오히려 나빠졌습니다. 이 "8개"가 데이터셋 수인지 평가 조건 수인지는 원문을 더 대조해 봐야 합니다.
세 번째 축은 경쟁 시스템 사이에서의 위치입니다. 아래는 Voice Arena Diarization Bench v1 초기 결과이며, 조건은 원거리 마이크 영어 대화 139세션(21.97시간), 겹침 구간 채점, collar 0ms입니다.
| 시스템 | 유형 | DER | 화자 수 정확도 |
|---|---|---|---|
| Nemotron 3 Diarization | 오픈 웨이트 | 14.72% | 83.5% |
| DiariZen WavLM Large | 오픈소스 | 19.34% | 56.8% |
| pyannoteAI Precision-3 | 상용 API | 20.56% | 공개값 확인 못 함 |
| pyannoteAI Precision-2 | 상용 API | 23.41% | 공개값 확인 못 함 |
| Streaming Sortformer 4spk v2 | NVIDIA 이전 모델 | 24.61% | 공개값 확인 못 함 |
| ElevenLabs Scribe v2 | ASR 부속 | 40.71% | 공개값 확인 못 함 |
| AssemblyAI Universal-3.5 Pro | ASR 부속 | 44.64% | 공개값 확인 못 함 |
| Deepgram Nova-3 | ASR 부속 | 67.13% | 공개값 확인 못 함 |
1위와 2위의 상대 격차는 약 24%(23.9%)입니다. 다만 1위 기록은 오프라인 실행 모드에서 나왔고, 지연을 몇 초로 설정했는지는 표시되지 않았습니다. 화자 수 정확도만 따지면 DER 42.06%인 Meta Muse Voice Transcribe가 90.6%로 Nemotron(83.5%)보다 높습니다.
상황별 추천
NVIDIA GPU를 자체 운영하면서 1초 안팎 지연이 필요하다면 Nemotron 3 Diarization의 1.04초 또는 0.64초 설정이 가장 균형 잡혀 있습니다. DIHARD III 기준 DER이 13.18-13.28%로 오프라인 설정과 큰 차이가 없습니다. 1.04초 설정의 RTFx는 865배로, 이전 모델(136배)보다 훨씬 빠릅니다. 실행하려면 NeMo Framework v3.0, Linux, Ampere 이상 GPU가 필요합니다.
주로 화자 5명 이상 회의를 처리한다면 지원 인원만 보고 고르면 안 됩니다. 5-9명 구간 DER은 30.4초 설정에서 27.58%, 0.32초 설정에서 29.49%로 1-4명 구간의 약 3배입니다. 이런 회의가 핵심 업무라면 자기 회의 녹음으로 DER부터 다시 측정하세요. 실시간 표시에만 기대지 말고 회의가 끝난 뒤 오프라인 재처리를 함께 돌리는 설계가 안전합니다.
실시간 다화자 받아쓰기까지 필요하다면 파이프라인 제약부터 확인하세요. 이 모델은 받아쓰기를 하지 않고 화자 라벨과 타임스탬프만 출력합니다. 받아쓰기는 Nemotron 3.5 ASR(600M, 2026년 6월 4일 공개, 한국어 포함 40개 언어·지역, 청크 80/160/320/560/1120ms)이나 Parakeet TDT 0.6B v3가 담당합니다. 문제는 NeMo의 공식 다화자 받아쓰기 경로(PR #16277, 2026년 9월 18일 병합)가 Streaming Sortformer v2.1을 쓰고 max_num_of_spks=4로 설정돼 있다는 점입니다. 8명까지 쓰려면 결합 로직을 직접 붙여야 합니다. NVIDIA 가이드는 각 단어의 중간 시점에 말하고 있던 화자에게 그 단어를 배정하는 방식을 안내합니다.
GPU를 운영할 여력이 없다면 상용 API가 현실적입니다. pyannoteAI Precision-3는 Voice Arena DER이 20.56%로 Nemotron보다 높지만, 인프라를 직접 관리할 필요가 없습니다. 가격은 이번 조사에서 확인하지 못했습니다.
서빙 비용부터 가늠하고 싶다면 Baseten이 공개한 수치를 참고할 만합니다. RTX PRO 6000 한 장으로 1시간 스트림을 화자 분리만 하면 500개 이상, 받아쓰기까지 포함하면 190개를 동시에 처리했고, 비용은 음성 1시간당 약 1센트였다고 합니다(2026년 9월 23일 기준). 다만 Baseten은 발표 파트너여서 완전히 독립적인 측정은 아닙니다.
| 독자 상황 | 추천 선택 | 핵심 근거 |
|---|---|---|
| 4명 이하 회의, 1초 안팎 지연 | Nemotron 1.04초 또는 0.64초 설정 | DER 13.18-13.28% |
| 5명 이상 회의 중심 | 자체 데이터 재측정 후 오프라인 재처리 병행 | 5-9명 DER 27.58-29.49% |
| 실시간 받아쓰기 결합 | 4명 이하는 NeMo 공식 경로, 그 이상은 직접 결합 | max_num_of_spks=4 |
| GPU 운영 불가 | pyannoteAI 등 상용 API | DER 20.56%, 가격 미확인 |
| 2화자 통화 녹음 이전 | 기존 v2.1 유지 여부부터 재측정 | CALLHOME 5.68%→5.98% |
자주 하는 실수
첫 번째 실수는 preview 저장소를 운영 환경에 올리는 것입니다. 정식 저장소 nvidia/Nemotron-3-Diarization은 OpenMDW-1.1이지만, Nemotron-3-Diarization-preview에는 NVIDIA Software and Model Evaluation License가 적용됩니다. preview 쪽은 내부 시험·평가에만 쓸 수 있고, NVIDIA GPU 시스템에서만 실행할 수 있으며, 재배포도 금지입니다. 평가 결과를 공개하려 해도 NVIDIA의 사전 서면 동의가 있어야 합니다. 저장소 이름이 비슷해 헷갈리기 쉬운데, 잘못 받으면 곧바로 라이선스 위반입니다.
두 번째 실수는 리더보드 1위를 실시간 성능으로 받아들이는 것입니다. Voice Arena의 DER 14.72%는 오프라인 실행 모드에서 잰 값입니다. 0.32초처럼 실시간에 가까운 설정으로 측정한 제3자 결과는 아직 없습니다. 결과에는 초기 결과라는 표시가 붙어 있고, NVIDIA도 v1 평가가 끝나면 수치가 바뀔 수 있다고 밝혔습니다. 벤치마크가 영어 원거리 녹음만 다루기 때문에 한국어 회의에 그대로 적용할 수도 없습니다. 모델 카드의 언어 목록에 한국어는 없으며, 한국어 화자 분리 DER은 확인 필요 상태입니다.
세 번째 실수는 평균 개선율만 믿고 한꺼번에 교체하는 것입니다. 이전 모델 대비 41.0% 개선은 평균값일 뿐이고, 2화자 CALLHOME에서는 오히려 성능이 떨어졌습니다. 콜센터처럼 2화자 통화가 주력인 도메인이라면 교체하기 전에 자기 데이터로 DER을 다시 재보세요. Baseten이 밝힌 AISHELL-4 저지연 DER(신모델 9.8%, v2.1 27.2%)도 NVIDIA 1차 자료에서는 찾지 못한 값입니다. 도입 근거로 쓰려면 먼저 확인이 필요합니다.
용어 풀이
1. collar — 발화 경계 주변에서 오차를 봐주는 허용 구간으로, 0ms면 경계 오차까지 모두 채점해 더 엄격합니다.
2. 오픈 웨이트 — 학습된 가중치 파일을 내려받아 직접 실행할 수 있게 공개한 모델로, 사용 범위는 라이선스가 정합니다.
정리
Nemotron 3 Diarization은 100M 파라미터 모델 하나로 지연을 0.32초부터 30.4초까지 설정할 수 있습니다. 지연을 줄여도 DER 손실이 약 6.4%에 그친다는 점이 구조상 가장 큰 강점입니다. 반면 5명 이상 구간에서 늘어나는 오류, 4명으로 묶인 공식 받아쓰기 파이프라인, 저장소마다 다른 라이선스, 아직 측정되지 않은 한국어 성능은 도입 전에 따로 확인해야 합니다. 결론적으로 화자 4명 이하·NVIDIA GPU 자체 운영·정식 저장소 사용이라는 세 조건을 모두 갖췄다면 1.04초 또는 0.64초 설정부터 검토하는 것이 합리적입니다.
참고 자료
조사 기준일: 2026년 09월 25일
본문의 수치는 아래 자료에서 확인한 것입니다. 제조사 공식 자료(T1)와 전문 매체 실측(T2)을 구분해 표기했습니다. 가격·공급 상황은 변동이 크므로 기준일 이후의 값은 다시 확인해야 합니다.
Tier 1 (확인일 2026-09-25)
- https://huggingface.co/nvidia/Nemotron-3-Diarization
- https://huggingface.co/blog/nvidia/nemotron-diarization
- https://huggingface.co/nvidia/Nemotron-3-Diarization-preview
- https://arxiv.org/abs/2507.18446
- https://github.com/NVIDIA-NeMo/Speech/pull/16277
- https://huggingface.co/nvidia/nemotron-3.5-asr-streaming-0.6b
- https://huggingface.co/nvidia/multitalker-parakeet-streaming-0.6b-v1
- https://voicearena.com/diarization-bench
- https://www.baseten.co/blog/nvidia-nemotron-3-diarization/
- https://runtimewire.com/article/nvidia-nemotron-diarization-eight-speakers-open-weights
- https://www.marktechpost.com/2026/09/23/nvidia-releases-nemotron-3-diarization/
'업계 동향' 카테고리의 다른 글
| OpenAI Daybreak 우크라이나 접근 구조: Blue·Red 등급과 도입 조건 비교 (0) | 2026.09.26 |
|---|---|
| Private AI Compute 서버 메모리 암호화 구조와 감사 결과 검증 방법 (0) | 2026.09.25 |
| 트럼프 유엔 AI 규제 거부, 기업이 챙길 EU·한국 규제 일정 (0) | 2026.09.24 |
| 대웅제약 AI 신약개발 DAISY 구조 총정리: DAVID 8억 종부터 ADMET까지 (0) | 2026.09.24 |
| OpenAI 수학 자문그룹 AGMAI 정리: AI 수학 성과 검증 방법 (0) | 2026.09.24 |