BC카드 SLM 조합 방식 정리: 단일 LLM 대신 택한 이유와 실제 수치

BC카드 SLM 조합 방식을 공개 모델카드와 보도 수치로 대조해 정리했습니다. 단일 LLM 대신 택한 이유, 확인된 수치와 미확인 수치, 비슷한 구조를 도입할 때의 단계를 2026년 9월 기준으로 설명합니다.

BC카드SLM조합 시작 전 확인할 것

BC카드 SLM 조합 방식의 핵심은 모든 업무를 한 모델에 맡기지 않고 업무별 모델로 나누는 것입니다. BC카드는 2026년 5월 14일 미국 애틀랜타에서 열린 레드햇 서밋 2026에서 이 구조를 발표했습니다. 이 글에서는 BC카드가 단일 LLM 대신 SLM 조합을 택한 이유를 공개 자료와 대조하고, 비슷한 구조를 검토하는 팀이 어떤 순서로 판단하면 되는지 정리했습니다. 수치는 모두 2026년 9월 22일에 확인한 값입니다.

전제 세 가지를 먼저 짚고 가겠습니다. 첫째, 이름은 '소형' 모델 조합이지만 답변을 쓰는 핵심 모델은 31B·27B급 중형입니다. 허깅페이스(HF)에 공개된 BC카드 생성 모델의 주력은 31B·27B·12B입니다. 1B 안팎의 작은 모델은 개인정보 필터(1.4B), 임베딩(0.6B/4B), 추측 디코딩 보조 모델(1-2B) 같은 보조 부품에 쓰입니다. 정확히 말하면 중형 생성 모델과 소형 전용 부품의 조합에 가깝습니다.

둘째, 매체가 전한 GPU 최대 70% 절감과 속도 최대 3배 이상은 확인되지 않은 수치입니다. 무엇과 비교했는지, 어떤 GPU와 동시 요청 조건에서 쟀는지가 기사에 없습니다. BC카드 보도자료 본문과도 대조하지 못했습니다(확인 필요, T1 미확인).

셋째, 체감 효과의 상당 부분은 분업 구조보다 양자화에서 나옵니다. 2026년 7월 이후 전해진 속도 개선도 여러 모델을 조합해서가 아니라 단일 31B 모델을 양자화해서 얻은 결과입니다. 이 차이를 구분하지 않으면 도입 효과를 잘못 예상하게 됩니다.

용어 풀이
1. SLM(소형언어모델) — 특정 업무에 맞춰 규모를 줄인 언어 모델로, 비용과 속도에서 유리합니다.
2. 양자화 — 모델 숫자의 정밀도를 낮춰 용량과 메모리 사용량을 줄이는 기법입니다.
3. 추측 디코딩 — 작은 보조 모델이 다음 단어를 먼저 추측하고 큰 모델이 검증해 생성 속도를 높이는 방식입니다.

---

준비물·필요 서류

비슷한 구조를 검토하려면 부품 모델, 서빙 환경, 평가 데이터가 필요합니다. BC카드가 공개한 부품 가운데 3종은 Apache 2.0 라이선스로 받을 수 있습니다. 아래 표는 HF 모델카드 원문 기준입니다.

부품	역할	규모	공개된 성능	모델카드가 밝힌 한계
MoAI-Privacy-Filter	개인정보 탐지·마스킹	약 1.4B(MoE), 개체 29종	strict micro F1 검증셋 한국어 0.9824 / 영어 0.9708	학습·평가 데이터가 모두 합성, 실제 고객 텍스트 성능 미확인
MoAI-Embedding-0.6B	RAG 문서 검색	0.6B(4B 버전도 공개)	NDCG@10 베이스 대비 +0.051(+8.2%)	수수료·금리 같은 정확한 값은 BM25·재순위 모델 병행 권장
MoAI-gemma-4-31B-it-mxfp4	답변 생성	31B, 19.5GB	평균 성능 유지율 98.7%	자체 측정 환경, KMMLU는 5과목 표본·0-shot

생성 모델은 양자화로 62.5GB에서 19.5GB로 69% 줄었습니다. 원본은 google/gemma-4-31B-it(BF16)이고, MXFP4 W4A16으로 줄였습니다. 같은 조건에서 KMMLU 5과목 표본 점수는 78.0에서 76.0으로 2점 낮아졌습니다. 세부 유지율은 HellaSwag 98.4%, KoBEST-HellaSwag 95.4%, KMMLU 5과목 97.4%, BC-Finance QA 100.3%입니다. 모델카드에 토큰 처리량(tok/s) 수치는 없습니다.

그 밖에 준비할 것은 아래와 같습니다.

• 서빙 엔진: 모델카드가 안내하는 엔진은 vLLM입니다.
• GPU 환경 점검: 모델카드에 따르면 Blackwell GPU에서 CUDA 12.9 미만 컨테이너를 쓰면 우회 설정이 필요합니다.
• 자사 평가 데이터: 공개 벤치마크는 합성 데이터와 표본 기준이므로, 자기 업무 문서와 질문으로 다시 재야 합니다.
• 보조 검색기: 정확한 수치를 찾는 질의에는 BM25와 재순위 모델을 함께 둡니다.

HF의 BC카드 공식 조직에는 2026년 9월 22일 기준 모델 49개, 데이터셋 12개가 있습니다. 부품을 고를 때는 이 가운데 무엇이 미세조정 모델이고 무엇이 외부 모델 양자화본인지부터 가려두는 편이 좋습니다(3단계 참조).

용어 풀이
1. RAG — 답변 전에 관련 문서를 먼저 찾아 모델에 넣어주는 방식으로, 사내 규정처럼 모델이 모르는 정보를 다룰 때 씁니다.
2. 임베딩 — 문장을 숫자 벡터로 바꿔 의미가 가까운 문서를 찾게 하는 기술입니다.
3. vLLM — 대형 언어 모델을 여러 요청에 빠르게 응답하도록 서빙하는 오픈소스 추론 엔진입니다.

---

단계별 진행 순서

아래 순서는 BC카드가 공개한 구조를 기준으로 조합 방식을 설계하고 검증하는 흐름입니다. 소요 시간은 조직 규모에 따라 크게 달라서 단계 간 상대적인 부담으로만 표시했습니다.

1단계. 업무를 부품 단위로 쪼개기 (소요: 짧음)
한 요청이 어떤 작업들로 이루어지는지 먼저 나눕니다. BC카드 구조에서는 개인정보 가리기, 문서 찾기, 답변 쓰기를 각각 다른 모델이 맡습니다. BC카드는 이 전략을 택한 이유로 업무별로 모델을 따로 최적화할 수 있다는 점을 들었습니다(아이티데일리, 2026년 9월 21일 보도). 다만 부품 수만큼 운영·평가 대상도 늘어납니다.

2단계. 생성 모델의 크기와 정밀도 정하기 (소요: 중간)
비용을 가장 크게 좌우하는 단계입니다. 31B 모델을 BF16 그대로 쓰면 62.5GB, MXFP4로 줄이면 19.5GB입니다. 점수 2점(78.0→76.0)을 양보하고 메모리를 약 69% 줄이는 선택이 자기 업무에서 받아들일 만한지 판단해야 합니다. BC카드 사내 서비스 BCGPT는 27B급으로 보도됐습니다.

3단계. 공개 부품의 성격 확인하기 (소요: 짧음)
2026년 5월 14일 발표 전에 공개된 모델 38개 가운데 29개는 Qwen·Gemma 등 외부 모델의 FP8/NVFP4 양자화 재배포본이고, 미세조정 모델은 9개입니다. 매체가 쓴 '자체 개발 38개'라는 표현은 개수는 맞지만 성격은 과장됐습니다. 가져다 쓸 부품이 원본과 무엇이 다른지 모델카드로 확인합니다.

4단계. 개인정보 필터를 입구에 배치하기 (소요: 중간)
이 구조는 외부 초대형 API에 결제·개인정보 데이터를 보내기 어려운 금융사의 사정에서 출발했습니다. 필터는 개체 29종을 탐지하고, 골든셋 F1은 한국어 0.9732, 영어 0.9650입니다. 다만 실제 고객 텍스트에서의 성능은 모델카드 스스로 미확인이라고 밝혔습니다. 자사 데이터로 누락률을 반드시 재야 합니다.

5단계. 검색기 조합 구성하기 (소요: 중간)
임베딩 0.6B는 의미 검색에 강합니다. 하지만 수수료나 금리처럼 정확한 값은 BM25·재순위 모델과 함께 써야 하고, 모델카드도 이 구성을 직접 권합니다. 부품이 하나 더 늘어나니 지연 시간도 함께 측정합니다.

6단계. 서빙과 재평가 (소요: 가장 김)
vLLM으로 올리되, Blackwell GPU라면 CUDA 버전부터 확인합니다. 그다음 자기 데이터로 품질과 속도를 다시 잽니다. 참고로 2026년 7월부터 BCGPT와 MOAI에 양자화 모델을 적용한 뒤 31B 기준 처리량이 초당 205토큰에서 530토큰으로, 응답 시간이 24초에서 9초로 바뀌었다는 보도가 있습니다(핀테크경제신문, 2026년 8월 19일). 측정 GPU와 동시접속 조건이 공개되지 않아 T1으로 확인하지 못한 수치입니다. 계산해 보면 약 2.59배로, 흔히 인용되는 3배와도 차이가 납니다.

---

자주 놓치는 부분

가장 흔한 착오는 서로 다른 두 개의 3배를 같은 효과로 읽는 것입니다. 2026년 5월 발표에 나온 '속도 최대 3배 이상'은 SLM 조합 플랫폼에 대한 주장이고, 2026년 8월 보도의 속도 개선은 단일 31B 모델을 양자화한 결과입니다. 기법이 다르니 도입 효과를 추정할 때 둘을 더하거나 바꿔 쓰면 안 됩니다.

GPU 70% 절감을 자기 환경의 기대치로 삼는 것도 흔한 실수입니다. 비교 대상인 단일 LLM의 크기와 정밀도, 측정 GPU, 동시 요청 수가 모두 공개되지 않았습니다. 실제로 운영 중인 SLM이 몇 개인지, 각각 크기가 얼마인지도 매체와 공식 자료 어디에도 없습니다. 이 수치는 방향을 가늠하는 참고치로만 쓰는 편이 안전합니다.

모델카드 벤치마크를 그대로 믿는 것도 조심해야 합니다. 98.7% 유지율은 모델카드와 일치하지만 자체 측정 환경에서 나온 값입니다. KMMLU 비교표는 다른 회사 수치와 조건이 같지 않다고 모델카드가 직접 밝혔습니다. 개인정보 필터의 F1 0.97대도 합성 데이터 기준입니다.

공개 규모 수치도 서로 맞지 않습니다. 월평균 다운로드를 뉴스핌은 10만여 건, 디지털타임스는 15만여 건으로 보도했습니다. 반면 HF 공개 집계 기준 누적은 997,538건이고, 첫 모델 공개일(2024년 7월 11일)부터 26.4개월로 나누면 월 약 3.8만 건입니다. 최근 30일은 모델 11,167건과 데이터셋 1,251건을 합쳐 12,418건입니다. 데이터셋 역시 보도에는 5개로 나왔지만 발표 전 공개분은 3개, 현재는 12개입니다. 인기도를 도입 근거로 삼으려면 원 집계부터 확인하세요.

마지막으로, 부품이 늘면 운영 부담도 부품 수만큼 늘어납니다. 보도에 따르면 BC카드 조직에서는 AI 에이전트 15개에서 20개가 24시간 돌아갑니다. 단일 LLM보다 싸고 빠를 수는 있어도, 모델별 버전 관리와 평가 인력이 받쳐주지 않으면 이점이 줄어듭니다. 외부 API와 비교한 비용 수치는 이번 조사에서 확인하지 못했습니다.

---

체크리스트 정리

• 요청 흐름을 개인정보·검색·생성 부품으로 나눴는가 — 나눌 수 없는 단순 업무라면 단일 모델이 더 단순합니다.
• 생성 모델의 정밀도를 정했는가 — 31B 기준 BF16 62.5GB와 MXFP4 19.5GB의 차이, 점수 2점 양보를 감수할지 판단합니다.
• 개인정보 필터를 자사 텍스트로 재평가했는가 — 공개 F1은 합성 데이터 기준입니다.
• 정확한 수치 검색에 BM25·재순위 모델을 붙였는가 — 임베딩만으로는 수수료·금리 질의에 약합니다.
• 서빙 환경을 확인했는가 — vLLM 사용, Blackwell GPU는 CUDA 12.9 이상 컨테이너 여부를 점검합니다.
• 보도 수치의 등급을 구분했는가 — 70% 절감·3배·205→530 tok/s는 확인되지 않은 수치입니다.
• 부품별 운영·평가 인력을 확보했는가 — 모델 수가 늘어난 만큼 관리 비용도 늘어납니다.

---

📎 출처 (확인일 2026년 9월 22일)

• BC카드 보도자료 목록: https://www.bccard.com/app/card/Post.do?exec=list&langCode=ko
• HF BCCard 조직: https://huggingface.co/BCCard
• MoAI-gemma-4-31B-it-mxfp4 모델카드: https://huggingface.co/BCCard/MoAI-gemma-4-31B-it-mxfp4
• MoAI-Privacy-Filter 모델카드: https://huggingface.co/BCCard/MoAI-Privacy-Filter
• MoAI-Embedding-0.6B 모델카드: https://huggingface.co/BCCard/MoAI-Embedding-0.6B
• Red Hat 블로그(2026년 2월 20일): https://www.redhat.com/en/blog/small-models-big-impact-future-scaling-enterprise-ai-agents
• 뉴스핌(2026년 5월 18일): https://www.newspim.com/news/view/20260518000430
• 아주경제(2026년 5월 18일): https://www.ajunews.com/view/20260518085528244
• 디지털타임스(2026년 6월 17일): https://www.dt.co.kr/article/12068177
• 핀테크경제신문(2026년 8월 19일): https://www.fintechtimes.co.kr/news/article.html?no=58043
• 아이티데일리(2026년 9월 21일): https://www.itdaily.kr/news/articleView.html?idxno=241758

---

함께 보면 좋은 글

• 유클리드 3100억 투자 정리: AI 전력비 절감 구조와 '100배' 주장 검증
• 소프트뱅크 OpenAI 투자 빚 구조 총정리: 상장 연기 후 점검 순서

---

참고 자료

조사 기준일: 2026년 09월 22일

본문의 수치는 아래 자료에서 확인한 것입니다. 제조사 공식 자료(T1)와 전문 매체 실측(T2)을 구분해 표기했습니다. 가격·공급 상황은 변동이 크므로 기준일 이후의 값은 다시 확인해야 합니다.

Tier 1 (확인일 2026-09-22)
- BC카드 보도자료 목록(postNo 2086·2108·2122·2140 제목): https://www.bccard.com/app/card/Post.do?exec=list&langCode=ko
- HF BCCard 조직 페이지: https://huggingface.co/BCCard
- HF API: https://huggingface.co/api/models?author=BCCard
- MoAI-gemma-4-31B-it-mxfp4 모델카드: https://huggingface.co/BCCard/MoAI-gemma-4-31B-it-mxfp4
- MoAI-Privacy-Filter 모델카드: https://huggingface.co/BCCard/MoAI-Privacy-Filter
- MoAI-Embedding-0.6B 모델카드: https://huggingface.co/BCCard/MoAI-Embedding-0.6B
- Red Hat 블로그(2026-02-20): https://www.redhat.com/en/blog/small-models-big-impact-future-scaling-enterprise-ai-agents
Tier 2 (확인일 2026-09-22)
- 뉴스핌(2026-05-18): https://www.newspim.com/news/view/20260518000430
- 아주경제(2026-05-18): https://www.ajunews.com/view/20260518085528244
- 오피니언뉴스(2026-05-18): https://www.opinionnews.co.kr/news/articleView.html?idxno=138573
- 디지털타임스(2026-06-17): https://www.dt.co.kr/article/12068177
- 핀테크경제신문(2026-08-19): https://www.fintechtimes.co.kr/news/article.html?no=58043
- 아이티데일리(2026-09-21): https://www.itdaily.kr/news/articleView.html?idxno=241758
- HF 다운로드 통계 문서 (원문 확인 못 함): https://huggingface.co/docs/hub/en/models-download-stats