Kimi K3는 Kimi Delta Attention, Attention Residuals, 그리고 896개 전문가를 갖춘 고희소성 Stable LatentMoE 시스템을 결합해 2.8조 개의 파라미터 규모를 달성합니다. 하나의 토큰에는 16개의 전문가만 활성화되므로 전체 모델 용량은 활성 연산량보다 훨씬 빠르게 확장할 수 있습니다.
Moonshot은 이러한 아키텍처 및 학습 변경으로 Kimi K2 대비 전체 스케일링 효율이 약 2.5배 향상된다고 설명합니다. 이는 K3를 저렴하게 실행할 수 있다는 의미는 아닙니다. 이 모델은 여전히 64개 이상의 가속기를 사용하는 슈퍼노드 규모 추론을 목표로 설계되었습니다.
2026년 7월 21일 기준 아키텍처 정보 확인. Moonshot은 출시 개요를 공개했으며, 완전한 기술 보고서와 가중치는 아직 공개 예정입니다. 이 글은 공개되지 않은 구현 세부사항을 추측하지 않고 확인되지 않은 부분을 명확히 표시합니다.
아키텍처 한눈에 보기
| 구성 요소 | 공개된 Kimi K3 세부 정보 |
|---|---|
| 총 파라미터 | 2.8조 |
| 어텐션 | Kimi Delta Attention, 아키텍처 내 Gated MLA 포함 |
| 깊이 연결 | Attention Residuals |
| MoE | Stable LatentMoE |
| 전문가 수 | 896개 라우팅 전문가 |
| 활성 전문가 | 토큰당 16개 |
| 균형 조정 | Quantile Balancing |
| 옵티마이저 기법 | Per-Head Muon |
| 활성화 구성 요소 | Sigmoid Tanh Unit |
| 가중치 형식 | 양자화 인식 학습을 통한 MXFP4 |
| 활성화 형식 | MXFP8 |
| 컨텍스트 | 100만 토큰 |
| 배포 방향 | 64개 이상 가속기를 갖춘 슈퍼노드 |
Kimi Delta Attention이란?
Kimi Delta Attention, 또는 KDA는 Moonshot의 하이브리드 선형 어텐션 메커니즘입니다. 이 기술의 역할은 모든 레이어와 토큰에서 기존의 완전 어텐션에만 의존하는 방식보다 긴 시퀀스를 더 효율적으로 처리할 수 있는 기반을 제공하는 것입니다.
선형 어텐션 방식은 일반적으로 모든 토큰을 서로 비교할 때 발생하는 이차적 증가를 피하는 것을 목표로 합니다. 여기서 “하이브리드”라는 표현이 중요합니다. 정확한 K3 아키텍처는 하나의 단순한 선형 공식으로 모델을 축소하는 것이 아니라 여러 어텐션 구성 요소를 결합합니다.
KDA는 K3의 100만 토큰 컨텍스트 지원을 위한 핵심 요소이지만, 컨텍스트 길이는 시스템 전체의 특성입니다. 메모리 구조, 커널, KV 또는 상태 관리, 캐싱, 병렬 처리, 서빙 인프라 모두 긴 컨텍스트가 실제로 효율적으로 작동할 수 있는지에 영향을 줍니다.
KDA와 프리픽스 캐싱
기존 서빙 시스템은 반복되는 프리픽스에 대한 어텐션 상태를 캐시하는 경우가 많습니다. KDA는 다른 상태 및 프리필 요구사항을 도입하므로, 일반적인 프리픽스 캐시 구현이 그대로 효율적으로 작동한다고 가정할 수 없습니다.
Moonshot은 K3 출시와 함께 사용할 수 있도록 vLLM 커뮤니티에 KDA 프리필 캐시 지원을 기여했다고 밝혔습니다. 이는 공식 API가 모델 규모에도 불구하고 캐시 적중 입력 가격을 비캐시 입력보다 훨씬 낮게 제공할 수 있는 이유를 설명하는 데 도움이 됩니다.
인프라 팀은 기존 배포 환경에서 모델 이름만 변경하기보다 관련 vLLM 릴리스와 커널에서 명시적인 K3 지원이 제공될 때까지 기다려야 합니다.
Attention Residuals란?
전통적인 딥러닝 네트워크는 레이어별로 누적되는 잔차 연결을 통해 정보를 전달합니다. Moonshot은 Attention Residuals, 즉 AttnRes를 깊이에 걸쳐 표현을 선택적으로 검색하는 방식으로 설명하며, 모든 정보를 일률적으로 누적하는 방식과 차별화합니다.
의도된 이점은 매우 깊은 모델에서 정보 흐름을 더 안정적으로 만드는 것입니다. 모든 레이어가 바로 이전에 누적된 상태에만 의존하도록 강제하는 대신, AttnRes는 유용한 이전 표현을 강조할 수 있습니다.
이는 최적화와 신호 흐름이 어려워지는 2.8T 규모에서 개념적으로 중요한 부분입니다. 정확한 방정식, 제거 실험, 학습 세부사항은 기술 보고서가 공개된 이후 평가해야 합니다.
Stable LatentMoE와 896개 전문가
K3는 Mixture-of-Experts 모델입니다. 라우터는 각 토큰마다 소수의 전문가 네트워크 하위 집합을 선택합니다.
K3는 다음을 갖습니다.
- 896개의 라우팅 전문가;
- 토큰당 활성화되는 16개의 전문가;
- 공개된 다이어그램에 표시된 공유 및 라우팅 전문가 구성 요소;
- 극도의 희소성을 위해 설계된 Stable LatentMoE 프레임워크.
활성화 비율은 대략 다음과 같습니다.
16 / 896 ≈ 1.8%
이 비율만으로 활성 파라미터 수를 직접 알 수는 없습니다. 공유 레이어, 전문가 크기, 라우팅, 어텐션 및 기타 구성 요소는 단순한 비율 외의 연산량에 기여합니다. Moonshot이 공개하지 않은 상태에서 K3의 정확한 활성 파라미터 수를 주장하는 것은 검증되지 않은 정보로 봐야 합니다.
극단적인 MoE 희소성이 어려운 이유
전문가 수가 증가하면 용량은 커지지만 라우팅과 인프라 문제도 더욱 어려워집니다.
- 토큰이 인기 있는 전문가에 과부하를 일으킬 수 있음;
- 사용률이 낮은 전문가는 용량을 낭비함;
- 전문가 배치가 통신 효율에 영향을 줌;
- 부하 불균형은 가속기 활용률을 낮춤;
- 동적 형태와 호스트 동기화가 처리량을 저하시킬 수 있음;
- 학습 중 라우팅 결정이 안정적으로 유지되어야 함.
K3는 이러한 문제를 균형 조정, 정적 형태 실행, 대규모 통신 영역으로 해결합니다.
Quantile Balancing
Moonshot은 Quantile Balancing을 라우터 점수의 분위수에서 전문가 할당을 도출하는 방식으로 설명합니다. 목표는 휴리스틱 업데이트 규칙과 민감한 균형 조정 하이퍼파라미터를 피하는 것입니다.
쉽게 말하면, 하나의 수동 조정 임계값에 의존하는 대신 라우팅 점수 분포에 따라 할당을 조정합니다. 이는 896개의 전문가가 대규모 환경에서 유용성과 균등한 사용성을 유지해야 할 때 중요합니다.
Quantile Balancing이 전체 학습 시스템 내에서 어느 정도 기여하는지는 독립적인 재현 및 제거 실험을 통해 추가 검증이 필요합니다.
Per-Head Muon
Muon은 학습 과정에서 사용되는 최적화 방식입니다. K3는 이를 어텐션 헤드 단위로 확장해 각 헤드를 더 독립적으로 최적화할 수 있도록 합니다.
Moonshot이 밝힌 목적은 대규모 환경에서 더 적응적인 최적화를 수행하는 것입니다. 이는 학습 기법이며 API 기능이 아닙니다. 사용자는 추론 과정에서 Per-Head Muon을 설정하지 않습니다.
SiTU와 Gated MLA
출시 개요에서는 다음 요소도 소개합니다.
- Sigmoid Tanh Unit (SiTU): 활성화 제어 개선을 목표로 함;
- Gated MLA: 어텐션 선택성 개선을 목표로 함.
이 구성 요소들은 KDA, 잠재 전문가, 공유 전문가, 합성곱 요소, 게이팅을 결합하는 더 큰 블록 설계 안에 포함됩니다. 각 요소의 정확한 기여도는 기술 보고서와 통제된 제거 실험을 통해 확인해야 합니다.
MXFP4 가중치와 MXFP8 활성화
K3는 지도 미세 조정 단계부터 양자화 인식 학습을 적용하며 MXFP4 가중치와 MXFP8 활성화를 사용합니다.
양자화 인식 학습은 완성된 고정밀 모델을 사후 변환하는 것이 아니라 학습 과정에서 모델이 낮은 정밀도 동작에 노출되도록 합니다. 이를 통해 효율적인 추론 형식에서도 더 많은 품질을 유지할 수 있습니다.
MXFP4는 이론적으로 가중치 저장 공간을 크게 줄입니다. 파라미터당 4비트 기준으로 2.8T 원시 파라미터는 스케일, 메타데이터, 비양자화 구성 요소, 런타임 버퍼, 중복 데이터를 제외하고 약 1.4TB에 해당합니다. 여전히 일반 소비자 하드웨어의 범위를 훨씬 넘어섭니다.
완전 균형 전문가 병렬 학습
Moonshot은 K3가 정적 형태와 주요 경로에서 호스트 동기화가 없는 완전 균형 전문가 병렬 학습을 사용한다고 설명합니다. 이러한 설계는 예측 가능한 가속기 작업을 목표로 하며 CPU 조정으로 인한 지연을 줄입니다.
추론 시에도 같은 핵심 문제가 남습니다. 여러 장치에 분산된 전문가가 빠르게 통신해야 합니다. Moonshot은 더 많은 통신이 고대역폭 영역 내부에서 이루어질 수 있도록 최소 64개 가속기를 갖춘 슈퍼노드 배포를 권장합니다.
K3가 100만 토큰 컨텍스트를 지원하는 방식
100만 토큰 윈도우는 하나의 단일 구성 요소로 설명되지 않습니다. 이 기능은 다음 요소에 의존합니다.
- 효율적인 KDA 시퀀스 처리;
- AttnRes를 통한 안정적인 정보 흐름;
- 서빙 커널 및 메모리 관리;
- 프리필 캐시 지원;
- 분산 가속기 인프라;
- 긴 컨텍스트 활용 방법을 학습시키는 데이터와 목적 함수.
100만 토큰을 입력할 수 있다는 것은 모든 토큰이 동일한 수준의 어텐션을 받거나, 항상 100만 토큰 프롬프트가 최선의 설계라는 의미는 아닙니다. 긴 컨텍스트 평가는 검색, 장거리 의존성, 방해 요소, 지연 시간, 비용을 테스트해야 합니다.
Kimi K3와 Kimi K2 비교
| 영역 | Kimi K3 방향 | Kimi K2 기준 |
|---|---|---|
| 규모 | 총 2.8T 파라미터 | 이전 세대보다 작은 규모 |
| 어텐션 | KDA 하이브리드 선형 어텐션 | 이전 아키텍처 |
| 깊이 | Attention Residuals | 이전 잔차 설계 |
| MoE | 896개 전문가, 16개 활성 | 덜 극단적인 희소성 |
| 효율성 | 약 2.5배 스케일링 효율 주장 | 기준값 |
| 비전 | 네이티브 시각 이해 | 이전 세대의 다른 기능 범위 |
| 컨텍스트 | 100만 토큰 | 모델에 따라 더 낮은 이전 한계 |
2.5배 수치는 Moonshot의 전체 스케일링 효율 주장이지, API 속도 2.5배 또는 벤치마크 성능 2.5배를 보장하는 의미는 아닙니다.
아키텍처 한계와 미해결 질문
중요한 미확인 사항은 다음과 같습니다.
- 정확한 활성 파라미터 수;
- 전체 레이어 및 전문가 차원;
- 학습 토큰 수와 데이터 구성;
- 완전한 장기 컨텍스트 학습 방식;
- 독립적인 아키텍처 제거 실험;
- 구성별 지원 하드웨어 및 측정 처리량;
- 정확한 가중치 파일 크기;
- 최종 런타임 및 라이선스 지원.
이 질문들은 Moonshot의 기술 보고서와 공식 저장소가 공개된 이후 확인해야 합니다.
개발자에게 이 아키텍처가 중요한 이유
대부분의 API 사용자는 KDA나 MoE 라우팅을 직접 구현할 필요가 없습니다. 하지만 운영 측면의 영향은 이해해야 합니다.
- K3는 컨텍스트 중심 작업과 에이전트 작업에 강점을 가짐;
- 대화 상태 유지가 중요함;
- 자동 캐싱은 비용을 크게 줄일 수 있음;
- 자체 호스팅에는 극단적인 인프라가 필요함;
- 모델 동작은 총 파라미터 수만으로 판단할 수 없음;
- 새로운 런타임과 커널은 K3를 명시적으로 지원해야 함.
배포 상태는 Is Kimi K3 Open Source?에서 확인하고, 애플리케이션 통합 방법은 Kimi K3 API Guide에서 확인하세요.
자주 묻는 질문
Kimi K3의 파라미터 수는 얼마인가요?
K3는 희소 Mixture-of-Experts 아키텍처에서 총 2.8조 개의 파라미터를 갖습니다.
몇 개의 전문가가 활성화되나요?
Moonshot에 따르면 896개의 라우팅 전문가 중 16개가 활성화됩니다. 공유 및 비전문가 구성 요소도 연산에 기여합니다.
Kimi Delta Attention이란 무엇인가요?
KDA는 효율적인 시퀀스 처리와 긴 컨텍스트 확장을 위한 Moonshot의 하이브리드 선형 어텐션 메커니즘입니다.
Kimi K3가 100만 토큰 컨텍스트를 지원하는 이유는 무엇인가요?
이 윈도우는 하나의 기능이 아니라 아키텍처, 학습, 캐싱, 커널, 메모리 관리, 분산 서빙이 함께 작용해 구현됩니다.
Kimi K3는 소비자용 GPU에서 실행할 수 있나요?
전체 모델은 소비자용 GPU에서 현실적으로 실행하기 어렵습니다. Moonshot은 64개 이상의 가속기를 사용하는 슈퍼노드 배포를 권장합니다.