Kimi K3 通过结合 Kimi Delta Attention、Attention Residuals，以及拥有 896 个专家的高稀疏 Stable LatentMoE 系统，将模型规模扩展至 2.8 万亿参数。每个 token 仅激活 16 个专家，使模型总容量能够远快于实际计算量增长。
Moonshot 表示，这些架构与训练上的改进，使 Kimi K3 的整体扩展效率约为 Kimi K2 的 2.5 倍。但这并不意味着 K3 的运行成本低廉。该模型仍然面向配备 64 个或更多加速器的超节点（Supernode）级推理环境设计。
架构信息截至 2026 年 7 月 21 日核实。 Moonshot 已发布产品发布概览，而完整的技术报告和模型权重仍计划后续公开。本文会明确标注尚未公开的信息，而不会臆测缺失的实现细节。
架构速览
| 组件 | 已公布的 Kimi K3 信息 |
|---|---|
| 总参数量 | 2.8 万亿 |
| Attention | Kimi Delta Attention，架构中包含 Gated MLA |
| 深度连接 | Attention Residuals |
| MoE | Stable LatentMoE |
| 专家数量 | 896 个路由专家 |
| 激活专家 | 每个 token 激活 16 个 |
| 负载均衡 | Quantile Balancing |
| 优化器技术 | Per-Head Muon |
| 激活函数组件 | Sigmoid Tanh Unit |
| 权重格式 | 基于量化感知训练的 MXFP4 |
| 激活格式 | MXFP8 |
| 上下文长度 | 100 万 token |
| 部署方向 | 配备 64+ 加速器的超节点 |
什么是 Kimi Delta Attention？
Kimi Delta Attention（简称 KDA）是 Moonshot 提出的混合线性 Attention 机制。它的目标是在处理超长序列时，比传统每层、每个 token 都采用完整 Attention 的方式更加高效。
线性 Attention 方法通常希望避免每个 token 都与其他所有 token 两两计算所带来的二次复杂度增长。这里“混合（Hybrid）”一词十分重要：K3 的实际架构结合了多种 Attention 组件，而不是简单采用单一线性公式。
KDA 是 K3 支持 100 万 token 上下文的重要基础，但上下文长度本质上属于整个系统能力。内存布局、计算 Kernel、KV 或状态管理、缓存、并行策略以及推理服务基础设施都会影响长上下文是否真正具备实用价值。
KDA 与前缀缓存（Prefix Caching）
传统推理系统通常会缓存重复前缀对应的 Attention 状态。而 KDA 引入了不同的状态表示和 Prefill 需求，因此不能简单假设传统 Prefix Cache 实现能够高效适配。
Moonshot 表示，其已向 vLLM 社区贡献了 KDA 的 Prefill Cache 支持，并计划与 K3 同步发布。这也解释了为何官方 API 能够在模型规模如此庞大的情况下，为缓存命中的输入提供远低于首次输入的价格。
对于基础设施团队而言，应等待相关 vLLM 版本及 Kernel 明确支持 K3，而不是仅修改现有部署中的模型名称。
什么是 Attention Residuals？
传统深度网络通过残差连接逐层累积信息。Moonshot 将 Attention Residuals（简称 AttnRes）描述为一种能够跨网络深度选择性检索表示的方法，而不是将所有信息统一累积。
这样做的目标是在超深层模型中实现更加平滑的信息流动。相比要求每一层只能依赖紧邻上一层累积的状态，AttnRes 能够更加突出此前层中有价值的信息表示。
这一设计在 2.8 万亿参数规模下尤为重要，因为模型优化和信号传递都会变得更加困难。完整公式、消融实验及训练细节仍需等待技术报告公开后进一步评估。
Stable LatentMoE 与 896 个专家
K3 是一个 Mixture-of-Experts（MoE）模型。路由器会针对每个 token 选择少量专家网络参与计算。
K3 具有以下特点：
- 896 个路由专家；
- 每个 token 激活 16 个专家；
- 官方架构图同时包含共享专家和路由专家；
- Stable LatentMoE 框架专为极高稀疏度设计。
激活比例约为：
16 / 896 ≈ 1.8%
这一比例并不能直接推导出实际激活参数数量。共享层、专家规模、路由机制、Attention 以及其他模块都会产生额外计算。因此，在 Moonshot 正式公布之前，任何关于 K3 精确激活参数数量的说法都应视为未经验证。
为什么极高稀疏度的 MoE 很难实现？
更多专家意味着更大的模型容量，但也会带来更加复杂的路由和基础设施挑战：
- token 可能集中到热门专家造成过载；
- 冷门专家会浪费模型容量；
- 专家的部署位置会影响通信效率；
- 负载不均衡会降低加速器利用率；
- 动态 Shape 与 Host 同步可能降低吞吐量；
- 训练期间必须保持路由决策稳定。
K3 通过负载均衡机制、静态 Shape 执行以及大规模通信域来应对这些问题。
Quantile Balancing
Moonshot 将 Quantile Balancing 描述为一种依据路由器得分分位数（Quantile）来进行专家分配的方法，其目标是避免依赖启发式更新规则以及敏感的负载均衡超参数。
简单来说，它根据路由得分的整体分布动态调整专家分配，而不是依赖人工调节的固定阈值。当需要让 896 个专家都能在大规模训练中保持有效利用时，这一点尤为重要。
不过，目前仍需要独立复现结果和消融实验，才能量化 Quantile Balancing 相较于整个训练系统其他组件究竟贡献了多少。
Per-Head Muon
Muon 是一种训练阶段使用的优化方法。K3 将其扩展为 Per-Head Muon，使每个 Attention Head 能够更加独立地进行优化。
Moonshot 表示，其设计目标是在超大规模训练中实现更加自适应的优化。这属于训练技术，而非 API 功能，用户在推理阶段无需配置 Per-Head Muon。
SiTU 与 Gated MLA
官方发布概览还介绍了以下组件：
- Sigmoid Tanh Unit (SiTU)： 用于提升激活控制能力；
- Gated MLA： 用于增强 Attention 的选择性。
这些组件共同组成更大的模块结构，其中融合了 KDA、Latent Experts、Shared Experts、卷积模块以及门控机制。它们各自的具体贡献仍需依赖技术报告和受控消融实验进一步验证。
MXFP4 权重与 MXFP8 激活
K3 从监督微调（Supervised Fine-Tuning）阶段开始即采用量化感知训练（Quantization-Aware Training），使用 MXFP4 权重和 MXFP8 激活。
量化感知训练会让模型在训练过程中就适应低精度计算，而不是等高精度模型训练完成后再进行量化。这有助于在高效推理格式下保留更多模型性能。
MXFP4 能显著降低理论权重存储需求。按照每个参数 4 bit 计算，2.8 万亿原始参数理论上约对应 1.4 TB 存储空间，这还未包含缩放参数、元数据、未量化组件、运行缓冲区以及冗余数据，因此依然远远超出消费级硬件的承载能力。
完全均衡的专家并行训练
Moonshot 表示，K3 采用完全均衡的专家并行训练（Fully Balanced Expert-Parallel Training），结合静态 Shape，并确保关键路径无需 Host 同步。这些设计旨在让加速器获得更加稳定可预测的工作负载，并减少 CPU 协调导致的等待时间。
在推理阶段，同样存在一个核心挑战：分布在大量设备上的专家必须能够高速通信。Moonshot 推荐使用至少拥有 64 个加速器的超节点，使更多通信发生在高带宽互联域内。
K3 如何实现 100 万 token 上下文？
没有任何单一组件能够独立实现 100 万 token 上下文，其能力依赖于：
- KDA 高效的序列处理能力；
- AttnRes 提供稳定的信息流；
- 推理 Kernel 与内存管理；
- Prefill Cache 支持；
- 分布式加速器基础设施；
- 能够让模型学习利用长上下文的训练数据和训练目标。
模型能够接受 100 万 token，并不意味着每个 token 都能获得同等关注，也不意味着任何场景下都应使用百万 token 提示词。评估长上下文能力时，应重点测试信息检索、远距离依赖、干扰抵抗能力、延迟以及成本。
Kimi K3 与 Kimi K2 对比
| 对比项 | Kimi K3 | Kimi K2 基线 |
|---|---|---|
| 模型规模 | 2.8 万亿总参数 | 更小的上一代模型 |
| Attention | KDA 混合线性 Attention | 更早期架构 |
| 深度连接 | Attention Residuals | 更早期残差设计 |
| MoE | 896 个专家，16 个激活 | 稀疏度较低 |
| 扩展效率 | 官方宣称约提升 2.5 倍 | 基线 |
| 多模态视觉 | 原生视觉理解 | 更早期能力范围 |
| 上下文长度 | 100 万 token | 根据模型不同，上限更低 |
这里的 2.5 倍指的是 Moonshot 所宣称的整体扩展效率，并不代表 API 速度提升 2.5 倍，也不意味着各项基准测试成绩提升 2.5 倍。
架构局限性与待解问题
目前仍有一些重要问题尚未公开：
- 精确的激活参数数量；
- 完整的网络层与专家维度；
- 训练 token 数量及数据组成；
- 完整的长上下文训练方法；
- 独立架构消融实验；
- 支持的硬件及不同配置下的实际吞吐量；
- 权重文件的准确体积；
- 最终运行时及许可证支持情况。
这些问题仍需等待 Moonshot 发布技术报告及官方仓库后才能得到解答。
为什么开发者需要关注这些架构？
大多数 API 用户并不需要自己实现 KDA 或 MoE 路由，但需要理解其带来的实际影响：
- K3 在长上下文和 Agent 场景中表现突出；
- 保持会话状态非常重要；
- 自动缓存能够显著降低成本；
- 自托管需要极其庞大的基础设施；
- 模型能力不能仅凭总参数量判断；
- 新的运行时和 Kernel 必须明确支持 K3。
了解部署现状，请阅读 Kimi K3 是开源的吗？；了解应用接入方式，请阅读 Kimi K3 API 指南。
常见问题
Kimi K3 有多少参数？
K3 在稀疏 Mixture-of-Experts 架构下拥有 2.8 万亿总参数。
会激活多少个专家？
Moonshot 表示，每个 token 会激活 896 个路由专家中的 16 个。共享模块及其他非专家组件同样参与计算。
什么是 Kimi Delta Attention？
KDA 是 Moonshot 提出的混合线性 Attention 机制，用于实现高效序列处理以及长上下文扩展。
为什么 Kimi K3 支持 100 万 token 上下文？
这一能力来自架构、训练、缓存、Kernel、内存管理以及分布式推理系统的共同作用，而非单一功能。
Kimi K3 能在消费级 GPU 上运行吗？
完整模型基本无法在消费级 GPU 上实际运行。Moonshot 推荐部署于拥有 64 个或更多加速器的超节点环境。