Kimi K3は、Kimi Delta Attention、Attention Residuals、そして896エキスパートを備えた高スパースなStable LatentMoEシステムを組み合わせることで、2.8兆パラメータ規模を実現しています。1トークンあたり有効化されるエキスパートは16個のみであり、総モデル容量をアクティブな計算量よりもはるかに速く拡大できます。
Moonshotによると、これらのアーキテクチャおよび学習面での変更により、Kimi K2と比較して全体的なスケーリング効率は約2.5倍になるとされています。ただし、これはK3の運用コストが低いことを意味するものではありません。このモデルは依然として64基以上のアクセラレータを備えたスーパーノード規模の推論向けに設計されています。
アーキテクチャ情報確認日：2026年7月21日。 Moonshotはローンチ概要を公開していますが、完全な技術レポートと重みは今後公開予定です。本記事では、不明な実装詳細を推測せず、未解決の点として明示しています。
アーキテクチャ概要
| コンポーネント | 公開されているKimi K3の詳細 |
|---|---|
| 総パラメータ数 | 2.8兆 |
| Attention | Kimi Delta Attention、アーキテクチャにはGated MLAを採用 |
| 深度接続 | Attention Residuals |
| MoE | Stable LatentMoE |
| エキスパート数 | 896 routed experts |
| アクティブエキスパート数 | 1トークンあたり16個 |
| バランシング | Quantile Balancing |
| オプティマイザ技術 | Per-Head Muon |
| 活性化コンポーネント | Sigmoid Tanh Unit |
| 重み形式 | 量子化対応学習によるMXFP4 |
| 活性化形式 | MXFP8 |
| コンテキスト | 100万トークン |
| デプロイ方向性 | 64基以上のアクセラレータを備えたSupernode |
Kimi Delta Attentionとは？
Kimi Delta Attention（KDA）は、Moonshotによるハイブリッド線形Attentionメカニズムです。その役割は、すべての層とトークンで従来型のフルAttentionだけに依存するよりも、長いシーケンスを効率的に処理するための基盤を提供することです。
線形Attention手法は一般的に、すべてのトークンを相互比較することで発生する二次的な計算量増加を回避することを目的としています。「ハイブリッド」という言葉が重要です。正確なK3アーキテクチャは、単純な1つの線形式にモデルを置き換えるのではなく、複数のAttentionコンポーネントを組み合わせています。
KDAはK3の100万トークン対応を支える中心的要素ですが、コンテキスト長はシステム全体の特性です。メモリ配置、カーネル、KVまたは状態管理、キャッシュ、並列化、サービング基盤などすべてが、長大なコンテキストを実用的に扱えるかどうかに影響します。
KDAとプレフィックスキャッシュ
従来のサービングシステムでは、繰り返し利用されるプレフィックスに対するAttention状態をキャッシュすることが一般的です。KDAでは異なる状態管理とprefill要件が導入されるため、通常のプレフィックスキャッシュ実装がそのまま効率的に動作すると仮定することはできません。
Moonshotは、K3と同時リリースされるvLLMコミュニティ向けにKDA prefill-cacheサポートを提供したと説明しています。これにより、公式APIがモデル規模にもかかわらず、キャッシュヒット時の入力価格を非キャッシュ入力より大幅に低く設定できる理由が理解できます。
インフラチームは、既存デプロイのモデル名を変更するのではなく、関連するvLLMリリースとカーネルでK3が明示的にサポートされるまで待つべきです。
Attention Residualsとは？
従来の深層ネットワークでは、残差接続によって情報が層ごとに蓄積されます。MoonshotはAttention Residuals（AttnRes）について、すべてを均一に蓄積するのではなく、深度方向にわたって表現を選択的に取得する仕組みだと説明しています。
意図される利点は、非常に深いモデル内での情報フローをより滑らかにすることです。すべての層が直前までに蓄積された状態だけに依存するのではなく、AttnResは有用な過去の表現を強調できます。
これは2.8T規模において重要な概念です。この規模では、最適化と信号伝達が難しくなります。完全な数式、アブレーション、学習詳細については、技術レポート公開後に評価する必要があります。
Stable LatentMoEと896エキスパート
K3はMixture-of-Expertsモデルです。ルーターが各トークンに対して少数のエキスパートネットワークを選択します。
K3には以下が含まれます：
- 896 routed experts;
- 1トークンあたり16個のアクティブエキスパート;
- 公開図では共有エキスパートとルーティングエキスパートのコンポーネントを掲載;
- 極端なスパース性向けに設計されたStable LatentMoEフレームワーク。
アクティブ化率はおおよそ次の通りです：
16 / 896 ≈ 1.8%
この割合だけでは、アクティブパラメータ数を直接判断することはできません。共有層、エキスパートサイズ、ルーティング、Attention、その他のコンポーネントは、この単純な比率以外の計算量にも寄与します。Moonshotが公開しない限り、K3の正確なアクティブパラメータ数に関する主張は未検証として扱うべきです。
極端なMoEスパース性が難しい理由
エキスパート数を増やすことで容量は拡大しますが、ルーティングやインフラ上の問題も複雑になります：
- トークンが人気のエキスパートに集中する可能性がある；
- 使用率の低いエキスパートは容量を無駄にする；
- エキスパート配置が通信に影響する；
- 負荷の偏りがアクセラレータ利用率を低下させる；
- 動的シェイプやホスト同期がスループットを低下させる可能性がある；
- 学習中もルーティング判断を安定させる必要がある。
K3はこれらの問題に対して、バランシング、静的シェイプ実行、大規模通信ドメインによって対応しています。
Quantile Balancing
MoonshotはQuantile Balancingについて、ルーターのスコア分位点からエキスパート割り当てを導出すると説明しています。目的は、経験則的な更新ルールや敏感なバランシングハイパーパラメータを避けることです。
簡単に言えば、割り当ては手動調整された単一のしきい値ではなく、ルーティングスコアの分布に適応します。896エキスパートを大規模環境で有効かつ均等に利用する際に重要になります。
Quantile Balancingが学習システム全体の中でどれほど貢献しているかを定量化するには、独立した再現実験とアブレーション結果がまだ必要です。
Per-Head Muon
Muonは学習時に使用される最適化手法です。K3ではこれをAttentionヘッド単位に拡張し、各ヘッドをより独立して最適化できるようにしています。
Moonshotが示す目的は、大規模環境におけるより適応的な最適化です。これは学習技術でありAPI機能ではありません。ユーザーが推論時にPer-Head Muonを設定することはありません。
SiTUとGated MLA
ローンチ概要では、以下の要素も紹介されています：
- Sigmoid Tanh Unit (SiTU)： 活性化制御の改善を目的とする；
- Gated MLA： Attention選択性の向上を目的とする。
これらのコンポーネントは、KDA、潜在エキスパート、共有エキスパート、畳み込み要素、ゲーティングを組み合わせた、より大きなブロック設計の一部です。正確な貢献度を判断するには、技術レポートと制御されたアブレーションが必要です。
MXFP4重みとMXFP8活性化
K3は教師ありファインチューニング段階以降、MXFP4重みとMXFP8活性化を用いた量子化対応学習を採用しています。
量子化対応学習では、完成した高精度モデルを後から変換するのではなく、学習中に低精度動作をモデルへ経験させます。これにより、効率的な推論形式でも品質をより維持できます。
MXFP4は理論上の重み保存量を大幅に削減します。1パラメータあたり4ビットの場合、2.8Tの生パラメータは、スケール情報、メタデータ、非量子化コンポーネント、ランタイムバッファ、冗長性を除いて約1.4 TBに相当します。それでも一般的なコンシューマーハードウェアの範囲を大きく超えています。
完全バランス型エキスパート並列学習
Moonshotによると、K3は静的シェイプとクリティカルパス上のホスト同期なしを特徴とする完全バランス型エキスパート並列学習を採用しています。これらの設計は、予測可能なアクセラレータ処理と、CPU協調による停止時間の削減を目的としています。
推論時にも同じ大きな課題が残ります。多数のデバイスに分散したエキスパートは高速通信する必要があります。Moonshotは、より多くの通信を高帯域幅ドメイン内で処理できるよう、64基以上のアクセラレータを備えたスーパーノードを推奨しています。
K3が100万トークンコンテキストを実現する仕組み
100万トークンのウィンドウは、単一の要素によって実現されるものではありません。この能力は以下に依存します：
- 効率的なKDAシーケンス処理；
- AttnResによる安定した情報フロー；
- サービングカーネルとメモリ管理；
- prefill-cacheサポート；
- 分散アクセラレータ基盤；
- 長いコンテキスト利用を学習させるデータと目的。
100万トークンを受け付けられるモデルであっても、すべてのトークンに同等のAttentionが向けられることや、100万トークンのプロンプトが常に最適な設計であることを意味するわけではありません。長文脈評価では、検索、遠距離依存関係、注意散漫、レイテンシ、コストを検証する必要があります。
Kimi K3とKimi K2の比較
| 項目 | Kimi K3の方向性 | Kimi K2のベースライン |
|---|---|---|
| 規模 | 総パラメータ2.8T | 以前の世代より小さい |
| Attention | KDAハイブリッド線形Attention | 以前のアーキテクチャ |
| 深度 | Attention Residuals | 以前の残差設計 |
| MoE | 896エキスパート、16個をアクティブ化 | より控えめなスパース性 |
| 効率 | 約2.5倍のスケーリング効率を主張 | ベースライン |
| ビジョン | ネイティブな視覚理解 | 異なる以前の能力領域 |
| コンテキスト | 100万トークン | モデルによって異なる以前の上限 |
2.5倍という数値はMoonshotによる全体的なスケーリング効率の主張であり、API速度が2.5倍、またはベンチマーク性能が2.5倍になることを保証するものではありません。
アーキテクチャの制限と未解決の疑問
重要な未解決事項には以下があります：
- 正確なアクティブパラメータ数；
- 完全な層構成とエキスパート次元；
- 学習トークン数とデータ混合；
- 完全な長文脈学習手法；
- 独立したアーキテクチャアブレーション；
- 構成ごとの対応ハードウェアと測定済みスループット；
- 正確な重みファイル容量；
- 最終的なランタイムとライセンス対応。
これらの疑問は、公開後にMoonshotの技術レポートと公式リポジトリから確認する必要があります。
このアーキテクチャが開発者にとって重要な理由
ほとんどのAPIユーザーは、KDAやMoEルーティングを実装する必要はありません。ただし、運用面での影響を理解する必要があります：
- K3はコンテキストを多用する作業やエージェント型ワークに強い；
- 会話状態の保持が重要；
- 自動キャッシュによってコストを大幅に削減できる可能性がある；
- セルフホスティングには非常に大規模なインフラが必要；
- モデルの挙動は総パラメータ数だけでは判断できない；
- 新しいランタイムやカーネルは明示的にK3をサポートする必要がある。
デプロイ状況についてはIs Kimi K3 Open Source?を、アプリケーション統合についてはKimi K3 API Guideをご覧ください。
よくある質問
Kimi K3のパラメータ数はいくつですか？
K3は、スパースなMixture-of-Expertsアーキテクチャにより、総計2.8兆パラメータを持ちます。
アクティブなエキスパートはいくつですか？
Moonshotによると、896個のrouted expertsのうち16個が有効化されます。共有コンポーネントや非エキスパート部分も計算に寄与します。
Kimi Delta Attentionとは何ですか？
KDAは、効率的なシーケンス処理と長文脈スケーリングのためのMoonshotのハイブリッド線形Attentionメカニズムです。
なぜKimi K3は100万トークンのコンテキストをサポートするのですか？
このウィンドウは、1つの機能だけではなく、アーキテクチャ、学習、キャッシュ、カーネル、メモリ管理、分散サービングによって実現されています。
Kimi K3はコンシューマー向けGPUで動作しますか？
完全なモデルをコンシューマー向けGPUで現実的に動作させることはできません。Moonshotは64基以上のアクセラレータを備えたスーパーノードデプロイを推奨しています。