Kimi K3 skaliert auf 2,8 Billionen Parameter durch eine Kombination aus Kimi Delta Attention, Attention Residuals und einem hochgradig sparsamen Stable LatentMoE-System mit 896 Experten. Für ein Token werden nur 16 Experten aktiviert, wodurch die gesamte Modellkapazität deutlich schneller wachsen kann als die tatsächlich aktive Berechnung.
Moonshot zufolge führen diese Architektur- und Trainingsänderungen zu einer ungefähr 2,5-fachen Gesamteffizienz bei der Skalierung im Vergleich zu Kimi K2. Das bedeutet nicht, dass K3 günstig zu betreiben ist. Das Modell ist weiterhin für Inferenz auf Supernode-Ebene mit 64 oder mehr Beschleunigern ausgelegt.
Architekturinformationen geprüft am 21. Juli 2026. Moonshot hat eine Launch-Übersicht veröffentlicht, während der vollständige technische Bericht und die Gewichte weiterhin zur Veröffentlichung geplant sind. Dieser Artikel kennzeichnet offene Fragen, anstatt fehlende Implementierungsdetails zu erfinden.
Architektur im Überblick
| Komponente | Veröffentlichtes Kimi K3-Detail |
|---|---|
| Gesamtparameter | 2,8 Billionen |
| Attention | Kimi Delta Attention mit Gated MLA in der Architektur |
| Tiefenverbindung | Attention Residuals |
| MoE | Stable LatentMoE |
| Experten | 896 geroutete Experten |
| Aktive Experten | 16 pro Token |
| Balancing | Quantile Balancing |
| Optimierungstechnik | Per-Head Muon |
| Aktivierungskomponente | Sigmoid Tanh Unit |
| Gewichtsformat | MXFP4 durch quantisierungsbewusstes Training |
| Aktivierungsformat | MXFP8 |
| Kontext | 1 Million Tokens |
| Bereitstellungsrichtung | Supernode mit 64+ Beschleunigern |
Was ist Kimi Delta Attention?
Kimi Delta Attention oder KDA ist Moonshots hybrider Mechanismus für lineare Attention. Seine Aufgabe besteht darin, eine effizientere Grundlage für die Verarbeitung langer Sequenzen bereitzustellen, als sich ausschließlich auf herkömmliche vollständige Attention in jeder Schicht und für jedes Token zu verlassen.
Methoden für lineare Attention versuchen im Allgemeinen, das quadratische Wachstum zu vermeiden, das entsteht, wenn jedes Token mit jedem anderen Token verglichen wird. Das Wort „hybrid“ ist entscheidend: Die genaue K3-Architektur kombiniert verschiedene Attention-Komponenten, anstatt das Modell auf eine einfache lineare Formel zu reduzieren.
KDA ist ein zentraler Bestandteil der Positionierung von K3 mit einem 1M-Token-Kontext, aber die Kontextlänge ist eine Systemeigenschaft. Speicherlayout, Kernel, KV- oder Zustandsverwaltung, Caching, Parallelisierung und Serving-Infrastruktur beeinflussen alle, ob ein langer Kontext praktisch nutzbar ist.
KDA und Prefix-Caching
Herkömmliche Serving-Systeme speichern häufig den Attention-Zustand für ein wiederholtes Präfix zwischen. KDA führt andere Zustands- und Prefill-Anforderungen ein, daher kann nicht einfach davon ausgegangen werden, dass gewöhnliche Prefix-Cache-Implementierungen effizient funktionieren.
Moonshot gibt an, KDA-Prefill-Cache-Unterstützung zur vLLM-Community beigetragen zu haben, um sie zusammen mit K3 bereitzustellen. Dies erklärt teilweise, wie die offizielle API trotz der Modellgröße einen deutlich niedrigeren Preis für Cache-Hit-Eingaben im Vergleich zu nicht gecachten Eingaben anbieten kann.
Infrastrukturteams sollten auf explizite K3-Unterstützung in der relevanten vLLM-Version und den entsprechenden Kernels warten, statt lediglich einen Modellnamen in einer bestehenden Bereitstellung zu ändern.
Was sind Attention Residuals?
Traditionelle tiefe Netzwerke übertragen Informationen über Residual-Verbindungen, die sich Schicht für Schicht aufbauen. Moonshot beschreibt Attention Residuals oder AttnRes als Methode, Darstellungen über die Tiefe hinweg gezielt abzurufen, anstatt alles gleichmäßig anzusammeln.
Der beabsichtigte Vorteil ist ein reibungsloserer Informationsfluss durch ein sehr tiefes Modell. Anstatt jede Schicht nur vom unmittelbar akkumulierten Zustand abhängig zu machen, kann AttnRes nützliche frühere Repräsentationen stärker gewichten.
Dies ist bei einem Maßstab von 2,8T besonders relevant, da Optimierung und Signalfluss zunehmend schwieriger werden. Die vollständigen Gleichungen, Ablationen und Trainingsdetails sollten bewertet werden, sobald der technische Bericht öffentlich ist.
Stable LatentMoE und 896 Experten
K3 ist ein Mixture-of-Experts-Modell. Ein Router wählt für jedes Token eine kleine Gruppe von Expertennetzwerken aus.
K3 verfügt über:
- 896 geroutete Experten;
- 16 aktive Experten pro Token;
- gemeinsam genutzte und geroutete Expertenkomponenten im veröffentlichten Diagramm;
- ein Stable LatentMoE-Framework, das für extreme Sparsität entwickelt wurde.
Das Aktivierungsverhältnis beträgt ungefähr:
16 / 896 ≈ 1.8%
Dieser Prozentsatz zeigt nicht direkt die Anzahl aktiver Parameter. Gemeinsame Schichten, Expertengrößen, Routing, Attention und weitere Komponenten tragen zusätzlich zur Berechnung bei, die über das einfache Verhältnis hinausgeht. Aussagen, dass K3 eine exakt bestimmte Anzahl aktiver Parameter besitzt, sollten als nicht bestätigt betrachtet werden, solange Moonshot dies nicht veröffentlicht.
Warum extreme MoE-Sparsität schwierig ist
Mehr Experten erhöhen die Kapazität, bringen aber auch schwierigere Routing- und Infrastrukturprobleme mit sich:
- Tokens können beliebte Experten überlasten;
- wenig genutzte Experten verschwenden Kapazität;
- die Platzierung von Experten beeinflusst die Kommunikation;
- Lastungleichgewichte reduzieren die Auslastung der Beschleuniger;
- dynamische Formen und Host-Synchronisierung können den Durchsatz beeinträchtigen;
- Routing-Entscheidungen müssen während des Trainings stabil bleiben.
K3 begegnet diesen Herausforderungen mit Balancing, statischer Formausführung und großen Kommunikationsdomänen.
Quantile Balancing
Moonshot beschreibt Quantile Balancing als Methode, bei der die Expertenzuweisung aus Quantilen der Router-Scores abgeleitet wird. Ziel ist es, heuristische Aktualisierungsregeln und einen empfindlichen Balancing-Hyperparameter zu vermeiden.
Einfach ausgedrückt passt sich die Zuweisung an die Verteilung der Routing-Scores an, statt von einem einzigen manuell abgestimmten Schwellenwert abzuhängen. Dies ist relevant, wenn 896 Experten im großen Maßstab nützlich und gleichmäßig ausgelastet bleiben müssen.
Unabhängige Reproduktionen und Ablationsergebnisse sind weiterhin erforderlich, um zu quantifizieren, wie stark Quantile Balancing im Vergleich zum restlichen Trainingssystem beiträgt.
Per-Head Muon
Muon ist ein Optimierungsansatz, der während des Trainings verwendet wird. K3 erweitert ihn auf Basis einzelner Attention-Heads, wodurch Heads unabhängiger optimiert werden können.
Moonshots angegebene Motivation ist eine anpassungsfähigere Optimierung im großen Maßstab. Dies ist eine Trainingstechnik und keine API-Funktion: Nutzer konfigurieren Per-Head Muon nicht während der Inferenz.
SiTU und Gated MLA
Die Launch-Übersicht nennt außerdem:
- Sigmoid Tanh Unit (SiTU): soll die Steuerung von Aktivierungen verbessern;
- Gated MLA: soll die Selektivität der Attention verbessern.
Diese Komponenten sind Teil eines größeren Blockdesigns, das KDA, latente Experten, gemeinsame Experten, konvolutionale Elemente und Gating kombiniert. Ihr genauer Beitrag erfordert den technischen Bericht und kontrollierte Ablationen.
MXFP4-Gewichte und MXFP8-Aktivierungen
K3 verwendet quantisierungsbewusstes Training ab der Phase des überwachten Feintrainings mit MXFP4-Gewichten und MXFP8-Aktivierungen.
Quantisierungsbewusstes Training setzt das Modell während des Trainings niedrigeren Präzisionsanforderungen aus, anstatt ein fertiges Modell mit hoher Präzision erst nachträglich umzuwandeln. Dies kann bei einem effizienten Inferenzformat mehr Qualität erhalten.
MXFP4 reduziert den theoretischen Speicherbedarf für Gewichte erheblich. Bei vier Bits pro Parameter entsprechen 2,8T Rohparameter ungefähr 1,4 TB vor Skalierungswerten, Metadaten, nicht quantisierten Komponenten, Laufzeitpuffern und Redundanz. Dies liegt weiterhin weit außerhalb typischer Consumer-Hardware.
Vollständig ausbalanciertes Expert-Parallel-Training
Moonshot gibt an, dass K3 vollständig ausbalanciertes Expert-Parallel-Training mit statischen Formen und ohne Host-Synchronisierung auf dem kritischen Pfad verwendet. Diese Entscheidungen zielen auf vorhersehbare Arbeit der Beschleuniger und reduzieren Pausen durch CPU-Koordination.
Bei der Inferenz bleibt dieselbe grundlegende Herausforderung bestehen: Über viele Geräte verteilte Experten müssen schnell kommunizieren. Moonshot empfiehlt Supernode-Bereitstellungen mit mindestens 64 Beschleunigern, damit mehr Kommunikation innerhalb einer Hochbandbreiten-Domäne stattfindet.
Wie K3 einen 1M-Token-Kontext erreicht
Keine einzelne Komponente erklärt das 1M-Fenster. Die Fähigkeit hängt ab von:
- effizienter KDA-Sequenzverarbeitung;
- stabilem Informationsfluss durch AttnRes;
- Serving-Kernels und Speichermanagement;
- Prefill-Cache-Unterstützung;
- verteilter Beschleuniger-Infrastruktur;
- Trainingsdaten und Zielen, die dem Modell die Nutzung langer Kontexte beibringen.
Ein Modell, das eine Million Tokens akzeptiert, bedeutet nicht, dass jedes Token gleich stark berücksichtigt wird oder dass ein Prompt mit einer Million Tokens immer das beste Design ist. Die Bewertung langer Kontexte sollte Abruf, weit entfernte Abhängigkeiten, Ablenkungen, Latenz und Kosten testen.
Kimi K3 im Vergleich zu Kimi K2
| Bereich | Kimi K3-Ausrichtung | Kimi K2-Basis |
|---|---|---|
| Skalierung | 2,8T Gesamtparameter | Kleinere vorherige Generation |
| Attention | KDA hybride lineare Attention | Frühere Architektur |
| Tiefe | Attention Residuals | Früheres Residual-Design |
| MoE | 896 Experten, 16 aktiv | Weniger extreme Sparsität |
| Effizienz | Behauptete ~2,5-fache Skalierungseffizienz | Basiswert |
| Vision | Native visuelle Verarbeitung | Andere frühere Fähigkeitsausrichtung |
| Kontext | 1M Tokens | Niedrigere frühere Grenze abhängig vom Modell |
Die 2,5-fache Zahl ist Moonshots Anspruch zur allgemeinen Skalierungseffizienz, keine Zusage für 2,5-fache API-Geschwindigkeit oder 2,5-fache Benchmark-Leistung.
Architekturgrenzen und offene Fragen
Wichtige unbeantwortete Fragen umfassen:
- genaue Anzahl aktiver Parameter;
- vollständige Schicht- und Expertendimensionen;
- Anzahl der Training-Tokens und Datenmischung;
- vollständige Methode für Long-Context-Training;
- unabhängige Architektur-Ablationen;
- unterstützte Hardware und gemessener Durchsatz je Konfiguration;
- exakte Größe der Gewichtsdateien;
- finale Laufzeit- und Lizenzunterstützung.
Diese Fragen sollten nach der Veröffentlichung aus Moonshots technischem Bericht und offiziellen Repositories beantwortet werden.
Warum die Architektur für Entwickler wichtig ist
Die meisten API-Nutzer müssen KDA oder MoE-Routing nicht selbst implementieren. Sie müssen jedoch die betrieblichen Auswirkungen verstehen:
- K3 eignet sich besonders für kontextintensive und agentenbasierte Aufgaben;
- die Bewahrung des Gesprächszustands ist entscheidend;
- automatisches Caching kann Kosten deutlich reduzieren;
- Self-Hosting erfordert extreme Infrastruktur;
- Modellverhalten lässt sich nicht allein aus der Gesamtzahl der Parameter ableiten;
- neue Laufzeiten und Kernel müssen K3 ausdrücklich unterstützen.
Lesen Sie Ist Kimi K3 Open Source? für den Bereitstellungsstatus und Kimi K3 API Guide für die Anwendungsintegration.
Häufig gestellte Fragen
Wie viele Parameter hat Kimi K3?
K3 besitzt 2,8 Billionen Gesamtparameter in einer sparsamen Mixture-of-Experts-Architektur.
Wie viele Experten sind aktiv?
Moonshot zufolge werden 16 von 896 gerouteten Experten aktiviert. Gemeinsame und Nicht-Experten-Komponenten tragen ebenfalls zur Berechnung bei.
Was ist Kimi Delta Attention?
KDA ist Moonshots hybrider Mechanismus für lineare Attention zur effizienten Sequenzverarbeitung und Skalierung langer Kontexte.
Warum unterstützt Kimi K3 einen 1M-Kontext?
Das Fenster wird durch Architektur, Training, Caching, Kernel, Speichermanagement und verteiltes Serving ermöglicht, nicht durch eine einzelne Funktion.
Kann Kimi K3 auf Consumer-GPUs ausgeführt werden?
Das vollständige Modell kann realistisch nicht auf Consumer-GPUs ausgeführt werden. Moonshot empfiehlt Supernode-Bereitstellungen mit 64 oder mehr Beschleunigern.