Kimi K3 schaalt op tot 2,8 biljoen parameters dankzij een combinatie van Kimi Delta Attention, Attention Residuals en een extreem ijl Stable LatentMoE-systeem met 896 experts. Per token worden slechts 16 experts geactiveerd, waardoor de totale modelcapaciteit veel sneller kan groeien dan de actieve rekenlast.
Volgens Moonshot leveren deze wijzigingen in architectuur en training ongeveer 2,5 keer zo veel schaalefficiëntie op als bij Kimi K2. Dat betekent niet dat K3 goedkoop draait. Het model is nog steeds ontworpen voor inferentie op supernode-schaal met 64 of meer accelerators.
Architectuurinformatie gecontroleerd op 21 juli 2026. Moonshot heeft een overzicht bij de lancering gepubliceerd, terwijl het volledige technische rapport en de weights nog gepland staan voor release. Dit artikel benoemt open vragen in plaats van ontbrekende implementatiedetails te verzinnen.
De architectuur in één oogopslag
| Onderdeel | Gepubliceerd detail van Kimi K3 |
|---|---|
| Totaal aantal parameters | 2,8 biljoen |
| Attention | Kimi Delta Attention, met Gated MLA in de architectuur |
| Diepteverbinding | Attention Residuals |
| MoE | Stable LatentMoE |
| Experts | 896 gerouteerde experts |
| Actieve experts | 16 per token |
| Balancering | Quantile Balancing |
| Optimizertechniek | Per-Head Muon |
| Activatiecomponent | Sigmoid Tanh Unit |
| Weightformaat | MXFP4 via quantization-aware training |
| Activatieformaat | MXFP8 |
| Context | 1 miljoen tokens |
| Richting voor deployment | Supernode met 64+ accelerators |
Wat is Kimi Delta Attention?
Kimi Delta Attention, kortweg KDA, is het hybride lineaire attention-mechanisme van Moonshot. Het moet een efficiëntere basis bieden voor het verwerken van lange sequenties dan wanneer je bij elke laag en elk token alleen op conventionele volledige attention zou vertrouwen.
Lineaire attention-methoden proberen in het algemeen de kwadratische groei te vermijden die hoort bij het vergelijken van elk token met elk ander token. Het woord “hybride” is belangrijk: de exacte K3-architectuur combineert attention-componenten en is niet terug te brengen tot één eenvoudige lineaire formule.
KDA staat centraal in de positionering van K3 met 1M tokens, maar contextlengte is een eigenschap van het hele systeem. Geheugenindeling, kernels, omgang met KV of status, caching, parallellisme en serving-infrastructuur bepalen allemaal of een lange context praktisch haalbaar is.
KDA en prefix caching
Conventionele servingsystemen cachen vaak de attention-status voor een herhaald voorvoegsel. KDA stelt andere eisen aan status en prefill, dus je kunt er niet zomaar van uitgaan dat gewone prefix-cache-implementaties efficiënt werken.
Moonshot zegt dat het ondersteuning voor de KDA-prefill-cache heeft bijgedragen aan de vLLM-community, voor release samen met K3. Dat helpt verklaren hoe de officiële API ondanks de omvang van het model een inputprijs bij een cachetreffer kan bieden die ver onder die van niet-gecachete input ligt.
Infrastructuurteams kunnen beter wachten op expliciete K3-ondersteuning in de relevante vLLM-release en kernels dan de modelnaam in een bestaande deployment aan te passen.
Wat zijn Attention Residuals?
Traditionele diepe netwerken geven informatie door via residuele verbindingen die zich laag voor laag opstapelen. Moonshot beschrijft Attention Residuals, kortweg AttnRes, als het selectief ophalen van representaties over de diepte heen, in plaats van alles gelijkmatig op te stapelen.
Het beoogde voordeel is een soepelere informatiestroom door een heel diep model. In plaats van elke laag alleen te laten afhangen van de direct opgestapelde status, kan AttnRes nuttige eerdere representaties benadrukken.
Dit is conceptueel belangrijk op 2,8T-schaal, waar optimalisatie en signaalstroom lastig worden. De volledige vergelijkingen, ablaties en trainingsdetails zijn pas te beoordelen als het technische rapport openbaar is.
Stable LatentMoE en 896 experts
K3 is een Mixture-of-Experts-model. Een router kiest voor elk token een kleine subset van expertnetwerken.
K3 heeft:
- 896 gerouteerde experts;
- 16 actieve experts per token;
- gedeelde en gerouteerde expertcomponenten in het gepubliceerde diagram;
- een Stable LatentMoE-framework dat is ontworpen voor extreme ijlheid.
De activatieverhouding is ongeveer:
16 / 896 ≈ 1.8%
Dat percentage zegt niet rechtstreeks hoeveel parameters er actief zijn. Gedeelde lagen, expertgroottes, routering, attention en andere componenten dragen rekenwerk bij buiten die simpele verhouding. Behandel beweringen dat K3 een exact aantal actieve parameters heeft als onbevestigd, tenzij Moonshot dat getal publiceert.
Waarom extreme MoE-ijlheid lastig is
Meer experts geven meer capaciteit, maar ook lastigere routering en infrastructuurproblemen:
- tokens kunnen populaire experts overbelasten;
- onderbenutte experts verspillen capaciteit;
- de plaatsing van experts beïnvloedt de communicatie;
- een ongelijke belasting verlaagt de benutting van accelerators;
- dynamische vormen en host-synchronisatie kunnen de doorvoer schaden;
- routeringsbeslissingen moeten tijdens de training stabiel blijven.
K3 pakt deze problemen aan met balancering, uitvoering met statische vormen en grote communicatiedomeinen.
Quantile Balancing
Moonshot beschrijft Quantile Balancing als het afleiden van de expertallocatie uit kwantielen van routerscores. Het doel is heuristische updateregels en een gevoelige balanceringshyperparameter te vermijden.
In gewone taal: de allocatie past zich aan de verdeling van de routeringsscores aan en hangt niet af van één handmatig afgestelde drempel. Dat is relevant als 896 experts op schaal bruikbaar en gelijkmatig belast moeten blijven.
Er zijn nog onafhankelijke reproducties en ablatieresultaten nodig om te kwantificeren hoeveel Quantile Balancing bijdraagt ten opzichte van de rest van het trainingssysteem.
Per-Head Muon
Muon is een optimalisatiebenadering die tijdens de training wordt gebruikt. K3 breidt die uit per attention-head, zodat heads onafhankelijker van elkaar kunnen worden geoptimaliseerd.
Moonshots uitgesproken motivatie is adaptievere optimalisatie op grote schaal. Dit is een trainingstechniek en geen API-functie: gebruikers stellen Per-Head Muon tijdens inferentie niet in.
SiTU en Gated MLA
Het overzicht bij de lancering noemt ook:
- Sigmoid Tanh Unit (SiTU): bedoeld om de activatiebesturing te verbeteren;
- Gated MLA: bedoeld om de selectiviteit van attention te verbeteren.
Deze componenten maken deel uit van een groter blokontwerp dat KDA, latente experts, gedeelde experts, convolutionele elementen en gating combineert. Hun precieze bijdrage valt pas te bepalen met het technische rapport en gecontroleerde ablaties.
MXFP4-weights en MXFP8-activaties
K3 gebruikt vanaf de fase van supervised fine-tuning quantization-aware training, met MXFP4-weights en MXFP8-activaties.
Bij quantization-aware training maakt het model tijdens de training al kennis met gedrag bij lagere precisie, in plaats van dat een afgerond model met hoge precisie achteraf wordt omgezet. Zo blijft er in een efficiënt inferentieformaat meer kwaliteit behouden.
MXFP4 verkleint de theoretische opslag van weights aanzienlijk. Bij vier bits per parameter komen 2,8T ruwe parameters neer op ongeveer 1,4 TB, vóór schalen, metadata, niet-gekwantiseerde componenten, runtimebuffers en redundantie. Dat valt nog altijd ver buiten wat consumentenhardware aankan.
Volledig gebalanceerde expert-parallelle training
Moonshot zegt dat K3 volledig gebalanceerde expert-parallelle training gebruikt, met statische vormen en zonder host-synchronisatie op het kritieke pad. Deze keuzes zijn gericht op voorspelbaar accelerator-werk en minder pauzes door CPU-coördinatie.
Bij inferentie blijft dezelfde uitdaging bestaan: experts die over veel apparaten zijn verdeeld, moeten snel met elkaar communiceren. Moonshot beveelt een supernode met minstens 64 accelerators aan, zodat meer communicatie binnen een domein met hoge bandbreedte plaatsvindt.
Hoe K3 een context van 1M tokens haalt
Geen enkel onderdeel verklaart het venster van 1M op zichzelf. Het vermogen hangt af van:
- efficiënte KDA-sequentieverwerking;
- een stabiele informatiestroom via AttnRes;
- serving-kernels en geheugenbeheer;
- ondersteuning voor de prefill-cache;
- gedistribueerde accelerator-infrastructuur;
- trainingsdata en doelstellingen die het model leren om lange context te gebruiken.
Dat een model een miljoen tokens accepteert, betekent niet dat elk token evenveel aandacht krijgt, of dat een prompt van een miljoen tokens altijd de beste opzet is. Test bij de evaluatie van lange context retrieval, afhankelijkheden op grote afstand, afleiding, latentie en kosten.
Kimi K3 versus Kimi K2
| Gebied | Richting van Kimi K3 | Kimi K2 als basislijn |
|---|---|---|
| Schaal | 2,8T totale parameters | Kleinere vorige generatie |
| Attention | KDA hybride lineaire attention | Eerdere architectuur |
| Diepte | Attention Residuals | Eerder residueel ontwerp |
| MoE | 896 experts, 16 actief | Minder extreme ijlheid |
| Efficiëntie | Geclaimde ~2,5× schaalefficiëntie | Basislijn |
| Vision | Native visueel begrip | Ander functiebereik in de vorige generatie |
| Context | 1M tokens | Lagere vorige limiet, afhankelijk van het model |
Het getal 2,5× is Moonshots claim over de algehele schaalefficiëntie en geen belofte van een 2,5 keer zo snelle API of 2,5 keer betere benchmarkprestaties.
Beperkingen van de architectuur en open vragen
Belangrijke onbeantwoorde vragen zijn onder meer:
- het exacte aantal actieve parameters;
- de volledige laag- en expertdimensies;
- het aantal trainingstokens en de mix van data;
- de volledige trainingsmethode voor lange context;
- onafhankelijke ablaties van de architectuur;
- ondersteunde hardware en gemeten doorvoer per configuratie;
- de exacte bestandsgrootte van de weights;
- de uiteindelijke ondersteuning voor runtime en licentie.
Deze vragen moeten na de release worden beantwoord aan de hand van Moonshots technische rapport en officiële repositories.
Waarom de architectuur ertoe doet voor ontwikkelaars
De meeste API-gebruikers hoeven KDA of MoE-routering niet zelf te implementeren. Ze moeten wel de praktische gevolgen begrijpen:
- K3 is sterk bij contextrijk en agentisch werk;
- het behouden van de gespreksstatus is essentieel;
- automatische caching kan de kosten merkbaar verlagen;
- zelf hosten vraagt extreme infrastructuur;
- het gedrag van het model valt niet af te leiden uit het totale aantal parameters alleen;
- nieuwe runtimes en kernels moeten K3 expliciet ondersteunen.
Lees Is Kimi K3 open source? voor de deploymentstatus en de Kimi K3 API-gids voor integratie in applicaties.
Veelgestelde vragen
Hoeveel parameters heeft Kimi K3?
K3 heeft in totaal 2,8 biljoen parameters in een ijle Mixture-of-Experts-architectuur.
Hoeveel experts zijn er actief?
Moonshot zegt dat 16 van de 896 gerouteerde experts worden geactiveerd. Ook gedeelde componenten en componenten die geen expert zijn dragen bij aan het rekenwerk.
Wat is Kimi Delta Attention?
KDA is het hybride lineaire attention-mechanisme van Moonshot voor efficiënte sequentieverwerking en het opschalen van lange context.
Waarom ondersteunt Kimi K3 een context van 1M?
Het venster is mogelijk dankzij architectuur, training, caching, kernels, geheugenbeheer en gedistribueerde serving samen, en niet dankzij één functie alleen.
Kan Kimi K3 draaien op consumenten-GPU's?
Het volledige model kan realistisch gezien niet draaien op consumenten-GPU's. Moonshot beveelt deployments op een supernode met 64 of meer accelerators aan.