Kimi K3-arkitektur: KDA, AttnRes og 896 MoE-eksperter

Kimi K3 skalerer til 2.8 billioner parametere gjennom en kombinasjon av Kimi Delta Attention, Attention Residuals og et svært sparsomt Stable LatentMoE-system med 896 eksperter. Bare 16 eksperter aktiveres per token, slik at modellens totale kapasitet kan vokse mye raskere enn den aktive beregningen.

Moonshot sier at disse endringene i arkitektur og trening gir omtrent 2.5× den samlede skaleringseffektiviteten til Kimi K2. Det betyr ikke at K3 er billig å kjøre. Modellen er fortsatt laget for inferens i supernode-skala med 64 eller flere akseleratorer.

Arkitekturinformasjonen ble sjekket 21. juli 2026. Moonshot har publisert en lanseringsoversikt, mens den komplette tekniske rapporten og vektene fortsatt er planlagt utgitt. Denne artikkelen merker åpne spørsmål i stedet for å finne på manglende implementeringsdetaljer.

Arkitekturen i korte trekk

Hva er Kimi Delta Attention?

Kimi Delta Attention, eller KDA, er Moonshots hybride mekanisme for lineær attention. Rollen dens er å gi et mer effektivt grunnlag for å behandle lange sekvenser enn å bare stole på konvensjonell full attention i hvert lag og for hvert token.

Metoder for lineær attention prøver generelt å unngå den kvadratiske veksten som følger av å sammenligne hvert token med alle andre tokens. Ordet «hybrid» er viktig: den eksakte K3-arkitekturen kombinerer attention-komponenter i stedet for å redusere modellen til én enkel lineær formel.

KDA er sentralt for K3s posisjonering med 1M tokens, men kontekstlengde er en egenskap ved hele systemet. Minneoppsett, kjerner, håndtering av KV eller tilstand, caching, parallellisme og serveringsinfrastruktur påvirker alle om en lang kontekst er praktisk brukbar.

KDA og prefiks-caching

Konvensjonelle serveringssystemer bufrer ofte attention-tilstanden for et gjentatt prefiks. KDA innfører andre krav til tilstand og prefill, så man kan ikke uten videre anta at vanlige implementeringer av prefiks-cache fungerer effektivt.

Moonshot sier at selskapet har bidratt med støtte for KDA-prefill-cache til vLLM-fellesskapet, for utgivelse sammen med K3. Det bidrar til å forklare hvordan det offisielle API-et kan tilby en input-pris ved cache-treff langt under prisen for ikke-bufret input, til tross for modellens størrelse.

Infrastrukturteam bør vente på eksplisitt K3-støtte i den aktuelle vLLM-utgivelsen og de tilhørende kjernene i stedet for å bare endre et modellnavn i en eksisterende utrulling.

Hva er Attention Residuals?

Tradisjonelle dype nettverk sender informasjon gjennom residualforbindelser som akkumuleres lag for lag. Moonshot beskriver Attention Residuals, eller AttnRes, som en måte å selektivt hente representasjoner på tvers av dybden i stedet for å akkumulere alt likt.

Den tiltenkte fordelen er jevnere informasjonsflyt gjennom en svært dyp modell. I stedet for å tvinge hvert lag til bare å avhenge av den umiddelbart akkumulerte tilstanden, kan AttnRes fremheve nyttige tidligere representasjoner.

Dette er konseptuelt viktig i 2.8T-skala, der optimering og signalflyt blir vanskelig. De fullstendige ligningene, ablasjonene og treningsdetaljene bør vurderes når den tekniske rapporten er offentlig.

Stable LatentMoE og 896 eksperter

K3 er en Mixture-of-Experts-modell. En ruter velger ut et lite utvalg ekspertnettverk for hvert token.

K3 har:

• 896 rutede eksperter;
• 16 aktive eksperter per token;
• delte og rutede ekspertkomponenter i det publiserte diagrammet;
• et Stable LatentMoE-rammeverk utviklet for ekstrem sparsomhet.

Aktiveringsandelen er omtrent:

16 / 896 ≈ 1.8%

Denne prosentandelen sier ikke direkte noe om antallet aktive parametere. Delte lag, ekspertstørrelser, ruting, attention og andre komponenter bidrar med beregninger utenfor den enkle andelen. Behandle påstander om at K3 har et eksakt antall aktive parametere som ubekreftede, med mindre Moonshot publiserer tallet.

Hvorfor ekstrem MoE-sparsomhet er vanskelig

Flere eksperter gir mer kapasitet, men også vanskeligere problemer med ruting og infrastruktur:

• tokens kan overbelaste populære eksperter;
• lite brukte eksperter sløser bort kapasitet;
• plasseringen av eksperter påvirker kommunikasjonen;
• ubalansert last reduserer utnyttelsen av akseleratorene;
• dynamiske former og synkronisering med verten kan svekke gjennomstrømningen;
• rutingbeslutningene må holde seg stabile under trening.

K3 håndterer disse utfordringene med balansering, kjøring med statiske former og store kommunikasjonsdomener.

Quantile Balancing

Moonshot beskriver Quantile Balancing som en metode der ekspertfordelingen utledes fra kvantiler av ruterens poengsummer. Målet er å unngå heuristiske oppdateringsregler og en følsom hyperparameter for balansering.

Enkelt forklart tilpasser fordelingen seg distribusjonen av rutingpoengsummer i stedet for å avhenge av én manuelt justert terskel. Dette er relevant når 896 eksperter skal forbli nyttige og jevnt belastet i stor skala.

Det trengs fortsatt uavhengig reproduksjon og ablasjonsresultater for å tallfeste hvor mye Quantile Balancing bidrar sammenlignet med resten av treningssystemet.

Per-Head Muon

Muon er en optimeringsmetode som brukes under trening. K3 utvider den per attention-hode, slik at hodene kan optimeres mer uavhengig av hverandre.

Moonshots uttalte motivasjon er mer adaptiv optimering i stor skala. Dette er en treningsteknikk, ikke en API-funksjon: brukere konfigurerer ikke Per-Head Muon under inferens.

SiTU og Gated MLA

Lanseringsoversikten nevner også:

• Sigmoid Tanh Unit (SiTU): skal gi bedre kontroll over aktiveringer;
• Gated MLA: skal gi mer selektiv attention.

Disse komponentene inngår i en større blokkdesign som kombinerer KDA, latente eksperter, delte eksperter, konvolusjonselementer og gating. Det nøyaktige bidraget deres krever den tekniske rapporten og kontrollerte ablasjoner.

MXFP4-vekter og MXFP8-aktiveringer

K3 bruker kvantiseringsbevisst trening fra og med fasen for veiledet finjustering, med MXFP4-vekter og MXFP8-aktiveringer.

Kvantiseringsbevisst trening eksponerer modellen for oppførsel med lavere presisjon allerede under treningen, i stedet for å konvertere en ferdig modell med høy presisjon i etterkant. Det kan bevare mer kvalitet i et effektivt inferensformat.

MXFP4 reduserer det teoretiske lagringsbehovet for vektene betydelig. Med fire bit per parameter tilsvarer 2.8T rå parametere omtrent 1.4 TB før skalaer, metadata, ikke-kvantiserte komponenter, kjøretidsbuffere og redundans. Det er fortsatt langt utover forbrukermaskinvare.

Fullt balansert ekspertparallell trening

Moonshot sier at K3 bruker fullt balansert ekspertparallell trening med statiske former og uten synkronisering med verten på den kritiske banen. Disse valgene sikter mot forutsigbart arbeid på akseleratorene og færre pauser forårsaket av koordinering via CPU.

Ved inferens gjenstår den samme overordnede utfordringen: eksperter som er fordelt på mange enheter, må kommunisere raskt. Moonshot anbefaler en supernode med minst 64 akseleratorer, slik at mer av kommunikasjonen skjer innenfor et domene med høy båndbredde.

Hvordan K3 når en kontekst på 1M tokens

Ingen enkeltkomponent forklarer vinduet på 1M. Kapasiteten avhenger av:

• effektiv sekvensbehandling med KDA;
• stabil informasjonsflyt gjennom AttnRes;
• serveringskjerner og minnehåndtering;
• støtte for prefill-cache;
• distribuert akseleratorinfrastruktur;
• treningsdata og mål som lærer modellen å bruke lang kontekst.

At en modell tar imot én million tokens, betyr ikke at hvert token får like mye oppmerksomhet, eller at en prompt på en million tokens alltid er den beste løsningen. Evaluering av lang kontekst bør teste gjenfinning, avhengigheter over lang avstand, distraksjoner, ventetid og kostnad.

Kimi K3 sammenlignet med Kimi K2

Tallet 2.5× er Moonshots påstand om samlet skaleringseffektivitet, ikke et løfte om 2.5× høyere API-hastighet eller 2.5× bedre benchmarkresultater.

Begrensninger og åpne spørsmål om arkitekturen

Viktige ubesvarte spørsmål er blant annet:

• eksakt antall aktive parametere;
• fullstendige dimensjoner for lag og eksperter;
• antall treningstokens og sammensetningen av dataene;
• fullstendig treningsmetode for lang kontekst;
• uavhengige ablasjoner av arkitekturen;
• støttet maskinvare og målt gjennomstrømning per konfigurasjon;
• eksakt størrelse på vektfilene;
• endelig støtte i kjøremiljøer og lisens.

Disse spørsmålene bør besvares ut fra Moonshots tekniske rapport og offisielle repositorier etter utgivelsen.

Hvorfor arkitekturen betyr noe for utviklere

De fleste API-brukere trenger ikke å implementere KDA eller MoE-ruting. Men de trenger å forstå de praktiske konsekvensene:

• K3 er sterk på kontekstrikt og agentisk arbeid;
• det er avgjørende å bevare samtaletilstanden;
• automatisk caching kan redusere kostnadene betraktelig;
• selvhosting krever ekstrem infrastruktur;
• modellens oppførsel kan ikke utledes fra det totale parameterantallet alene;
• nye kjøremiljøer og kjerner må eksplisitt støtte K3.

Les Er Kimi K3 åpen kildekode? for status om utrulling og Kimi K3 API-guide for integrasjon i applikasjoner.

Ofte stilte spørsmål

Hvor mange parametere har Kimi K3?

K3 har 2.8 billioner parametere totalt i en sparsom Mixture-of-Experts-arkitektur.

Hvor mange eksperter er aktive?

Moonshot sier at 16 av 896 rutede eksperter aktiveres. Delte komponenter og komponenter utenom ekspertene bidrar også til beregningen.

Hva er Kimi Delta Attention?

KDA er Moonshots hybride mekanisme for lineær attention, laget for effektiv sekvensbehandling og skalering til lang kontekst.

Hvorfor støtter Kimi K3 1M kontekst?

Vinduet muliggjøres av arkitektur, trening, caching, kjerner, minnehåndtering og distribuert servering, ikke av én enkelt funksjon.

Kan Kimi K3 kjøres på forbruker-GPU-er?

Den komplette modellen kan ikke realistisk kjøres på forbruker-GPU-er. Moonshot anbefaler supernode-utrullinger med 64 eller flere akseleratorer.

Kilder

• Moonshot AI: oversikt over Kimi K3-arkitekturen
• Offisiell API-guide for Kimi K3
• Poyo.ai sin modellside for Kimi K3