Kimi K3-arkitektur: KDA, AttnRes og 896 MoE-eksperter

Kimi K3 skalerer op til 2,8 billioner parametre gennem en kombination af Kimi Delta Attention, Attention Residuals og et meget sparsomt Stable LatentMoE-system med 896 eksperter. Kun 16 eksperter aktiveres for hvert token, så modellens samlede kapacitet kan vokse meget hurtigere end den aktive beregning.

Moonshot oplyser, at disse ændringer i arkitektur og træning giver omkring 2,5 gange så høj samlet skaleringseffektivitet som Kimi K2. Det betyder ikke, at K3 er billig at køre. Modellen er stadig designet til inferens i supernode-skala med 64 eller flere acceleratorer.

Arkitekturoplysninger kontrolleret 21. juli 2026. Moonshot har offentliggjort et overblik i forbindelse med lanceringen, mens den komplette tekniske rapport og vægtene stadig er planlagt til udgivelse. Denne artikel markerer åbne spørgsmål i stedet for at opfinde manglende implementeringsdetaljer.

Arkitekturen med et enkelt blik

Hvad er Kimi Delta Attention?

Kimi Delta Attention, eller KDA, er Moonshots hybride lineære attention-mekanisme. Dens rolle er at give et mere effektivt fundament for behandling af lange sekvenser end udelukkende at bruge konventionel fuld attention i hvert lag og for hvert token.

Lineære attention-metoder forsøger generelt at undgå den kvadratiske vækst, der følger af at sammenligne hvert token med alle andre tokens. Ordet »hybrid« er vigtigt: Den præcise K3-arkitektur kombinerer attention-komponenter i stedet for at reducere modellen til én simpel lineær formel.

KDA er central for K3's positionering med 1M tokens, men kontekstlængde er en egenskab ved hele systemet. Hukommelseslayout, kernels, håndtering af KV eller tilstand, caching, parallelisme og serveringsinfrastruktur påvirker alle, om en lang kontekst er praktisk anvendelig.

KDA og præfiks-caching

Konventionelle serveringssystemer cacher ofte attention-tilstanden for et gentaget præfiks. KDA indfører andre krav til tilstand og prefill, så man ikke bare kan gå ud fra, at almindelige implementeringer af præfikscache fungerer effektivt.

Moonshot oplyser, at de har bidraget med understøttelse af KDA-prefill-cache til vLLM-fællesskabet, så den kan udkomme sammen med K3. Det er med til at forklare, hvordan det officielle API kan tilbyde en pris for input med cache-hit, der ligger langt under ikke-cachet input, trods modellens størrelse.

Infrastrukturteams bør vente på eksplicit K3-understøttelse i den relevante vLLM-version og de relevante kernels i stedet for at ændre et modelnavn i en eksisterende udrulning.

Hvad er Attention Residuals?

Traditionelle dybe netværk sender information gennem residualforbindelser, der akkumuleres lag for lag. Moonshot beskriver Attention Residuals, eller AttnRes, som selektiv hentning af repræsentationer på tværs af dybden i stedet for at akkumulere alt ensartet.

Den tilsigtede fordel er et mere jævnt informationsflow gennem en meget dyb model. I stedet for at tvinge hvert lag til kun at afhænge af den umiddelbart akkumulerede tilstand kan AttnRes fremhæve nyttige tidligere repræsentationer.

Det er begrebsmæssigt vigtigt ved en skala på 2,8T, hvor optimering og signalflow bliver vanskelige. De fuldstændige ligninger, ablationer og træningsdetaljer bør vurderes, når den tekniske rapport er offentlig.

Stable LatentMoE og 896 eksperter

K3 er en Mixture-of-Experts-model. En router vælger en lille delmængde af ekspertnetværk for hvert token.

K3 har:

• 896 routede eksperter;
• 16 eksperter aktive for hvert token;
• delte og routede ekspertkomponenter i det offentliggjorte diagram;
• et Stable LatentMoE-framework designet til ekstrem sparsomhed.

Aktiveringsforholdet er omtrent:

16 / 896 ≈ 1.8%

Den procentdel afslører ikke direkte antallet af aktive parametre. Delte lag, ekspertstørrelser, routing, attention og andre komponenter bidrager med beregning ud over det simple forhold. Betragt påstande om, at K3 har et præcist antal aktive parametre, som ubekræftede, medmindre Moonshot offentliggør tallet.

Hvorfor ekstrem MoE-sparsomhed er svær

Flere eksperter giver mere kapacitet, men også sværere problemer med routing og infrastruktur:

• tokens kan overbelaste populære eksperter;
• underudnyttede eksperter spilder kapacitet;
• placeringen af eksperter påvirker kommunikationen;
• ubalanceret belastning sænker acceleratorernes udnyttelse;
• dynamiske former og værtssynkronisering kan skade gennemløbet;
• routingbeslutninger skal forblive stabile under træning.

K3 håndterer disse problemer med balancering, eksekvering med statiske former og store kommunikationsdomæner.

Quantile Balancing

Moonshot beskriver Quantile Balancing som en metode, hvor ekspertallokeringen udledes af kvantiler i routerens scores. Målet er at undgå heuristiske opdateringsregler og en følsom balanceringshyperparameter.

Med almindelige ord tilpasser allokeringen sig fordelingen af routingscores i stedet for at afhænge af én manuelt indstillet tærskel. Det er relevant, når 896 eksperter skal forblive nyttige og blive betjent jævnt i stor skala.

Der mangler stadig uafhængig reproduktion og ablationsresultater, før man kan opgøre, hvor meget Quantile Balancing bidrager i forhold til resten af træningssystemet.

Per-Head Muon

Muon er en optimeringsmetode, der bruges under træning. K3 udvider den til at virke pr. attention-hoved, så hoveder kan optimeres mere uafhængigt af hinanden.

Moonshots erklærede motivation er mere adaptiv optimering i stor skala. Det er en træningsteknik og ikke en API-funktion: Brugere konfigurerer ikke Per-Head Muon under inferens.

SiTU og Gated MLA

Overblikket fra lanceringen identificerer også:

• Sigmoid Tanh Unit (SiTU): skal forbedre kontrollen med aktivering;
• Gated MLA: skal forbedre attention's selektivitet.

Disse komponenter sidder i et større blokdesign, der kombinerer KDA, latente eksperter, delte eksperter, konvolutionelle elementer og gating. Deres præcise bidrag kræver den tekniske rapport og kontrollerede ablationer.

MXFP4-vægte og MXFP8-aktiveringer

K3 bruger kvantiseringsbevidst træning fra den superviserede finjustering og frem, med MXFP4-vægte og MXFP8-aktiveringer.

Kvantiseringsbevidst træning udsætter modellen for adfærd med lavere præcision under træningen i stedet for at konvertere en færdig model med høj præcision som en eftertanke. Det kan bevare mere kvalitet i et effektivt inferensformat.

MXFP4 reducerer den teoretiske vægtlagring betydeligt. Med fire bit pr. parameter svarer 2,8T rå parametre til omkring 1,4 TB, før man tæller skalaer, metadata, ikke-kvantiserede komponenter, runtime-buffere og redundans med. Det ligger stadig langt over, hvad forbrugerhardware kan klare.

Fuldt balanceret ekspertparallel træning

Moonshot oplyser, at K3 bruger fuldt balanceret ekspertparallel træning med statiske former og uden værtssynkronisering på den kritiske sti. Disse valg sigter mod forudsigeligt arbejde for acceleratorerne og færre pauser forårsaget af CPU-koordinering.

Ved inferens består den samme overordnede udfordring: Eksperter, der er fordelt over mange enheder, skal kommunikere hurtigt. Moonshot anbefaler en supernode med mindst 64 acceleratorer, så mere af kommunikationen foregår inden for et domæne med høj båndbredde.

Sådan når K3 en kontekst på 1M tokens

Ingen enkelt komponent forklarer vinduet på 1M. Evnen afhænger af:

• effektiv KDA-sekvensbehandling;
• stabilt informationsflow gennem AttnRes;
• serveringskernels og hukommelsesstyring;
• understøttelse af prefill-cache;
• distribueret acceleratorinfrastruktur;
• træningsdata og mål, der lærer modellen at bruge lang kontekst.

At en model accepterer en million tokens betyder ikke, at hvert token får lige stor opmærksomhed, eller at en prompt på en million tokens altid er det bedste design. Evaluering af lang kontekst bør teste retrieval, fjerne afhængigheder, distraktion, svartid og omkostninger.

Kimi K3 versus Kimi K2

Tallet 2,5 gange er Moonshots påstand om samlet skaleringseffektivitet og ikke et løfte om 2,5 gange så hurtigt et API eller 2,5 gange så høj benchmarkpræstation.

Begrænsninger i arkitekturen og åbne spørgsmål

Vigtige ubesvarede spørgsmål omfatter:

• det præcise antal aktive parametre;
• fulde dimensioner for lag og eksperter;
• antal træningstokens og datablanding;
• den komplette træningsmetode for lang kontekst;
• uafhængige ablationer af arkitekturen;
• understøttet hardware og målt gennemløb pr. konfiguration;
• den præcise størrelse på vægtfilerne;
• endelig understøttelse af runtime og licens.

Disse spørgsmål bør besvares ud fra Moonshots tekniske rapport og officielle repositories efter udgivelsen.

Hvorfor arkitekturen har betydning for udviklere

De fleste API-brugere behøver ikke selv at implementere KDA eller MoE-routing. De skal dog forstå de driftsmæssige konsekvenser:

• K3 er stærk til konteksttungt og agentbaseret arbejde;
• det er afgørende at bevare samtaletilstanden;
• automatisk caching kan mærkbart reducere omkostningerne;
• selvhosting kræver ekstrem infrastruktur;
• modellens adfærd kan ikke udledes af det samlede parameterantal alene;
• nye runtimes og kernels skal eksplicit understøtte K3.

Læs Er Kimi K3 open source? for status på udrulningen og Kimi K3 API-guide for integration i applikationer.

Ofte stillede spørgsmål

Hvor mange parametre har Kimi K3?

K3 har 2,8 billioner parametre i alt i en sparsom Mixture-of-Experts-arkitektur.

Hvor mange eksperter er aktive?

Moonshot oplyser, at 16 af 896 routede eksperter aktiveres. Delte komponenter og komponenter uden eksperter bidrager også til beregningen.

Hvad er Kimi Delta Attention?

KDA er Moonshots hybride lineære attention-mekanisme til effektiv sekvensbehandling og skalering af lang kontekst.

Hvorfor understøtter Kimi K3 en kontekst på 1M?

Vinduet muliggøres af arkitektur, træning, caching, kernels, hukommelsesstyring og distribueret servering og ikke af én enkelt funktion alene.

Kan Kimi K3 køre på GPU'er til forbrugere?

Den komplette model kan ikke realistisk køre på GPU'er til forbrugere. Moonshot anbefaler udrulning på supernoder med 64 eller flere acceleratorer.

Kilder

• Moonshot AI: overblik over Kimi K3-arkitekturen
• Officiel API-guide til Kimi K3
• Poyo.ai's modelside for Kimi K3