Architektura Kimi K3: KDA, AttnRes i 896 ekspertów MoE

Kimi K3 osiąga skalę 2,8 biliona parametrów dzięki połączeniu Kimi Delta Attention, Attention Residuals i bardzo rzadkiego systemu Stable LatentMoE z 896 ekspertami. Dla pojedynczego tokena aktywnych jest tylko 16 ekspertów, więc całkowita pojemność modelu rośnie znacznie szybciej niż aktywne obliczenia.

Moonshot twierdzi, że te zmiany w architekturze i treningu dają około 2,5× wyższą ogólną efektywność skalowania niż w Kimi K2. Nie znaczy to, że uruchamianie K3 jest tanie. Model nadal projektowano z myślą o inferencji w skali supernode, na 64 lub więcej akceleratorach.

Informacje o architekturze sprawdzone 21 lipca 2026. Moonshot opublikował przegląd z okazji premiery, a pełny raport techniczny i wagi dopiero mają zostać wydane. W tym artykule oznaczamy otwarte pytania, zamiast wymyślać brakujące szczegóły implementacji.

Architektura w skrócie

Czym jest Kimi Delta Attention?

Kimi Delta Attention, czyli KDA, to hybrydowy mechanizm liniowej uwagi opracowany przez Moonshot. Ma on stanowić wydajniejszą podstawę do przetwarzania długich sekwencji niż poleganie wyłącznie na klasycznej pełnej uwadze w każdej warstwie i dla każdego tokena.

Metody liniowej uwagi zwykle starają się uniknąć kwadratowego wzrostu kosztu, który wynika z porównywania każdego tokena z każdym innym. Słowo „hybrydowy” ma tu znaczenie: dokładna architektura K3 łączy różne komponenty uwagi, a nie sprowadza modelu do jednego prostego wzoru liniowego.

KDA jest kluczowa dla pozycjonowania K3 jako modelu z kontekstem 1M tokenów, ale długość kontekstu jest cechą całego systemu. O tym, czy długi kontekst jest w praktyce użyteczny, decydują układ pamięci, kernele, obsługa KV lub stanu, cache'owanie, równoległość i infrastruktura serwująca.

KDA i prefix caching

Klasyczne systemy serwujące często cache'ują stan uwagi dla powtarzającego się prefiksu. KDA wprowadza inne wymagania dotyczące stanu i prefillu, więc nie można po prostu zakładać, że zwykłe implementacje prefix cache będą działać wydajnie.

Moonshot twierdzi, że wniósł do społeczności vLLM obsługę prefill cache dla KDA, by trafiła do wydania razem z K3. To pomaga wyjaśnić, jak oficjalne API może oferować cenę wejścia z trafieniem w cache znacznie niższą niż wejścia bez cache, mimo skali modelu.

Zespoły odpowiedzialne za infrastrukturę powinny poczekać na jawną obsługę K3 w odpowiednim wydaniu vLLM i w kernelach, zamiast podmieniać nazwę modelu w istniejącym wdrożeniu.

Czym są Attention Residuals?

W tradycyjnych głębokich sieciach informacja przepływa przez połączenia rezydualne, które kumulują się warstwa po warstwie. Moonshot opisuje Attention Residuals, czyli AttnRes, jako selektywne pobieranie reprezentacji z różnych głębokości, zamiast jednolitego kumulowania wszystkiego.

Zamierzona korzyść to płynniejszy przepływ informacji w bardzo głębokim modelu. Zamiast zmuszać każdą warstwę do zależności wyłącznie od bezpośrednio skumulowanego stanu, AttnRes może uwypuklać przydatne wcześniejsze reprezentacje.

Ma to duże znaczenie koncepcyjne w skali 2,8T, gdzie optymalizacja i przepływ sygnału stają się trudne. Pełne równania, ablacje i szczegóły treningu warto ocenić, gdy raport techniczny będzie publiczny.

Stable LatentMoE i 896 ekspertów

K3 to model Mixture-of-Experts. Router wybiera dla każdego tokena niewielki podzbiór sieci ekspertów.

K3 ma:

• 896 ekspertów routowanych;
• 16 ekspertów aktywnych dla jednego tokena;
• współdzielone i routowane komponenty ekspertów na opublikowanym diagramie;
• framework Stable LatentMoE zaprojektowany z myślą o ekstremalnej rzadkości.

Współczynnik aktywacji wynosi w przybliżeniu:

16 / 896 ≈ 1.8%

Ten odsetek nie mówi wprost, ile jest aktywnych parametrów. Warstwy współdzielone, rozmiary ekspertów, routing, attention i inne komponenty wnoszą obliczenia poza prostą proporcję. Twierdzenia, że K3 ma dokładną liczbę aktywnych parametrów, traktuj jako niezweryfikowane, dopóki Moonshot jej nie opublikuje.

Dlaczego ekstremalna rzadkość MoE jest trudna

Więcej ekspertów daje większą pojemność, ale też trudniejszy routing i większe problemy infrastrukturalne:

• tokeny mogą przeciążać popularnych ekspertów;
• niedostatecznie używani eksperci marnują pojemność;
• rozmieszczenie ekspertów wpływa na komunikację;
• nierównomierne obciążenie obniża wykorzystanie akceleratorów;
• dynamiczne kształty i synchronizacja z hostem mogą pogarszać przepustowość;
• decyzje routingu muszą pozostać stabilne podczas treningu.

K3 radzi sobie z tymi problemami dzięki równoważeniu, wykonaniu ze statycznymi kształtami i dużym domenom komunikacji.

Quantile Balancing

Moonshot opisuje Quantile Balancing jako wyznaczanie przydziału ekspertów na podstawie kwantyli wyników routera. Celem jest uniknięcie heurystycznych reguł aktualizacji i wrażliwego hiperparametru równoważenia.

Prościej mówiąc, przydział dostosowuje się do rozkładu wyników routingu, zamiast zależeć od jednego ręcznie dostrajanego progu. Ma to znaczenie, gdy 896 ekspertów musi w dużej skali pozostać użytecznych i równomiernie obciążonych.

Wciąż potrzebne są niezależne reprodukcje i wyniki ablacji, żeby określić, ile Quantile Balancing wnosi na tle reszty systemu treningowego.

Per-Head Muon

Muon to podejście do optymalizacji stosowane podczas treningu. K3 rozszerza je na poziom pojedynczych głowic uwagi, dzięki czemu głowice można optymalizować bardziej niezależnie.

Deklarowana motywacja Moonshot to bardziej adaptacyjna optymalizacja w dużej skali. To technika treningowa, a nie funkcja API: użytkownicy nie konfigurują Per-Head Muon podczas inferencji.

SiTU i Gated MLA

Przegląd z okazji premiery wymienia też:

• Sigmoid Tanh Unit (SiTU): ma poprawiać kontrolę aktywacji;
• Gated MLA: ma poprawiać selektywność uwagi.

Te komponenty są częścią większego projektu bloku, który łączy KDA, ekspertów latentnych, ekspertów współdzielonych, elementy konwolucyjne i bramkowanie. Ich dokładny wkład wymaga raportu technicznego i kontrolowanych ablacji.

Wagi MXFP4 i aktywacje MXFP8

K3 stosuje trening uwzględniający kwantyzację od etapu nadzorowanego dostrajania, z wagami MXFP4 i aktywacjami MXFP8.

Trening uwzględniający kwantyzację uczy model zachowania w niższej precyzji już w trakcie treningu, zamiast konwertować gotowy model o wysokiej precyzji na samym końcu. Dzięki temu można zachować więcej jakości przy wydajnym formacie inferencji.

MXFP4 znacząco zmniejsza teoretyczny rozmiar wag. Przy czterech bitach na parametr 2,8T surowych parametrów odpowiada około 1,4 TB, jeszcze przed doliczeniem skal, metadanych, komponentów niekwantyzowanych, buforów runtime i redundancji. To nadal daleko poza zasięgiem sprzętu konsumenckiego.

W pełni zrównoważony trening z równoległością ekspertów

Moonshot twierdzi, że K3 wykorzystuje w pełni zrównoważony trening z równoległością ekspertów, ze statycznymi kształtami i bez synchronizacji z hostem na ścieżce krytycznej. Te wybory mają zapewnić przewidywalną pracę akceleratorów i ograniczyć przestoje wynikające z koordynacji przez CPU.

Podczas inferencji pozostaje ten sam ogólny problem: eksperci rozmieszczeni na wielu urządzeniach muszą szybko się komunikować. Moonshot zaleca supernode z co najmniej 64 akceleratorami, aby więcej komunikacji odbywało się wewnątrz domeny o wysokiej przepustowości.

Jak K3 osiąga kontekst 1M tokenów

Okna 1M nie wyjaśnia żaden pojedynczy komponent. Ta możliwość zależy od:

• wydajnego przetwarzania sekwencji przez KDA;
• stabilnego przepływu informacji dzięki AttnRes;
• kerneli serwujących i zarządzania pamięcią;
• obsługi prefill cache;
• rozproszonej infrastruktury akceleratorów;
• danych i celów treningowych, które uczą model korzystania z długiego kontekstu.

To, że model przyjmuje milion tokenów, nie oznacza, że każdy token dostaje tyle samo uwagi, ani że prompt na milion tokenów jest zawsze najlepszym rozwiązaniem. Ocena długiego kontekstu powinna obejmować wyszukiwanie informacji, odległe zależności, rozpraszanie uwagi, opóźnienie i koszt.

Kimi K3 a Kimi K2

Wartość 2,5× to deklaracja Moonshot dotycząca ogólnej efektywności skalowania, a nie obietnica 2,5× szybszego API ani 2,5× lepszych wyników w benchmarkach.

Ograniczenia architektury i otwarte pytania

Ważne pytania, na które wciąż nie ma odpowiedzi:

• dokładna liczba aktywnych parametrów;
• pełne wymiary warstw i ekspertów;
• liczba tokenów treningowych i miks danych;
• kompletna metoda treningu długiego kontekstu;
• niezależne ablacje architektury;
• obsługiwany sprzęt i zmierzona przepustowość dla poszczególnych konfiguracji;
• dokładny rozmiar plików wag;
• ostateczna obsługa w runtime i licencja.

Odpowiedzi na te pytania powinny pojawić się w raporcie technicznym Moonshot i w oficjalnych repozytoriach po premierze.

Dlaczego architektura ma znaczenie dla programistów

Większość użytkowników API nie musi implementować KDA ani routingu MoE. Powinni jednak rozumieć praktyczne konsekwencje:

• K3 jest mocny w zadaniach wymagających dużego kontekstu i w pracy agentowej;
• zachowanie stanu rozmowy jest niezbędne;
• automatyczne cache'owanie może istotnie obniżyć koszt;
• samodzielny hosting wymaga ekstremalnej infrastruktury;
• zachowania modelu nie da się wywnioskować wyłącznie z łącznej liczby parametrów;
• nowe runtime i kernele muszą jawnie obsługiwać K3.

Przeczytaj Czy Kimi K3 jest open source?, aby poznać stan wdrożeń, oraz przewodnik po API Kimi K3, aby dowiedzieć się, jak zintegrować model z aplikacją.

Najczęstsze pytania

Ile parametrów ma Kimi K3?

K3 ma łącznie 2,8 biliona parametrów w rzadkiej architekturze Mixture-of-Experts.

Ilu ekspertów jest aktywnych?

Moonshot podaje, że aktywowanych jest 16 z 896 ekspertów routowanych. Do obliczeń przyczyniają się także komponenty współdzielone i pozostałe, niebędące ekspertami.

Czym jest Kimi Delta Attention?

KDA to hybrydowy mechanizm liniowej uwagi Moonshot, służący do wydajnego przetwarzania sekwencji i skalowania długiego kontekstu.

Dlaczego Kimi K3 obsługuje kontekst 1M?

Okno to umożliwiają architektura, trening, cache'owanie, kernele, zarządzanie pamięcią i rozproszone serwowanie, a nie pojedyncza funkcja.

Czy Kimi K3 uruchomię na konsumenckich GPU?

Pełnego modelu nie da się realnie uruchomić na konsumenckich GPU. Moonshot zaleca wdrożenia na supernode z 64 lub więcej akceleratorami.

Źródła

• Moonshot AI: przegląd architektury Kimi K3
• Oficjalny przewodnik po API Kimi K3
• Strona modelu Kimi K3 w Poyo.ai