O Kimi K3 escala até 2,8 biliões de parâmetros através de uma combinação de Kimi Delta Attention, Attention Residuals e um sistema Stable LatentMoE muito esparso, com 896 especialistas. Apenas 16 especialistas são ativados por token, o que permite que a capacidade total do modelo cresça muito mais depressa do que o cálculo ativo.
A Moonshot diz que estas alterações de arquitetura e de treino produzem cerca de 2,5× a eficiência global de escala do Kimi K2. Isso não significa que o K3 seja barato de executar. O modelo continua a ser concebido para inferência à escala de supernó, com 64 ou mais aceleradores.
Informação de arquitetura verificada a 21 de julho de 2026. A Moonshot publicou uma visão geral do lançamento, mas o relatório técnico completo e os pesos ainda estão previstos para lançamento. Este artigo assinala as questões em aberto em vez de inventar os pormenores de implementação em falta.
A arquitetura num relance
| Componente | Pormenor publicado do Kimi K3 |
|---|---|
| Total de parâmetros | 2,8 biliões |
| Atenção | Kimi Delta Attention, com Gated MLA na arquitetura |
| Ligação em profundidade | Attention Residuals |
| MoE | Stable LatentMoE |
| Especialistas | 896 especialistas encaminhados |
| Especialistas ativos | 16 por token |
| Balanceamento | Quantile Balancing |
| Técnica do otimizador | Per-Head Muon |
| Componente de ativação | Sigmoid Tanh Unit |
| Formato dos pesos | MXFP4 através de treino com consciência de quantização |
| Formato das ativações | MXFP8 |
| Contexto | 1 milhão de tokens |
| Direção de implementação | Supernó com 64+ aceleradores |
O que é a Kimi Delta Attention?
A Kimi Delta Attention, ou KDA, é o mecanismo híbrido de atenção linear da Moonshot. A sua função é dar uma base mais eficiente para processar sequências longas do que depender apenas da atenção completa convencional em todas as camadas e em todos os tokens.
Os métodos de atenção linear procuram, em geral, evitar o crescimento quadrático associado a comparar cada token com todos os outros. A palavra “híbrido” é importante: a arquitetura exata do K3 combina componentes de atenção em vez de reduzir o modelo a uma única fórmula linear simples.
A KDA é central para o posicionamento do K3 nos 1M de tokens, mas o comprimento do contexto é uma propriedade do sistema. A disposição da memória, os kernels, o tratamento de KV ou de estado, a cache, o paralelismo e a infraestrutura de serving afetam todos a viabilidade prática de um contexto longo.
KDA e prefix caching
Os sistemas de serving convencionais fazem muitas vezes cache do estado de atenção de um prefixo repetido. A KDA introduz requisitos diferentes de estado e de prefill, pelo que não se pode simplesmente partir do princípio de que as implementações normais de prefix-cache funcionam de forma eficiente.
A Moonshot diz que contribuiu para a comunidade vLLM com suporte de prefill-cache para a KDA, para lançamento em conjunto com o K3. Isto ajuda a explicar como a API oficial consegue oferecer um preço de entrada com acerto na cache muito abaixo do da entrada sem cache, apesar da escala do modelo.
As equipas de infraestrutura devem esperar por suporte explícito ao K3 na versão do vLLM e nos kernels relevantes, em vez de alterarem o nome do modelo numa implementação existente.
O que são as Attention Residuals?
As redes profundas tradicionais passam a informação por ligações residuais que se vão acumulando camada a camada. A Moonshot descreve as Attention Residuals, ou AttnRes, como uma forma de recuperar seletivamente representações ao longo da profundidade, em vez de acumular tudo de modo uniforme.
O benefício pretendido é um fluxo de informação mais suave num modelo muito profundo. Em vez de obrigar cada camada a depender apenas do estado imediatamente acumulado, as AttnRes podem dar destaque a representações anteriores úteis.
Isto é conceptualmente importante à escala de 2,8T, onde a otimização e o fluxo de sinal se tornam difíceis. As equações completas, as ablações e os pormenores de treino devem ser avaliados quando o relatório técnico for público.
Stable LatentMoE e 896 especialistas
O K3 é um modelo Mixture-of-Experts. Um router seleciona um pequeno subconjunto de redes de especialistas para cada token.
O K3 tem:
- 896 especialistas encaminhados;
- 16 especialistas ativos por token;
- componentes de especialistas partilhados e encaminhados no diagrama publicado;
- uma framework Stable LatentMoE concebida para esparsidade extrema.
O rácio de ativação é aproximadamente:
16 / 896 ≈ 1.8%
Essa percentagem não revela diretamente o número de parâmetros ativos. As camadas partilhadas, os tamanhos dos especialistas, o encaminhamento, a atenção e outros componentes contribuem com cálculo para além do rácio simples. Trata como não verificadas as afirmações de que o K3 tem um número exato de parâmetros ativos, a menos que a Moonshot o publique.
Porque é difícil a esparsidade MoE extrema
Mais especialistas criam mais capacidade, mas também problemas de encaminhamento e de infraestrutura mais difíceis:
- os tokens podem sobrecarregar os especialistas mais populares;
- os especialistas subutilizados desperdiçam capacidade;
- a colocação dos especialistas afeta a comunicação;
- o desequilíbrio de carga reduz a utilização dos aceleradores;
- as formas dinâmicas e a sincronização com o host podem prejudicar o débito;
- as decisões de encaminhamento têm de se manter estáveis durante o treino.
O K3 aborda estes problemas com balanceamento, execução com formas estáticas e grandes domínios de comunicação.
Quantile Balancing
A Moonshot descreve o Quantile Balancing como a derivação da atribuição de especialistas a partir de quantis das pontuações do router. O objetivo é evitar regras de atualização heurísticas e um hiperparâmetro de balanceamento sensível.
Em linguagem simples, a atribuição adapta-se à distribuição das pontuações de encaminhamento, em vez de depender de um único limiar afinado à mão. Isto é relevante quando 896 especialistas têm de se manter úteis e servidos de forma equilibrada à escala.
Continuam a ser necessários resultados independentes de reprodução e de ablação para quantificar o contributo do Quantile Balancing em relação ao resto do sistema de treino.
Per-Head Muon
O Muon é uma abordagem de otimização usada durante o treino. O K3 estende-o ao nível de cada cabeça de atenção, permitindo que as cabeças sejam otimizadas de forma mais independente.
A motivação indicada pela Moonshot é uma otimização mais adaptativa em grande escala. Trata-se de uma técnica de treino e não de uma funcionalidade da API: os utilizadores não configuram o Per-Head Muon durante a inferência.
SiTU e Gated MLA
A visão geral do lançamento identifica ainda:
- Sigmoid Tanh Unit (SiTU): destinada a melhorar o controlo da ativação;
- Gated MLA: destinada a melhorar a seletividade da atenção.
Estes componentes inserem-se num desenho de bloco mais amplo, que combina KDA, especialistas latentes, especialistas partilhados, elementos convolucionais e gating. O seu contributo exato exige o relatório técnico e ablações controladas.
Pesos MXFP4 e ativações MXFP8
O K3 usa treino com consciência de quantização desde a fase de supervised fine-tuning, com pesos MXFP4 e ativações MXFP8.
O treino com consciência de quantização expõe o modelo ao comportamento de menor precisão durante o treino, em vez de converter a posteriori um modelo acabado de alta precisão. Isto pode preservar mais qualidade num formato de inferência eficiente.
O MXFP4 reduz substancialmente o armazenamento teórico dos pesos. A quatro bits por parâmetro, 2,8T de parâmetros em bruto correspondem a cerca de 1,4 TB, antes de escalas, metadados, componentes não quantizados, buffers de runtime e redundância. Continua muito para além do hardware de consumo.
Treino com paralelismo de especialistas totalmente equilibrado
A Moonshot diz que o K3 usa treino com paralelismo de especialistas totalmente equilibrado, com formas estáticas e sem sincronização com o host no caminho crítico. Estas escolhas visam um trabalho previsível dos aceleradores e reduzem as pausas causadas pela coordenação do CPU.
Na inferência, o mesmo desafio geral mantém-se: os especialistas distribuídos por muitos dispositivos têm de comunicar depressa. A Moonshot recomenda um supernó com pelo menos 64 aceleradores, para que mais comunicação ocorra dentro de um domínio de grande largura de banda.
Como o K3 chega a um contexto de 1M de tokens
Nenhum componente isolado explica a janela de 1M. A capacidade depende de:
- processamento eficiente de sequências pela KDA;
- fluxo de informação estável através das AttnRes;
- kernels de serving e gestão de memória;
- suporte de prefill-cache;
- infraestrutura distribuída de aceleradores;
- dados e objetivos de treino que ensinam o modelo a usar o contexto longo.
Um modelo aceitar um milhão de tokens não significa que cada token receba igual atenção, nem que um prompt de um milhão de tokens seja sempre o melhor desenho. A avaliação de contexto longo deve testar a recuperação, as dependências distantes, a distração, a latência e o custo.
Kimi K3 versus Kimi K2
| Área | Direção do Kimi K3 | Referência do Kimi K2 |
|---|---|---|
| Escala | 2,8T de parâmetros no total | Geração anterior mais pequena |
| Atenção | Atenção linear híbrida KDA | Arquitetura anterior |
| Profundidade | Attention Residuals | Desenho residual anterior |
| MoE | 896 especialistas, 16 ativos | Esparsidade menos extrema |
| Eficiência | ~2,5× de eficiência de escala (alegada) | Referência |
| Visão | Compreensão visual nativa | Superfície de capacidades anterior diferente |
| Contexto | 1M de tokens | Limite anterior mais baixo, consoante o modelo |
O valor de 2,5× é a alegação de eficiência global de escala da Moonshot, não uma promessa de uma API 2,5× mais rápida nem de um desempenho 2,5× melhor nos benchmarks.
Limitações da arquitetura e questões em aberto
Entre as questões importantes sem resposta incluem-se:
- o número exato de parâmetros ativos;
- as dimensões completas das camadas e dos especialistas;
- o número de tokens de treino e a mistura de dados;
- o método completo de treino para contexto longo;
- ablações de arquitetura independentes;
- o hardware suportado e o débito medido por configuração;
- a dimensão exata dos ficheiros de pesos;
- o suporte final de runtime e de licença.
Estas questões devem ser respondidas pelo relatório técnico da Moonshot e pelos repositórios oficiais depois do lançamento.
Porque importa a arquitetura aos programadores
A maioria dos utilizadores da API não precisa de implementar a KDA nem o encaminhamento MoE. Precisam, sim, de perceber as consequências operacionais:
- o K3 é forte em trabalho que exige muito contexto e em trabalho agentic;
- preservar o estado da conversa é essencial;
- a cache automática pode reduzir o custo de forma significativa;
- o self-hosting exige uma infraestrutura extrema;
- o comportamento do modelo não pode ser deduzido apenas a partir do número total de parâmetros;
- os novos runtimes e kernels têm de suportar explicitamente o K3.
Lê O Kimi K3 é open source? para saberes o estado da implementação e o guia da API do Kimi K3 para a integração em aplicações.
Perguntas frequentes
Quantos parâmetros tem o Kimi K3?
O K3 tem 2,8 biliões de parâmetros no total, numa arquitetura Mixture-of-Experts esparsa.
Quantos especialistas estão ativos?
A Moonshot diz que são ativados 16 dos 896 especialistas encaminhados. Os componentes partilhados e os que não são especialistas também contribuem para o cálculo.
O que é a Kimi Delta Attention?
A KDA é o mecanismo híbrido de atenção linear da Moonshot para um processamento eficiente de sequências e para a escala de contexto longo.
Porque suporta o Kimi K3 um contexto de 1M?
A janela é possibilitada pela arquitetura, pelo treino, pela cache, pelos kernels, pela gestão de memória e pelo serving distribuído, e não por uma única funcionalidade.
O Kimi K3 consegue correr em GPU de consumo?
O modelo completo não consegue correr, de forma realista, em GPU de consumo. A Moonshot recomenda implementações em supernós com 64 ou mais aceleradores.