O Kimi K3 escala para 2,8 trilhões de parâmetros por meio de uma combinação de Kimi Delta Attention, Attention Residuals e um sistema Stable LatentMoE altamente esparso com 896 especialistas. Apenas 16 especialistas são ativados para um token, permitindo que a capacidade total do modelo cresça muito mais rapidamente do que a computação ativa.
A Moonshot afirma que essas mudanças arquiteturais e de treinamento produzem aproximadamente 2,5× a eficiência geral de escalabilidade do Kimi K2. Isso não significa que o K3 seja barato de executar. O modelo ainda foi projetado para inferência em escala de supernode com 64 ou mais aceleradores.
Informações de arquitetura verificadas em 21 de julho de 2026. A Moonshot publicou uma visão geral do lançamento, enquanto o relatório técnico completo e os pesos ainda estão planejados para lançamento. Este artigo identifica questões em aberto em vez de inventar detalhes de implementação ausentes.
Arquitetura em resumo
| Componente | Detalhe publicado do Kimi K3 |
|---|---|
| Parâmetros totais | 2,8 trilhões |
| Atenção | Kimi Delta Attention, com Gated MLA na arquitetura |
| Conexão de profundidade | Attention Residuals |
| MoE | Stable LatentMoE |
| Especialistas | 896 especialistas roteados |
| Especialistas ativos | 16 por token |
| Balanceamento | Quantile Balancing |
| Técnica de otimização | Per-Head Muon |
| Componente de ativação | Sigmoid Tanh Unit |
| Formato dos pesos | MXFP4 por meio de treinamento consciente de quantização |
| Formato das ativações | MXFP8 |
| Contexto | 1 milhão de tokens |
| Direção de implantação | Supernode com 64+ aceleradores |
O que é o Kimi Delta Attention?
Kimi Delta Attention, ou KDA, é o mecanismo híbrido de atenção linear da Moonshot. Seu papel é fornecer uma base mais eficiente para processar sequências longas do que depender apenas de atenção completa convencional em cada camada e token.
Métodos de atenção linear geralmente buscam evitar o crescimento quadrático associado à comparação de cada token com todos os outros tokens. A palavra “híbrido” é importante: a arquitetura exata do K3 combina componentes de atenção em vez de reduzir o modelo a uma única fórmula linear simples.
O KDA é fundamental para o posicionamento do K3 com janela de 1M tokens, mas o tamanho do contexto é uma propriedade do sistema. Layout de memória, kernels, gerenciamento de KV ou estado, cache, paralelismo e infraestrutura de execução influenciam se um contexto longo é realmente viável.
KDA e cache de prefixo
Sistemas convencionais de execução frequentemente armazenam em cache o estado de atenção de um prefixo repetido. O KDA introduz requisitos diferentes de estado e prefill, portanto não é possível presumir que implementações comuns de cache de prefixo funcionem com eficiência.
A Moonshot afirma que contribuiu com suporte ao cache de prefill do KDA para a comunidade vLLM junto ao lançamento do K3. Isso ajuda a explicar como a API oficial pode oferecer um preço de entrada com cache muito abaixo da entrada sem cache, apesar da escala do modelo.
Equipes de infraestrutura devem aguardar suporte explícito ao K3 na versão relevante do vLLM e nos kernels, em vez de simplesmente modificar o nome de um modelo em uma implantação existente.
O que são Attention Residuals?
Redes profundas tradicionais passam informações por conexões residuais que acumulam informações camada após camada. A Moonshot descreve Attention Residuals, ou AttnRes, como uma forma de recuperar seletivamente representações ao longo da profundidade, em vez de acumular tudo uniformemente.
O benefício pretendido é um fluxo de informação mais suave em um modelo muito profundo. Em vez de forçar cada camada a depender apenas do estado acumulado imediatamente anterior, o AttnRes pode enfatizar representações anteriores úteis.
Isso é conceitualmente importante na escala de 2,8T, onde otimização e fluxo de sinais se tornam difíceis. As equações completas, ablações e detalhes de treinamento devem ser avaliados quando o relatório técnico estiver disponível.
Stable LatentMoE e 896 especialistas
O K3 é um modelo Mixture-of-Experts. Um roteador seleciona um pequeno subconjunto de redes especialistas para cada token.
O K3 possui:
- 896 especialistas roteados;
- 16 especialistas ativos para um token;
- componentes de especialistas compartilhados e roteados no diagrama publicado;
- uma estrutura Stable LatentMoE projetada para esparsidade extrema.
A proporção de ativação é aproximadamente:
16 / 896 ≈ 1.8%
Essa porcentagem não revela diretamente a quantidade de parâmetros ativos. Camadas compartilhadas, tamanhos dos especialistas, roteamento, atenção e outros componentes contribuem para a computação além da simples proporção. Considere como não verificadas as afirmações de que o K3 possui um número exato de parâmetros ativos, a menos que a Moonshot publique esse valor.
Por que a esparsidade extrema de MoE é difícil
Mais especialistas criam mais capacidade, mas também aumentam os problemas de roteamento e infraestrutura:
- tokens podem sobrecarregar especialistas populares;
- especialistas pouco utilizados desperdiçam capacidade;
- a distribuição dos especialistas afeta a comunicação;
- o desequilíbrio de carga reduz a utilização dos aceleradores;
- formas dinâmicas e sincronização com o host podem prejudicar a taxa de processamento;
- as decisões de roteamento precisam permanecer estáveis durante o treinamento.
O K3 aborda esses problemas com balanceamento, execução com formas estáticas e grandes domínios de comunicação.
Quantile Balancing
A Moonshot descreve o Quantile Balancing como uma forma de derivar a alocação de especialistas a partir dos quantis das pontuações do roteador. O objetivo é evitar regras heurísticas de atualização e um hiperparâmetro de balanceamento sensível.
Em termos simples, a alocação se adapta à distribuição das pontuações de roteamento em vez de depender de um único limite ajustado manualmente. Isso é relevante quando 896 especialistas precisam permanecer úteis e ser atendidos de maneira equilibrada em escala.
Ainda são necessários resultados independentes de reprodução e ablação para quantificar quanto o Quantile Balancing contribui em relação ao restante do sistema de treinamento.
Per-Head Muon
Muon é uma abordagem de otimização usada durante o treinamento. O K3 a estende para cada cabeça de atenção individualmente, permitindo que as cabeças sejam otimizadas de forma mais independente.
A motivação declarada pela Moonshot é uma otimização mais adaptativa em grande escala. Essa é uma técnica de treinamento, não um recurso da API: usuários não configuram Per-Head Muon durante a inferência.
SiTU e Gated MLA
A visão geral do lançamento também identifica:
- Sigmoid Tanh Unit (SiTU): destinada a melhorar o controle das ativações;
- Gated MLA: destinada a melhorar a seletividade da atenção.
Esses componentes fazem parte de um design de bloco maior que combina KDA, especialistas latentes, especialistas compartilhados, elementos convolucionais e mecanismos de gating. Sua contribuição exata exige o relatório técnico e ablações controladas.
Pesos MXFP4 e ativações MXFP8
O K3 usa treinamento consciente de quantização desde a etapa de ajuste fino supervisionado, com pesos MXFP4 e ativações MXFP8.
O treinamento consciente de quantização expõe o modelo ao comportamento de menor precisão durante o treinamento, em vez de converter um modelo pronto de alta precisão posteriormente. Isso pode preservar mais qualidade em um formato de inferência eficiente.
O MXFP4 reduz significativamente o armazenamento teórico dos pesos. Com quatro bits por parâmetro, 2,8T de parâmetros brutos correspondem a aproximadamente 1,4 TB antes de escalas, metadados, componentes não quantizados, buffers de execução e redundância. Isso continua muito além do hardware de consumo.
Treinamento expert-parallel totalmente balanceado
A Moonshot afirma que o K3 usa treinamento expert-parallel totalmente balanceado com formas estáticas e sem sincronização com o host no caminho crítico. Essas escolhas buscam um trabalho previsível dos aceleradores e reduzem pausas causadas pela coordenação da CPU.
No momento da inferência, o mesmo desafio geral permanece: especialistas distribuídos em vários dispositivos precisam se comunicar rapidamente. A Moonshot recomenda implantações em supernode com pelo menos 64 aceleradores para que mais comunicação ocorra dentro de um domínio de alta largura de banda.
Como o K3 alcança um contexto de 1M tokens
Nenhum componente isolado explica a janela de 1M. A capacidade depende de:
- processamento eficiente de sequências com KDA;
- fluxo estável de informações por meio do AttnRes;
- kernels de execução e gerenciamento de memória;
- suporte a cache de prefill;
- infraestrutura distribuída de aceleradores;
- dados e objetivos de treinamento que ensinam o modelo a usar contexto longo.
Um modelo que aceita um milhão de tokens não significa que todos os tokens recebem a mesma atenção ou que um prompt de um milhão de tokens seja sempre o melhor design. Avaliações de contexto longo devem testar recuperação, dependências distantes, distrações, latência e custo.
Kimi K3 versus Kimi K2
| Área | Direção do Kimi K3 | Referência do Kimi K2 |
|---|---|---|
| Escala | 2,8T de parâmetros totais | Geração anterior menor |
| Atenção | Atenção linear híbrida KDA | Arquitetura anterior |
| Profundidade | Attention Residuals | Design residual anterior |
| MoE | 896 especialistas, 16 ativos | Menor esparsidade extrema |
| Eficiência | Eficiência de escalabilidade declarada de ~2,5× | Referência |
| Visão | Compreensão visual nativa | Capacidade anterior diferente |
| Contexto | 1M tokens | Limite anterior menor dependendo do modelo |
O valor de 2,5× é uma afirmação da Moonshot sobre eficiência geral de escalabilidade, não uma promessa de velocidade de API 2,5× maior ou desempenho em benchmarks 2,5× superior.
Limitações da arquitetura e questões em aberto
Questões importantes ainda sem resposta incluem:
- quantidade exata de parâmetros ativos;
- dimensões completas de camadas e especialistas;
- quantidade de tokens de treinamento e mistura de dados;
- método completo de treinamento de contexto longo;
- ablações independentes da arquitetura;
- hardware suportado e taxa de processamento medida por configuração;
- tamanho exato dos arquivos de pesos;
- suporte final de runtime e licença.
Essas questões devem ser respondidas pelo relatório técnico e pelos repositórios oficiais da Moonshot após o lançamento.
Por que a arquitetura importa para desenvolvedores
A maioria dos usuários de API não precisa implementar KDA ou roteamento MoE. Mas eles precisam entender as consequências operacionais:
- o K3 é forte em trabalhos com muito contexto e uso por agentes;
- preservar o estado da conversa é essencial;
- o cache automático pode reduzir significativamente o custo;
- hospedar o modelo exige infraestrutura extrema;
- o comportamento do modelo não pode ser inferido apenas pela quantidade total de parâmetros;
- novos runtimes e kernels precisam oferecer suporte explícito ao K3.
Leia O Kimi K3 é Open Source? para saber o status de implantação e o Guia da API do Kimi K3 para integração de aplicações.
Perguntas frequentes
Quantos parâmetros o Kimi K3 possui?
O K3 possui 2,8 trilhões de parâmetros totais em uma arquitetura esparsa Mixture-of-Experts.
Quantos especialistas ficam ativos?
A Moonshot afirma que 16 dos 896 especialistas roteados são ativados. Componentes compartilhados e não especialistas também contribuem para a computação.
O que é Kimi Delta Attention?
KDA é o mecanismo híbrido de atenção linear da Moonshot para processamento eficiente de sequências e escalabilidade de contexto longo.
Por que o Kimi K3 suporta contexto de 1M?
A janela é habilitada por arquitetura, treinamento, cache, kernels, gerenciamento de memória e execução distribuída, e não por um único recurso.
O Kimi K3 pode rodar em GPUs de consumo?
O modelo completo não pode ser executado de forma realista em GPUs de consumo. A Moonshot recomenda implantações em supernode com 64 ou mais aceleradores.