Kimi K3 atteint 2,8 billions de paramètres grâce à une combinaison de Kimi Delta Attention, d’Attention Residuals et d’un système Stable LatentMoE hautement parcimonieux comprenant 896 experts. Seuls 16 experts sont activés pour un token, ce qui permet à la capacité totale du modèle d’augmenter beaucoup plus rapidement que le calcul actif.
Moonshot indique que ces changements d’architecture et d’entraînement offrent environ 2,5× l’efficacité globale de mise à l’échelle de Kimi K2. Cela ne signifie pas que K3 est peu coûteux à exécuter. Le modèle reste conçu pour une inférence à l’échelle supernœud avec 64 accélérateurs ou plus.
Informations sur l’architecture vérifiées le 21 juillet 2026. Moonshot a publié une présentation du lancement, tandis que le rapport technique complet et les poids restent prévus pour une publication ultérieure. Cet article identifie les questions ouvertes au lieu d’inventer des détails d’implémentation manquants.
Vue d’ensemble de l’architecture
| Composant | Détail publié sur Kimi K3 |
|---|---|
| Paramètres totaux | 2,8 billions |
| Attention | Kimi Delta Attention, avec Gated MLA dans l’architecture |
| Connexion en profondeur | Attention Residuals |
| MoE | Stable LatentMoE |
| Experts | 896 experts routés |
| Experts actifs | 16 par token |
| Équilibrage | Quantile Balancing |
| Technique d’optimisation | Per-Head Muon |
| Composant d’activation | Sigmoid Tanh Unit |
| Format des poids | MXFP4 via entraînement conscient de la quantification |
| Format des activations | MXFP8 |
| Contexte | 1 million de tokens |
| Orientation de déploiement | Supernœud avec 64+ accélérateurs |
Qu’est-ce que Kimi Delta Attention ?
Kimi Delta Attention, ou KDA, est le mécanisme hybride d’attention linéaire de Moonshot. Son rôle est de fournir une base plus efficace pour traiter de longues séquences qu’une utilisation exclusive de l’attention complète conventionnelle à chaque couche et pour chaque token.
Les méthodes d’attention linéaire cherchent généralement à éviter la croissance quadratique associée à la comparaison de chaque token avec tous les autres. Le terme « hybride » est important : l’architecture exacte de K3 combine plusieurs composants d’attention plutôt que de réduire le modèle à une simple formule linéaire.
KDA est au cœur du positionnement de K3 avec une fenêtre de contexte de 1M tokens, mais la longueur du contexte dépend du système complet. La disposition mémoire, les kernels, la gestion KV ou des états, la mise en cache, le parallélisme et l’infrastructure de service influencent tous la faisabilité d’un contexte long.
KDA et mise en cache des préfixes
Les systèmes de service conventionnels mettent souvent en cache l’état d’attention d’un préfixe répété. KDA introduit des exigences différentes pour l’état et le pré-remplissage, de sorte que les implémentations classiques de cache de préfixe ne peuvent pas simplement être considérées comme efficaces.
Moonshot indique avoir contribué au support du cache de pré-remplissage KDA dans la communauté vLLM pour une publication accompagnant K3. Cela aide à expliquer pourquoi l’API officielle peut proposer un prix d’entrée avec cache bien inférieur à celui d’une entrée sans cache malgré l’échelle du modèle.
Les équipes d’infrastructure doivent attendre un support explicite de K3 dans la version vLLM et les kernels concernés plutôt que de modifier simplement un nom de modèle dans un déploiement existant.
Que sont les Attention Residuals ?
Les réseaux profonds traditionnels transmettent l’information via des connexions résiduelles qui accumulent les représentations couche après couche. Moonshot décrit les Attention Residuals, ou AttnRes, comme une méthode permettant de récupérer sélectivement des représentations à travers la profondeur du réseau au lieu d’accumuler uniformément toutes les informations.
L’objectif est d’obtenir un flux d’information plus stable dans un modèle extrêmement profond. Au lieu de forcer chaque couche à dépendre uniquement de l’état accumulé immédiatement précédent, AttnRes peut mettre davantage en avant des représentations antérieures utiles.
Cela est particulièrement important à l’échelle de 2,8T, où l’optimisation et la circulation du signal deviennent difficiles. Les équations complètes, les ablations et les détails d’entraînement devront être évalués lorsque le rapport technique sera disponible.
Stable LatentMoE et 896 experts
K3 est un modèle Mixture-of-Experts. Un routeur sélectionne un petit sous-ensemble de réseaux experts pour chaque token.
K3 comprend :
- 896 experts routés ;
- 16 experts actifs pour un token ;
- des composants d’experts partagés et routés dans le schéma publié ;
- un framework Stable LatentMoE conçu pour une parcimonie extrême.
Le ratio d’activation est approximativement :
16 / 896 ≈ 1.8%
Ce pourcentage ne révèle pas directement le nombre de paramètres actifs. Les couches partagées, la taille des experts, le routage, l’attention et d’autres composants contribuent également au calcul au-delà de ce simple ratio. Considérez comme non vérifiées les affirmations indiquant que K3 possède un nombre exact de paramètres actifs, sauf publication officielle de Moonshot.
Pourquoi une parcimonie MoE extrême est difficile
Davantage d’experts offrent plus de capacité, mais entraînent également des problèmes de routage et d’infrastructure plus complexes :
- les tokens peuvent surcharger les experts populaires ;
- les experts peu utilisés gaspillent de la capacité ;
- le placement des experts influence les communications ;
- le déséquilibre de charge réduit l’utilisation des accélérateurs ;
- les formes dynamiques et la synchronisation avec l’hôte peuvent réduire le débit ;
- les décisions de routage doivent rester stables pendant l’entraînement.
K3 répond à ces problèmes avec l’équilibrage, l’exécution à formes statiques et de grands domaines de communication.
Quantile Balancing
Moonshot décrit Quantile Balancing comme une méthode qui dérive l’allocation des experts à partir des quantiles des scores du routeur. L’objectif est d’éviter les règles de mise à jour heuristiques et la dépendance à un hyperparamètre d’équilibrage sensible.
En termes simples, l’allocation s’adapte à la distribution des scores de routage plutôt qu’à un seuil défini manuellement. Cela est pertinent lorsque 896 experts doivent rester utiles et être sollicités de manière équilibrée à grande échelle.
Des reproductions indépendantes et des résultats d’ablation restent nécessaires pour mesurer la contribution exacte de Quantile Balancing par rapport au reste du système d’entraînement.
Per-Head Muon
Muon est une approche d’optimisation utilisée pendant l’entraînement. K3 l’étend au niveau de chaque tête d’attention, permettant une optimisation plus indépendante des différentes têtes.
La motivation annoncée par Moonshot est une optimisation plus adaptative à grande échelle. Il s’agit d’une technique d’entraînement et non d’une fonctionnalité d’API : les utilisateurs ne configurent pas Per-Head Muon pendant l’inférence.
SiTU et Gated MLA
La présentation du lancement identifie également :
- Sigmoid Tanh Unit (SiTU) : conçu pour améliorer le contrôle des activations ;
- Gated MLA : conçu pour améliorer la sélectivité de l’attention.
Ces composants s’intègrent dans une conception de bloc plus large combinant KDA, experts latents, experts partagés, éléments convolutionnels et mécanismes de contrôle. Leur contribution exacte nécessite le rapport technique et des ablations contrôlées.
Poids MXFP4 et activations MXFP8
K3 utilise un entraînement conscient de la quantification dès l’étape de fine-tuning supervisé, avec des poids MXFP4 et des activations MXFP8.
L’entraînement conscient de la quantification expose le modèle aux comportements de faible précision pendant l’entraînement au lieu de convertir simplement un modèle haute précision terminé après coup. Cela peut préserver davantage de qualité dans un format d’inférence efficace.
MXFP4 réduit considérablement le stockage théorique des poids. À quatre bits par paramètre, 2,8T paramètres bruts correspondent à environ 1,4 To avant les facteurs d’échelle, les métadonnées, les composants non quantifiés, les buffers d’exécution et la redondance. Cela reste largement au-delà des capacités du matériel grand public.
Entraînement expert-parallèle entièrement équilibré
Moonshot indique que K3 utilise un entraînement expert-parallèle entièrement équilibré avec des formes statiques et sans synchronisation avec l’hôte sur le chemin critique. Ces choix visent à garantir un travail prévisible des accélérateurs et à réduire les pauses causées par la coordination CPU.
Lors de l’inférence, le même défi général demeure : les experts répartis sur plusieurs appareils doivent communiquer rapidement. Moonshot recommande un déploiement en supernœud avec au moins 64 accélérateurs afin qu’une plus grande partie des communications s’effectue dans un domaine à haute bande passante.
Comment K3 atteint un contexte de 1M tokens
Aucun composant unique n’explique une fenêtre de 1M tokens. Cette capacité dépend de :
- un traitement efficace des séquences avec KDA ;
- un flux d’information stable grâce à AttnRes ;
- des kernels de service et la gestion mémoire ;
- le support du cache de pré-remplissage ;
- l’infrastructure distribuée d’accélérateurs ;
- les données et objectifs d’entraînement qui apprennent au modèle à exploiter un contexte long.
Un modèle acceptant un million de tokens ne signifie pas que chaque token reçoit la même attention ni qu’un prompt d’un million de tokens constitue toujours la meilleure conception. L’évaluation des longs contextes doit tester la récupération d’informations, les dépendances éloignées, les distractions, la latence et le coût.
Kimi K3 versus Kimi K2
| Domaine | Orientation Kimi K3 | Référence Kimi K2 |
|---|---|---|
| Échelle | 2,8T paramètres totaux | Génération précédente plus petite |
| Attention | Attention linéaire hybride KDA | Architecture précédente |
| Profondeur | Attention Residuals | Conception résiduelle précédente |
| MoE | 896 experts, 16 actifs | Parcimonie moins extrême |
| Efficacité | Efficacité de mise à l’échelle annoncée ~2,5× | Référence |
| Vision | Compréhension visuelle native | Capacités précédentes différentes |
| Contexte | 1M tokens | Limite précédente plus basse selon le modèle |
Le chiffre de 2,5× correspond à l’affirmation d’efficacité globale de mise à l’échelle de Moonshot, et non à une promesse de vitesse API multipliée par 2,5 ou de performances benchmark multipliées par 2,5.
Limites de l’architecture et questions ouvertes
Les questions importantes encore sans réponse incluent :
- le nombre exact de paramètres actifs ;
- les dimensions complètes des couches et des experts ;
- le nombre de tokens d’entraînement et le mélange de données ;
- la méthode complète d’entraînement pour les longs contextes ;
- les ablations indépendantes de l’architecture ;
- le matériel pris en charge et le débit mesuré selon les configurations ;
- la taille exacte des fichiers de poids ;
- le support final des environnements d’exécution et des licences.
Ces questions devront être résolues à partir du rapport technique de Moonshot et des dépôts officiels après leur publication.
Pourquoi cette architecture est importante pour les développeurs
La plupart des utilisateurs d’API n’ont pas besoin d’implémenter KDA ou le routage MoE. Ils doivent cependant comprendre les conséquences opérationnelles :
- K3 est performant pour les tâches nécessitant beaucoup de contexte et les workflows agentiques ;
- la conservation de l’état des conversations est essentielle ;
- la mise en cache automatique peut réduire considérablement les coûts ;
- l’auto-hébergement nécessite une infrastructure extrême ;
- le comportement du modèle ne peut pas être déduit du seul nombre total de paramètres ;
- les nouveaux runtimes et kernels doivent prendre explicitement en charge K3.
Consultez Kimi K3 est-il open source ? pour connaître l’état du déploiement et Guide API Kimi K3 pour l’intégration applicative.
Questions fréquentes
Combien de paramètres possède Kimi K3 ?
K3 possède 2,8 billions de paramètres totaux dans une architecture Mixture-of-Experts parcimonieuse.
Combien d’experts sont actifs ?
Moonshot indique que 16 experts sur 896 experts routés sont activés. Les composants partagés et non experts contribuent également au calcul.
Qu’est-ce que Kimi Delta Attention ?
KDA est le mécanisme hybride d’attention linéaire de Moonshot conçu pour un traitement efficace des séquences et une mise à l’échelle des contextes longs.
Pourquoi Kimi K3 prend-il en charge un contexte de 1M tokens ?
Cette fenêtre est rendue possible par l’architecture, l’entraînement, la mise en cache, les kernels, la gestion mémoire et le service distribué, plutôt que par une seule fonctionnalité.
Kimi K3 peut-il fonctionner sur des GPU grand public ?
Le modèle complet ne peut pas fonctionner de manière réaliste sur des GPU grand public. Moonshot recommande des déploiements en supernœud avec 64 accélérateurs ou plus.