Kimi K3, Kimi Delta Attention, Attention Residuals ve 896 uzmanlı son derece seyrek Stable LatentMoE sisteminin birleşimi yoluyla 2.8 trilyon parametreye ölçeklenir. Bir token için yalnızca 16 uzman etkinleştirilir ve böylece toplam model kapasitesinin aktif hesaplamadan çok daha hızlı büyümesi sağlanır.
Moonshot, bu mimari ve eğitim değişikliklerinin Kimi K2'ye göre genel ölçeklendirme verimliliğini yaklaşık 2.5 katına çıkardığını söylüyor. Bu, K3'ün çalıştırılmasının ucuz olduğu anlamına gelmez. Model hala 64 veya daha fazla hızlandırıcıyla süper düğüm ölçekli çıkarım için tasarlanmıştır.
Mimari bilgileri 21 Temmuz 2026 tarihinde kontrol edildi. Moonshot lansmana ilişkin bir genel bakış yayınladı, ancak tam teknik raporun ve ağırlıkların yayınlanması hala planlanıyor. Bu makale, eksik uygulama ayrıntılarını icat etmek yerine açık soruları etiketliyor.
Bir bakışta mimari
| Bileşen | Kimi K3 için yayımlanan ayrıntı |
|---|---|
| Toplam parametreler | 2.8 trilyon |
| Dikkat | Mimaride Gated MLA ile Kimi Delta Attention |
| Derinlik bağlantısı | Attention Residuals |
| MoE | Stable LatentMoE |
| Uzmanlar | 896 yönlendirilmiş uzman |
| Aktif uzmanlar | Token başına 16 |
| Dengeleme | Kantil Dengeleme |
| Optimizasyon tekniği | Per-Head Muon |
| Etkinleştirme bileşeni | Sigmoid Tanh Birimi |
| Ağırlık formatı | Kuantizasyona duyarlı eğitim aracılığıyla MXFP4 |
| Aktivasyon formatı | MXFP8 |
| Bağlam | 1 milyon token |
| Dağıtım yönü | 64+ hızlandırıcılara sahip süper düğüm |
Kimi Delta Attention nedir?
Kimi Delta Attention veya KDA, Moonshot'ın hibrit doğrusal dikkat mekanizmasıdır. Rolü, uzun dizileri işlemek için her katmanda ve tokenda yalnızca geleneksel tam dikkatin kullanılmasına dayanmaktan daha verimli bir temel sağlamaktır.
Doğrusal dikkat yöntemleri genellikle her tokenın diğer tokenlarla karşılaştırılmasıyla ilişkili ikinci dereceden büyümeden kaçınmaya çalışır. "Hibrit" kelimesi önemlidir: tam K3 mimarisi, modeli tek bir basit doğrusal formüle indirgemek yerine dikkat bileşenlerini birleştirir.
KDA, K3'ün 1M token konumlandırmasının merkezinde yer alır, ancak bağlam uzunluğu bir sistem özelliğidir. Bellek düzeni, çekirdekler, KV veya durum işleme, önbelleğe alma, paralellik ve hizmet altyapısının tümü, uzun bir bağlamın pratik olup olmadığını etkiler.
KDA ve önek önbelleğe alma
Geleneksel sunum sistemleri genellikle tekrarlanan bir önek için dikkat durumunu önbelleğe alır. KDA farklı durum ve önceden doldurma gereksinimleri getirir, dolayısıyla sıradan önek önbellek uygulamalarının verimli bir şekilde çalıştığı varsayılamaz.
Moonshot, K3'ün yanı sıra yayınlanmak üzere vLLM topluluğuna KDA ön doldurma önbellek desteğine katkıda bulunduğunu söyledi. Bu, modelin ölçeğine rağmen resmi API'nin nasıl önbelleğe alınmamış girdi fiyatının çok altında bir önbellek vuruşlu girdi fiyatı sunabildiğini açıklamaya yardımcı olur.
Altyapı ekipleri, mevcut bir dağıtımdaki model adını değiştirmek yerine ilgili vLLM sürümünde ve çekirdeklerinde açık K3 desteği beklemelidir.
Attention Residuals Nelerdir?
Geleneksel derin ağlar, bilgileri katman katman biriken artık bağlantılardan geçirir. Moonshot, Attention Residuals'ı veya AttnRes'i, her şeyi tekdüze bir şekilde biriktirmek yerine, derinlemesine temsilleri seçici bir şekilde alan olarak tanımlıyor.
Amaçlanan fayda, çok derin bir model aracılığıyla daha düzgün bilgi akışıdır. AttnRes, her katmanı yalnızca o anda biriken duruma bağlı olmaya zorlamak yerine, daha önceki yararlı temsilleri vurgulayabilir.
Bu, optimizasyonun ve sinyal akışının zorlaştığı 2.8T ölçeğinde kavramsal olarak önemlidir. Tüm denklemler, ablasyonlar ve eğitim ayrıntıları, teknik rapor kamuya açıklandığında değerlendirilmelidir.
Stable LatentMoE ve 896 uzman
K3 bir Uzmanlar Karışımı modelidir. Bir yönlendirici, her token için küçük bir uzman ağ alt kümesini seçer.
K3'te şunlar vardır:
- 896 yönlendirilmiş uzman;
- token başına 16 uzman etkin;
- yayınlanan diyagramda paylaşılan ve yönlendirilen uzman bileşenler;
- Aşırı seyreklik için tasarlanmış bir Stable LatentMoE çerçevesi.
Aktivasyon oranı yaklaşık olarak:
16 / 896 ≈ 1.8%
Bu yüzde doğrudan aktif parametre sayısını göstermez. Paylaşılan katmanlar, uzman boyutları, yönlendirme, dikkat ve diğer bileşenler, basit oranın dışında hesaplamaya katkıda bulunur. Moonshot yayınlamadığı sürece, K3'ün tam bir aktif parametre numarasına sahip olduğu iddialarını doğrulanmamış olarak değerlendirin.
Aşırı MoE seyrekliği neden zordur?
Daha fazla uzman daha fazla kapasite yaratır, ancak aynı zamanda daha zorlu yönlendirme ve altyapı sorunlarına da yol açar:
- tokenlar popüler uzmanların aşırı yüklenmesine neden olabilir;
- yeterince kullanılmayan uzmanlar kapasiteyi boşa harcıyor;
- uzman yerleştirme iletişimi etkiler;
- yük dengesizliği hızlandırıcı kullanımını azaltır;
- dinamik şekiller ve ana bilgisayar senkronizasyonu verimi olumsuz etkileyebilir;
- yönlendirme kararları eğitim sırasında sabit kalmalıdır.
K3 bu sorunları dengeleme, statik şekil yürütme ve geniş iletişim alanlarıyla çözer.
Kantil Dengeleme
Moonshot, Quantile Balancing'i yönlendirici puanı dilimlerinden uzman tahsisi türetme olarak tanımlıyor. Amaç, buluşsal güncelleme kurallarından ve hassas bir dengeleme hiper parametresinden kaçınmaktır.
Basit bir dille söylemek gerekirse, tahsis, manuel olarak ayarlanmış bir eşiğe bağlı olmak yerine, yönlendirme puanlarının dağıtımına uyum sağlar. Bu, 896 uzmanın yararlı kalması ve geniş ölçekte eşit şekilde hizmet vermesi gerektiğinde geçerlidir.
Quantile Balancing'in eğitim sisteminin geri kalanına göre ne kadar katkıda bulunduğunu ölçmek için bağımsız yeniden üretim ve ablasyon sonuçlarına hala ihtiyaç vardır.
Per-Head Muon
Muon, eğitim sırasında kullanılan bir optimizasyon yaklaşımıdır. K3 bunu dikkat başına esasına göre genişleterek kafaların daha bağımsız olarak optimize edilmesine olanak tanır.
Moonshot'ın belirttiği motivasyon, büyük ölçekte daha uyarlanabilir optimizasyondur. Bu, API özelliğinden ziyade bir eğitim tekniğidir: kullanıcılar, çıkarım sırasında Per-Head Muon'u yapılandırmazlar.
SiTU ve Gated MLA
Lansmana genel bakış ayrıca şunları da tanımlar:
- Sigmoid Tanh Birimi (SiTU): aktivasyon kontrolünü iyileştirmeyi amaçlamaktadır;
- Gated MLA: dikkat seçiciliği artırmayı amaçlamaktadır.
Bu bileşenler, KDA'yı, gizli uzmanları, paylaşılan uzmanları, evrişimli öğeleri ve geçitlemeyi birleştiren daha büyük bir blok tasarımının içinde yer alır. Onların kesin katkısı teknik raporu ve kontrollü ablasyonları gerektirir.
MXFP4 ağırlıkları ve MXFP8 aktivasyonları
K3, MXFP4 ağırlıkları ve MXFP8 aktivasyonları ile denetimli ince ayar aşamasından itibaren nicemlemeye duyarlı eğitim kullanır.
Niceleme duyarlı eğitim, sonradan akla gelen yüksek hassasiyetli bir modeli dönüştürmek yerine, modeli eğitim sırasında daha düşük hassasiyetli davranışa maruz bırakır. Bu, verimli bir çıkarım formatında daha fazla kaliteyi koruyabilir.
MXFP4 teorik ağırlık depolamasını önemli ölçüde azaltır. Parametre başına dört bitte, 2.8T ham parametreleri, ölçekler, meta veriler, nicelenmemiş bileşenler, çalışma zamanı arabellekleri ve yedeklilik öncesinde kabaca 1.4 TB'ye karşılık gelir. Tüketici donanımının çok ötesinde kalıyor.
Tamamen dengeli uzman-paralel eğitim
Moonshot, K3'ün statik şekillerle tam dengeli uzman-paralel eğitim kullandığını ve kritik yolda ana bilgisayar senkronizasyonu olmadığını söylüyor. Bu seçenekler öngörülebilir hızlandırıcı çalışmasını hedefler ve CPU koordinasyonunun neden olduğu duraklamaları azaltır.
Çıkarım sırasında aynı genel zorluk devam ediyor: Birçok cihaza dağılmış uzmanların hızlı bir şekilde iletişim kurması gerekiyor. Moonshot, yüksek bant genişliğine sahip bir alanda daha fazla iletişimin gerçekleşmesi için en az 64 hızlandırıcıya sahip bir süper düğüm önerir.
K3, 1M token bağlamına nasıl ulaşır?
1M penceresini tek bir bileşen açıklamıyor. Yetenek şunlara bağlıdır:
- verimli KDA dizisi işleme;
- AttnRes aracılığıyla istikrarlı bilgi akışı;
- hizmet çekirdekleri ve bellek yönetimi;
- ön doldurma önbelleği desteği;
- dağıtılmış hızlandırıcı altyapısı;
- modele uzun bağlam kullanmayı öğreten eğitim verileri ve hedefleri.
Bir milyon tokenı kabul eden bir model, her tokenin eşit ilgi göreceği veya bir milyon token isteminin her zaman en iyi tasarım olduğu anlamına gelmez. Uzun bağlam değerlendirmesi, erişim, uzak bağımlılıklar, dikkat dağıtma, gecikme ve maliyeti test etmelidir.
Kimi K3 ve Kimi K2
| Alan | Kimi K3 yönü | Kimi K2 temel |
|---|---|---|
| Ölçek | 2.8T toplam parametreler | Daha küçük önceki nesil |
| Dikkat | KDA hibrit doğrusal dikkat | Önceki mimari |
| Derinlik | Attention Residuals | Daha önceki artık tasarım |
| MoE | 896 uzman, 16 aktif | Daha az aşırı seyreklik |
| Verimlilik | ~2.5× ölçeklendirme verimliliği iddia edildi | Temel |
| Vizyon | Yerel görsel anlayış | Farklı ön yetenek yüzeyi |
| Bağlam | 1M token | Modele bağlı olarak alt ön sınır |
2.5× rakamı, 2.5× API hızı veya 2.5× kıyaslama performansı vaadi değil, Moonshot'ın genel ölçeklendirme verimliliği iddiasıdır.
Mimari sınırlamaları ve açık sorular
Cevaplanmamış önemli sorular şunlardır:
- tam aktif parametre sayısı;
- tam katman ve uzman boyutlar;
- eğitim tokenı sayımı ve veri karışımı;
- eksiksiz uzun bağlam eğitim yöntemi;
- bağımsız mimari ablasyonlar;
- desteklenen donanım ve konfigürasyona göre ölçülen verim;
- tam ağırlıktaki dosya alanı;
- son çalışma zamanı ve lisans desteği.
Bu soruların, yayınlandıktan sonra Moonshot'ın teknik raporunda ve resmi depolarında yanıtlanması gerekiyor.
Mimari geliştiriciler için neden önemlidir?
Çoğu API kullanıcısının KDA veya MoE yönlendirmesini uygulamasına gerek yoktur. Operasyonel sonuçları anlamaları gerekiyor:
- K3 bağlam ağırlıklı ve ajan tabanlı çalışmalarda güçlüdür;
- konuşma durumunun korunması esastır;
- otomatik önbelleğe alma maliyeti önemli ölçüde azaltabilir;
- kendi kendine barındırma, aşırı altyapı gerektirir;
- model davranışı yalnızca toplam parametre sayısından çıkarılamaz;
- yeni çalışma zamanları ve çekirdekler açıkça K3'ü desteklemelidir.
Dağıtım durumu için Kimi K3 Açık Kaynak mı? ve uygulama entegrasyonu için Kimi K3 API Kılavuzu bölümünü okuyun.
Sıkça sorulan sorular
Kimi K3'ün kaç parametresi var?
K3, seyrek bir Uzmanlar Karması mimarisinde 2.8 trilyon toplam parametreye sahiptir.
Kaç uzman aktif?
Moonshot, 896 yönlendirilmiş uzmanın 16'sunun etkinleştirildiğini söylüyor. Paylaşılan ve uzman olmayan bileşenler de hesaplamaya katkıda bulunur.
Kimi Delta Attention nedir?
KDA, Moonshot'ın verimli sıralı işleme ve uzun bağlam ölçeklendirmeye yönelik hibrit doğrusal dikkat mekanizmasıdır.
Kimi K3 neden 1M bağlamını destekliyor?
Pencere, tek bir özellik yerine mimari, eğitim, önbelleğe alma, çekirdekler, bellek yönetimi ve dağıtılmış hizmet ile etkinleştirilir.
Kimi K3 tüketici GPU'larında çalışabilir mi?
Modelin tamamı gerçekçi bir şekilde tüketici GPU'larında çalışamaz. Moonshot, 64 veya daha fazla hızlandırıcıyla süper düğüm konuşlandırmalarını önerir.