Kimi K3; repository onarımı, terminal çalışması, kodlama aracıları, bilgi çalışması, web'de gezinme ve çok modlu muhakeme alanlarında iddialı sonuçlarla tanıtıldı. Genel tablo inandırıcı: K3, öncü sınıfta bir model ve bugüne kadar duyurulan en güçlü açık ağırlık adaylarından biri. Daha zor soru ise belirli bir puanın sizin uygulamanızdaki performansı öngörüp öngörmediği.
Benchmark tabloları; aracı test düzenekleri, muhakeme ayarları, donanım, fallback davranışı ve değerlendirme tarihleri arasındaki farkları gizleyebilir. Bu kılavuz, Kimi K3'ün başlıca benchmark gruplarının neyi ölçtüğünü ve lansman sonuçlarını dayanaksız pazarlama iddialarına dönüştürmeden nasıl yorumlanacağını açıklıyor.
Sonuçlar 21 Temmuz 2026'da kontrol edildi. Ayrı bir kaynak belirtilmedikçe Moonshot'ın yayımladığı sonuçlar, şirketin kendi bildirdiği resmi değerlendirmelerdir. K3 genellikle maksimum muhakeme çabasını kullanır. Model 16 Temmuz'da yayımlandığı için bağımsız sıralamalar ve topluluk testleri hâlâ gelişiyor.
Kısa benchmark değerlendirmesi
- Kodlama: K3, özellikle uzun repository ve terminal görevlerinde oldukça rekabetçidir.
- Aracılar: en güçlü yönü, tek turluk kısa yanıtlar yerine uzun süreli araç kullanımıdır.
- Bilgi çalışması: Resmi sonuçlar, çok aşamalı profesyonel iş akışlarında anlamlı kazanımlar göstermektedir.
- Çok modlu akıl yürütme: Yerel görüntü ve video anlayışı, görsel kodlamayı ve analizi destekler.
- Genel yetenek: bağımsız analiz K3'ü öncü modellere yakın konumlandırıyor ancak kesin biçimde ilk sıraya koymuyor.
- Kanıt kalitesi: resmi puanlar her test düzeneğinin ayrı incelenmesini gerektiriyor; daha fazla bağımsız tekrara ihtiyaç var.
Model özellikleri, fiyatlandırma, güçlü yönler ve sınırlamalar için Kimi K3 incelemesinin tamamı ile başlayın.
Kimi K3 benchmark sonuçları neden farklı?
Aracı test düzenekleri sistemin bir parçasıdır
Bir kodlama modeli nadiren tek başına değerlendirilir. Test düzeneği; modelin hangi dosyaları göreceğine, terminal çıktısının nasıl döndürüleceğine, bağlamın sıkıştırılıp sıkıştırılmayacağına, yamaların nasıl uygulanacağına ve çalıştırmanın ne zaman duracağına karar verir.
Moonshot'ın notlarında farklı değerlendirmelerde KimiCode, Claude Code, Codex, mini-SWE-agent, Terminus ve başka test düzenekleri belirtiliyor. KimiCode ile alınan bir sonuç, başka bir aracı kullanan rakiple otomatik olarak bire bir karşılaştırılabilir değildir.
Maksimum akıl yürütme çabası karşılaştırmayı değiştirir
K3 benchmark sonuçları genellikle muhakeme çabası max olarak ayarlanmışken raporlanır. Bu geçerli bir yetenek ölçümüdür ancak daha düşük çaba için yapılandırılmış bir üretim isteğine göre daha fazla zaman ve çıktı kullanabilir. Kalitenin yanında maliyet ve gecikmeyi de karşılaştırın.
Donanım, mühendislik görevlerinin koşullarını değiştirebilir
Bazı yazılım mühendisliği değerlendirmeleri GPU görevleri içerir. Moonshot, SWE Marathon'ın bazı bölümlerinde başka yerlerde kullanılan standart ortam yerine H20 için kalibre edilmiş bir dal kullandığını bildirdi. Doğruluk doğrulayıcıları aynı kalsa da performans eşikleri ve kullanılabilir donanım değişebilir.
Geri dönüşler rakip model sonuçlarını etkiler
Moonshot, rakip bir modelin değerlendirmesinin bir bölümünde geri dönüş davranışıyla karşılaştığını belirtiyor. Bir geri dönüş, modelin en iyi normal rotasını temsil etmeden ölçülen puanı düşürebilir. Bu, "K3, Model X'i her yerde yener" gibi çıkarımlardan kaçınmanın bir nedenidir.
Kimi K3 kodlama benchmarkları
Lansman materyali, tek bir yama kıyaslamasına dayanmak yerine çeşitli kodlama değerlendirme türlerini kapsar.
| Değerlendirme | Birincil yetenek | Karşılaştırmadan önce nelerin doğrulanması gerekir |
|---|---|---|
| DeepSWE | Uzun süreli repository mühendisliği | Test düzeneği, görev sürümü, ortam |
| Terminal-Bench | Komut satırında yürütme ve hatadan kurtarma | Benchmark sürümü ve terminal test düzeneği |
| Program Bench | Baştan sona program oluşturma | Build ve doğruluk ölçütleri |
| SWE Marathon | Uzun süreli yazılım görevleri | Donanım kalibrasyonu ve zaman bütçesi |
| FrontierSWE | Öncü düzey repository çalışması | Test düzeneği ve baskınlık puanı hesabı |
| PostTrain Bench | Model geliştirme iş akışları | Donanım ve çalıştırma ortalaması |
| MLS Bench Lite | Makine öğrenimi sistemleri çalışması | Aracı test düzeneği |
| KKH | Dahili kodlama değerlendirmesi | Şirket içi test yapımı ve ayarları |
Repository çalışması
Repository benchmarkları, bir modelin doğru dosyaları bulup bulamadığını, bağımlılıkları anlayıp anlamadığını, doğru katmanı değiştirip değiştirmediğini, testleri çalıştırıp çalıştırmadığını ve hatadan sonra toparlanıp toparlanamadığını ölçer. Bu, bir docstring'den işlev üretmekten çok üretim mühendisliğine yakındır.
K3'ün mimarisi ve 1M bağlamı bu kategoriye iyi uyuyor; ancak bağlam boyutu tek başına doğru repository kararlarını garanti etmez. Çevresindeki aracı hâlâ arama araçlarına, temiz terminal geri bildirimine, yama kontrollerine ve bir doğrulama döngüsüne ihtiyaç duyar.
Terminal işi
Terminal benchmarkları planlama ve durum takibini ödüllendirir. Model, bir komutun başarılı olduğunu varsaymak yerine komut çıktısını yorumlamalıdır. K3'ün uzun süreli görevlere yönelik konumu bu testleri özellikle anlamlı kılıyor.
Üretim değerlendirmesi ayrıca güvenli olmayan komutları, gereksiz bağımlılık değişikliklerini, tekrarlanan başarısız komutları ve aracının doğrulanmış bir sonuçtan sonra durup durmadığını da kaydetmelidir.
Görsel kodlama
Geleneksel kodlama benchmarkları, K3'ün ayırt edici özelliklerinden birini yeterince temsil etmiyor: ekran görüntülerini ve render edilmiş geri bildirimi kullanma. Moonshot'ın oyun, frontend ve CAD örnekleri "döngü içinde görsel geri bildirim" iş akışını gösteriyor; ancak bunlar standartlaştırılmış bağımsız benchmarklar değil, vaka çalışmalarıdır.
Görsel kodlamayla ilgilenen ekipler, tekrarlanabilir piksel ölçütleri veya insan incelemesi rubriğiyle kendi ekran görüntüsünden uygulamaya testlerini yürütmelidir.
Aracı ve bilgi çalışması benchmarkları
K3'ün resmi değerlendirmesi profesyonel ve araç odaklı çalışmayı içerir.
| Değerlendirme | Odak |
|---|---|
| OfficeQA Pro | Görüntü olarak oluşturulan PDF derlemleri üzerinde muhakeme |
| SpreadsheetBench | Elektronik tablo anlama ve işlemleri |
| MCP Atlas | Herkese açık bir görev alt kümesinde araç kullanımı |
| AutomationBench | Çok adımlı otomasyon |
| BrowseComp | Uzun süreli bilgi toplama ve web'de gezinme |
| GDPval-AA | Ekonomik açıdan önemli profesyonel görevler |
| AA-Briefcase | Uzun biçimli profesyonel çıktılar |
| APEX-Agents | Aracı görev performansı |
Bu benchmarklar yalnızca nihai yanıtı hatırlamayı değil, somut çıktılar ve eylemler üretmeyi gerektirdiği için değerlidir. Araç kalitesi ve bağlam yönetiminden de etkilenirler. Moonshot, K3'ün tam 1M bağlamını sıkıştırmadan kullanırken BrowseComp'ta özellikle yüksek bir sonuç aldığını belirtiyor; bu da bellek stratejisinin puanı kayda değer ölçüde değiştirebildiğini gösteriyor.
Çok modlu kıyaslamalar
K3 metni, görüntüleri ve videoyu yerel olarak işler. Resmi çok modlu testler, MMMU-Pro gibi yerleşik değerlendirmeleri ve PerceptionBench gibi dahili algılama çalışmalarını içerir.
Çok modlu puanlar en az üç yeteneğe ayrılmalıdır:
- Atomik algı: doğru nesneyi, bölgeyi, metni veya görsel ilişkiyi tanımlama.
- Modaliteler arası muhakeme: görüntüyü talimatlar ve alan bilgisiyle birleştirme.
- Görsel eylem döngüleri: render edilmiş sonucu inceleyip sonraki kod veya araç eylemini seçme.
Güçlü bir görsel soru-cevap puanı, otomatik olarak güvenilir bir ön uç aracısı üretmez. Üçüncü kategori, gerçek bir ortamla tekrarlanan etkileşimi gerektirir.
Resmi sonuçlar ve bağımsız analiz
Moonshot'ın lansman değerlendirmeleri, K3'ün öncü modellerle karşılaştırılmayı hak ettiğini gösteriyor. Moonshot'ın seçtiği görevler ve test düzenekleri dışındaki genelleme yeteneğini tahmin etmek için bağımsız analiz gerekiyor.
Artificial Analysis, K3'ü şu anda Intelligence Index'te lider gruba yakın gösteriyor ve hız ile fiyat için ayrı ölçümler yayımlıyor. Topluluk raporları da K3'ün uzun kodlama işlerinde tek bir toplam sıralamanın ima ettiğinden daha güçlü olabildiğini öne sürüyor. Bu, test edilmeye değer bir hipotezdir; benchmarkların yanlış olduğunun kanıtı değildir.
En güvenli yorum şudur:
- resmi sonuçlar, belgelenmiş ve K3'e uygun ayarlar altında geniş yetenek gösteriyor;
- bağımsız toplam puanlar K3'ün rekabetçi olduğunu ancak evrensel olarak baskın olmadığını gösteriyor;
- Gerçek uygulama testleri, kalıcılığının, bağlamının ve görsel mantığının, maliyet ve gecikmeyi dengeleyecek kadar değerli olup olmadığına karar verir.
Kimi K3, GPT-5.6 Sol'u yener mi?
Savunulabilir tek kelimelik bir cevap yoktur.
Moonshot'ın kendi test paketi, seçilmiş kodlama ve aracı testlerinde K3'ü önde gelen sistemlere yakın veya onların önünde gösterirken, en güçlü kapalı modellerle genel deneyim farkını da kabul ediyor. Bağımsız genel yetenek analizleri GPT-5.6 Sol'u öne çıkarabilir. Yine de 1M bağlama, planlanan açık ağırlıklara veya uzun süreli görsel kodlamaya önem veren bir iş yükünde K3 daha iyi sonuç verebilir.
Görev bazında seçim çerçevesi için Kimi K3 ve GPT-5.6 Sol bölümünü okuyun.
Kimi K3'ü adil bir şekilde nasıl karşılaştırabilirim?
- Aynı görevleri, repository commit'lerini, araç izinlerini ve zaman sınırlarını kullanın.
- Model kimliğini, sağlayıcı rotasını, tarihi ve muhakeme çabasını kaydedin.
- Her modelin gerektirdiği eksiksiz asistan durumunu koruyun.
- Her görevi birden fazla çalıştırın.
- Stilden önce doğruluğu puanlayın.
- Yalnızca temiz demoları değil, araç hatalarını ve belirsiz görevleri de ekleyin.
- Geçen süreyi, girişi, önbelleğe alınmış girişi, çıkışı ve yeniden denemeleri ölçün.
- Ciddi arızaları sıradan hatalardan ayrı olarak rapor edin.
- Yeniden üretilebilmesi için ham istemleri ve puanlama kurallarını erişilebilir tutun.
- İstek başına maliyeti değil, doğrulanmış başarı başına maliyeti karşılaştırın.
Tamamlayıcı Kimi K3 kodlama testi metodolojisi, repository, terminal, görsel ve hatadan kurtarma testleri için yeniden kullanılabilir bir paket sunar.
Karşılaştırma sonucu
Kimi K3'ün benchmark sonuçları, model sürekli çalışma için tasarlanmış bir sistem olarak değerlendirildiğinde daha anlamlıdır. K3 yalnızca tekil sorularda iyi puan alan devasa bir model değildir. Uzun bağlam, görsel geri bildirim, araç orkestrasyonu ve uzun süreli yürütme gibi ayırt edici özellikleri repository, terminal, web'de gezinme ve somut çıktı görevlerinde belirginleşir.
Aynı zamanda resmi lansman tabloları tarafsız ve evrensel bir sıralama değildir. Test düzeneği farkları, maksimum muhakeme çabası, donanım kalibrasyonu ve henüz eksik olan bağımsız tekrarlar dikkatle açıklanmalıdır. K3, iş yüküne özel testler yapılmadan kazanan ilan edilmemeli; öncü bir aday olarak değerlendirilmelidir.
Sıkça sorulan sorular
Kimi K3 ne kadar iyi?
K3, kodlama, aracılar, uzun bağlam ve çok modlu çalışmada özellikle güçlü konumlandırmaya sahip, sınır sınıfı bir modeldir. Bağımsız değerlendirme onun her kategoriyi kazandığını göstermez.
Kimi K3 kıyaslama sıralamaları neden farklı?
Farklı siteler farklı görevler, sürümler, test düzenekleri, muhakeme ayarları, fiyat ağırlıkları ve değerlendirme tarihleri kullanır. Bazı resmi sonuçlarda modele özgü aracı sistemler de kullanılır.
Moonshot'ın Kimi K3 sonuçları bağımsız mı?
Hayır. Lansman benchmarkları şirketin kendi bildirdiği resmi sonuçlardır. Metodoloji açıklandığında yararlı olmaya devam ederler ancak bağımsız testlerle karşılaştırılmaları gerekir.
Hangi kıyaslama bir kodlama aracısını en iyi şekilde temsil eder?
Hiçbir benchmark tek başına yeterli değildir. Repository onarımı, terminal çalışması, baştan sona program oluşturma, araç hatalarından kurtarma ve kendi üretim görevlerinizi birlikte değerlendirin.
1M bağlam penceresi karşılaştırma puanlarını iyileştirir mi?
Bir görev büyük bir geçmiş veya derleme gerektirdiğinde yardımcı olabilir, ancak aynı zamanda maliyeti de artırır ve alakasız bağlam ekleyebilir. Bağlam stratejisi önemini koruyor.