Kimi K3 trafił na rynek z deklaracjami obejmującymi naprawę repozytoriów, pracę w terminalu, agentów kodujących, pracę wiedzy, przeglądanie sieci i rozumowanie multimodalne. Ogólny wniosek jest wiarygodny: K3 to model klasy frontier i jeden z najmocniejszych dotąd ogłoszonych kandydatów z otwartymi wagami. Trudniejsze pytanie brzmi, czy konkretny wynik przewiduje skuteczność w twojej aplikacji.
Tabele benchmarków potrafią ukrywać różnice w harnessach agentów, ustawieniach rozumowania, sprzęcie, zachowaniu fallbacków i datach oceny. Ten przewodnik wyjaśnia, co mierzą główne grupy benchmarków Kimi K3 i jak z nich korzystać, nie zamieniając wyników z premiery w nieuzasadnione hasła marketingowe.
Wyniki sprawdzone 21 lipca 2026. Opublikowane przez Moonshot wyniki to oficjalne oceny własne, chyba że wskazano inne źródło. K3 zwykle działa z maksymalnym wysiłkiem rozumowania. Niezależne rankingi i testy społeczności wciąż się kształtują, bo model zadebiutował 16 lipca.
Krótki werdykt o benchmarkach
- Kodowanie: K3 jest bardzo konkurencyjny, zwłaszcza w długich zadaniach na repozytoriach i w terminalu.
- Agenty: jego najmocniejszą stroną jest długotrwałe korzystanie z narzędzi, a nie krótkie odpowiedzi w jednej turze.
- Praca wiedzy: oficjalne wyniki pokazują wyraźne postępy w wieloetapowych procesach zawodowych.
- Rozumowanie multimodalne: natywne rozumienie obrazu i wideo wspiera kodowanie wizualne i analizę.
- Ogólna inteligencja: niezależna analiza stawia K3 blisko czołówki, ale niekoniecznie na pierwszym miejscu.
- Jakość dowodów: oficjalne wyniki trzeba czytać harness po harnessie; potrzeba więcej niezależnych replikacji.
Specyfikację modelu, ceny, mocne strony i ograniczenia znajdziesz w pełnej recenzji Kimi K3.
Dlaczego liczby w benchmarkach Kimi K3 się różnią
Harnessy agentów są częścią systemu
Model kodujący rzadko ocenia się samodzielnie. To harness decyduje, jakie pliki widzi model, jak zwracane są dane wyjściowe terminala, czy kontekst jest kompaktowany, jak stosuje się patche i kiedy przebieg się kończy.
Notatki Moonshot wskazują KimiCode, Claude Code, Codex, mini-SWE-agent, Terminus i inne harnessy w różnych ocenach. Wynik uzyskany z KimiCode nie jest automatycznie porównaniem „jabłek z jabłkami” z konkurentem używającym innego agenta.
Maksymalny wysiłek rozumowania zmienia porównanie
Wyniki K3 podaje się zwykle przy wysiłku rozumowania ustawionym na max. To prawidłowy pomiar możliwości, ale może zużywać więcej czasu i tokenów wyjściowych niż żądanie produkcyjne skonfigurowane na niższy wysiłek. Obok jakości porównuj więc koszt i opóźnienie.
Sprzęt może zmieniać zadania inżynierskie
Niektóre oceny inżynierii oprogramowania obejmują zadania na GPU. Moonshot podaje, że część SWE Marathon uruchomiono w gałęzi skalibrowanej pod H20, a nie w standardowym środowisku używanym gdzie indziej. Walidatory poprawności mogą pozostać takie same, podczas gdy progi wydajności i dostępny sprzęt się różnią.
Fallbacki wpływają na wyniki konkurencyjnych modeli
Moonshot zaznacza, że jeden z konkurencyjnych modeli przeszedł podczas części oceny na zachowanie fallback. Fallback może obniżyć zmierzony wynik, choć nie odzwierciedla najlepszej, normalnej ścieżki modelu. To jeden z powodów, by unikać wniosków typu „K3 pokonuje model X wszędzie”.
Benchmarki kodowania Kimi K3
Materiały z premiery obejmują kilka rodzajów ocen kodowania, a nie opierają się na jednym benchmarku patchy.
| Ocena | Główna zdolność | Co sprawdzić przed porównaniem |
|---|---|---|
| DeepSWE | Długohoryzontowa inżynieria repozytoriów | Harness, wersja zadań, środowisko |
| Terminal-Bench | Wykonywanie poleceń w wierszu poleceń i wychodzenie z błędów | Wersja benchmarku i harness terminala |
| Program Bench | Budowa całych programów | Kryteria budowania i poprawności |
| SWE Marathon | Rozbudowane zadania programistyczne | Kalibracja sprzętu i budżet czasu |
| FrontierSWE | Prace na repozytoriach klasy frontier | Harness i sposób liczenia dominance score |
| PostTrain Bench | Procesy rozwoju modeli | Sprzęt i uśrednianie przebiegów |
| MLS Bench Lite | Praca nad systemami uczenia maszynowego | Harness agenta |
| KCB | Wewnętrzna ocena kodowania | Budowa testów i ustawienia po stronie firmy |
Praca na repozytoriach
Benchmarki repozytoriów sprawdzają, czy model potrafi znaleźć właściwe pliki, zrozumieć zależności, zmienić właściwą warstwę, uruchomić testy i wyjść z błędu. To znacznie bliższe produkcyjnej inżynierii niż wygenerowanie funkcji na podstawie docstringa.
Architektura K3 i kontekst 1M dobrze pasują do tej kategorii, ale sam rozmiar kontekstu nie gwarantuje dobrego osądu w repozytorium. Otaczający agent nadal potrzebuje narzędzi wyszukiwania, czytelnych informacji zwrotnych z terminala, kontroli nad patchami i pętli weryfikacji.
Praca w terminalu
Benchmarki terminalowe nagradzają planowanie i śledzenie stanu. Model musi interpretować dane wyjściowe poleceń, a nie halucynować, że polecenie się udało. Długohoryzontowe pozycjonowanie K3 czyni te testy szczególnie istotnymi.
W ocenie produkcyjnej warto dodatkowo rejestrować niebezpieczne polecenia, niepotrzebne zmiany zależności, powtarzane nieudane polecenia i to, czy agent zatrzymuje się po zweryfikowanym wyniku.
Kodowanie wizualne
Tradycyjne benchmarki kodowania niedoreprezentują jednej z wyróżniających zdolności K3: korzystania ze zrzutów ekranu i wyrenderowanej informacji zwrotnej. Przykłady Moonshot z gier, frontendu i CAD pokazują proces „vision in the loop” (wizja w pętli), ale to studia przypadków, a nie ustandaryzowane, niezależne benchmarki.
Zespoły zainteresowane kodowaniem wizualnym powinny przeprowadzić własne testy „zrzut ekranu na implementację” z odtwarzalną rubryką pikselową lub oceną przez człowieka.
Benchmarki agentów i pracy wiedzy
Oficjalna ocena K3 obejmuje pracę zawodową i opartą na narzędziach.
| Ocena | Zakres |
|---|---|
| OfficeQA Pro | Rozumowanie na korpusach PDF renderowanych jako obrazy |
| SpreadsheetBench | Rozumienie arkuszy kalkulacyjnych i operacje na nich |
| MCP Atlas | Korzystanie z narzędzi na publicznym podzbiorze zadań |
| AutomationBench | Wieloetapowa automatyzacja |
| BrowseComp | Uporczywe zbieranie informacji i nawigacja po sieci |
| GDPval-AA | Zadania zawodowe istotne ekonomicznie |
| AA-Briefcase | Rozbudowane artefakty zawodowe |
| APEX-Agents | Skuteczność w zadaniach agentowych |
Te benchmarki są przydatne, bo wymagają artefaktów i działań, a nie tylko przywołania ostatecznej odpowiedzi. Są też wrażliwe na jakość narzędzi i zarządzanie kontekstem. Moonshot zaznacza, że K3 uzyskał szczególnie wysoki wynik w BrowseComp przy użyciu pełnego kontekstu 1M bez kompaktowania, co pokazuje, że strategia pamięci może istotnie zmienić wynik.
Benchmarki multimodalne
K3 natywnie przetwarza tekst, obrazy i wideo. Oficjalne testy multimodalne obejmują uznane oceny, takie jak MMMU-Pro, oraz wewnętrzne prace nad percepcją, takie jak PerceptionBench.
Wyniki multimodalne warto rozdzielić na co najmniej trzy zdolności:
- Percepcja atomowa: rozpoznanie właściwego obiektu, obszaru, tekstu lub relacji wizualnej.
- Rozumowanie międzymodalne: łączenie obrazu z instrukcjami i wiedzą dziedzinową.
- Wizualne pętle działania: sprawdzenie wyrenderowanego wyniku i wybór kolejnego działania w kodzie lub narzędziu.
Wysoki wynik w wizualnych pytaniach i odpowiedziach nie tworzy automatycznie niezawodnego agenta frontendowego. Trzecia kategoria wymaga wielokrotnej interakcji z prawdziwym środowiskiem.
Wyniki oficjalne a analiza niezależna
Oceny Moonshot z premiery pokazują, że K3 należy do porównań modeli klasy frontier. Niezależna analiza jest potrzebna, by oszacować, jak dobrze model uogólnia poza zadaniami i harnessami wybranymi przez Moonshot.
Artificial Analysis podaje obecnie, że K3 plasuje się blisko czołowej grupy w swoim Intelligence Index, i publikuje osobne pomiary szybkości oraz ceny. Raporty społeczności sugerują też, że K3 może sprawiać wrażenie mocniejszego w długich pracach kodowych, niż wynika z jego pojedynczej pozycji w rankingu zbiorczym. To hipoteza warta sprawdzenia, a nie dowód, że benchmarki się mylą.
Najbezpieczniejsza interpretacja jest taka:
- oficjalne wyniki pokazują szerokie możliwości przy udokumentowanych ustawieniach korzystnych dla K3;
- niezależne wyniki zbiorcze pokazują, że K3 jest konkurencyjny, ale nie dominuje wszędzie;
- testy w prawdziwych aplikacjach rozstrzygają, czy jego wytrwałość, kontekst i rozumowanie wizualne są warte kosztu i opóźnienia.
Czy Kimi K3 pokonuje GPT-5.6 Sol?
Nie ma jednoznacznej odpowiedzi jednym słowem.
Własny zestaw testów Moonshot pokazuje K3 blisko czołowych systemów lub przed nimi w wybranych testach kodowania i agentowych, przy jednoczesnym przyznaniu, że ogólne wrażenie z użytkowania ustępuje najmocniejszym modelom własnościowym. Niezależna analiza ogólnej inteligencji może faworyzować GPT-5.6 Sol. K3 może jednak wygrać w zadaniach, w których liczą się kontekst 1M, planowane otwarte wagi lub wizualne, długohoryzontowe kodowanie.
Ramy wyboru modelu zadanie po zadaniu znajdziesz w artykule Kimi K3 vs GPT-5.6 Sol.
Jak uczciwie testować Kimi K3
- Używaj tych samych zadań, commitów repozytorium, uprawnień narzędzi i limitów czasu.
- Zapisuj ID modelu, ścieżkę dostawcy, datę i wysiłek rozumowania.
- Zachowuj pełny stan asystenta wymagany przez każdy model.
- Uruchamiaj każde zadanie więcej niż raz.
- Oceniaj najpierw poprawność, potem styl.
- Uwzględniaj błędy narzędzi i niejednoznaczne zadania, a nie tylko czyste demo.
- Mierz czas, tokeny wejściowe, wejście z cache, tokeny wyjściowe i ponowienia.
- Poważne porażki raportuj osobno od zwykłych pomyłek.
- Zachowaj surowe prompty i zasady oceny, żeby można było odtworzyć wyniki.
- Porównuj koszt jednego zweryfikowanego sukcesu, a nie koszt jednego żądania.
Towarzysząca metodologia testów kodowania Kimi K3 udostępnia zestaw wielokrotnego użytku do testowania repozytoriów, terminala, pracy wizualnej i odzyskiwania po błędach.
Wnioski z benchmarków
Historia benchmarków Kimi K3 jest najmocniejsza, gdy patrzy się na niego jak na system zaprojektowany do długotrwałej pracy. To nie tylko ogromny model, który dobrze wypada na pojedynczych pytaniach. Jego wyróżniki, czyli długi kontekst, wizualna informacja zwrotna, orkiestracja narzędzi i wydłużone wykonanie, widać w zadaniach z repozytoriami, terminalem, przeglądaniem sieci i artefaktami.
Jednocześnie oficjalne tabele z premiery nie są neutralnym, uniwersalnym rankingiem. Różnice w harnessach, maksymalne rozumowanie, kalibracja sprzętu i niepełna niezależna replikacja wymagają ostrożnego opisu. K3 warto oceniać jako kandydata klasy frontier, a nie ogłaszać zwycięzcą przed testami na własnym obciążeniu.
Najczęstsze pytania
Jak dobry jest Kimi K3?
K3 to model klasy frontier ze szczególnie mocną pozycją w kodowaniu, agentach, długim kontekście i pracy multimodalnej. Niezależna ocena nie pokazuje, żeby wygrywał w każdej kategorii.
Dlaczego rankingi benchmarków Kimi K3 się różnią?
Różne serwisy używają innych zadań, wersji, harnessów, ustawień rozumowania, wag ceny i dat oceny. Część oficjalnych wyników korzysta też z systemów agentowych przygotowanych pod konkretny model.
Czy wyniki Kimi K3 podane przez Moonshot są niezależne?
Nie. Benchmarki z premiery to oficjalne wyniki własne. Pozostają przydatne, gdy ujawniono metodologię, ale warto je zestawić z niezależnymi testami.
Który benchmark najlepiej odzwierciedla agenta kodującego?
Żaden pojedynczy benchmark nie wystarcza. Połącz naprawę repozytoriów, pracę w terminalu, budowę całych programów, odzyskiwanie po błędach narzędzi i własne zadania produkcyjne.
Czy okno kontekstu 1M poprawia wyniki benchmarków?
Może pomóc, gdy zadanie wymaga dużej historii lub korpusu, ale zwiększa też koszt i może dodawać nieistotny kontekst. Strategia kontekstu nadal ma znaczenie.