Kimi K3 масштабируется до 2,8 триллиона параметров благодаря сочетанию Kimi Delta Attention, Attention Residuals и высокоразреженной системы Stable LatentMoE с 896 экспертами. Для одного токена активируются только 16 экспертов, что позволяет общей ёмкости модели расти значительно быстрее, чем объём активных вычислений.
По данным Moonshot, эти изменения в архитектуре и обучении обеспечивают примерно в 2,5 раза более высокую общую эффективность масштабирования по сравнению с Kimi K2. Это не означает, что K3 дешёва в эксплуатации. Модель по-прежнему рассчитана на инференс уровня supernode с 64 и более ускорителями.
Информация об архитектуре проверена 21 июля 2026 года. Moonshot опубликовала обзор запуска, однако полный технический отчёт и веса модели всё ещё запланированы к выпуску. В этой статье открытые вопросы обозначены явно, а не заменены вымышленными деталями реализации.
Краткий обзор архитектуры
| Компонент | Опубликованная деталь Kimi K3 |
|---|---|
| Общее количество параметров | 2,8 триллиона |
| Attention | Kimi Delta Attention с Gated MLA в архитектуре |
| Связь между слоями | Attention Residuals |
| MoE | Stable LatentMoE |
| Эксперты | 896 маршрутизируемых экспертов |
| Активные эксперты | 16 на токен |
| Балансировка | Quantile Balancing |
| Техника оптимизатора | Per-Head Muon |
| Компонент активации | Sigmoid Tanh Unit |
| Формат весов | MXFP4 через quantization-aware training |
| Формат активаций | MXFP8 |
| Контекст | 1 миллион токенов |
| Направление развёртывания | Supernode с 64+ ускорителями |
Что такое Kimi Delta Attention?
Kimi Delta Attention, или KDA, — это гибридный механизм линейного внимания от Moonshot. Его задача — обеспечить более эффективную основу для обработки длинных последовательностей по сравнению с использованием только традиционного полного attention на каждом слое и каждом токене.
Методы линейного внимания обычно стремятся избежать квадратичного роста, связанного с необходимостью сравнивать каждый токен со всеми остальными токенами. Здесь важно слово «гибридный»: точная архитектура K3 объединяет разные компоненты внимания, а не сводит модель к одной простой линейной формуле.
KDA играет ключевую роль в позиционировании K3 с контекстом в 1M токенов, однако длина контекста является свойством всей системы. На практичность работы с длинным контекстом влияют организация памяти, ядра вычислений, обработка KV или состояния, кэширование, параллелизм и инфраструктура сервинга.
KDA и кэширование префиксов
Традиционные системы сервинга часто кэшируют состояние attention для повторяющегося префикса. KDA вводит другие требования к состоянию и prefill, поэтому нельзя просто предполагать, что стандартные реализации prefix-cache будут работать эффективно.
Moonshot сообщает, что внесла поддержку KDA prefill-cache в сообщество vLLM для выпуска вместе с K3. Это помогает объяснить, почему официальный API может предлагать цену входных данных при попадании в кэш значительно ниже некэшированных входных данных, несмотря на масштаб модели.
Командам инфраструктуры следует дождаться явной поддержки K3 в соответствующем выпуске vLLM и ядрах, а не просто изменять имя модели в существующем развёртывании.
Что такое Attention Residuals?
Традиционные глубокие сети передают информацию через остаточные связи, которые накапливаются от слоя к слою. Moonshot описывает Attention Residuals, или AttnRes, как механизм выборочного извлечения представлений по глубине вместо равномерного накопления всей информации.
Предполагаемое преимущество — более плавный поток информации через очень глубокую модель. Вместо того чтобы каждый слой зависел только от непосредственно накопленного состояния, AttnRes может усиливать полезные представления из предыдущих слоёв.
Это концептуально важно при масштабе 2,8T, где оптимизация и передача сигналов становятся сложными задачами. Полные уравнения, результаты абляционных исследований и детали обучения следует оценивать после публикации технического отчёта.
Stable LatentMoE и 896 экспертов
K3 — это модель Mixture-of-Experts. Маршрутизатор выбирает небольшое подмножество экспертных сетей для каждого токена.
K3 имеет:
- 896 маршрутизируемых экспертов;
- 16 активных экспертов для одного токена;
- общие и маршрутизируемые экспертные компоненты в опубликованной схеме;
- фреймворк Stable LatentMoE, рассчитанный на экстремальную разреженность.
Коэффициент активации примерно равен:
16 / 896 ≈ 1.8%
Этот процент напрямую не показывает количество активных параметров. Общие слои, размеры экспертов, маршрутизация, attention и другие компоненты добавляют вычисления за пределами простого соотношения. Утверждения о точном количестве активных параметров K3 следует считать неподтверждёнными, пока Moonshot не опубликует эти данные.
Почему экстремальная разреженность MoE сложна
Большее количество экспертов увеличивает ёмкость, но также создаёт более сложные задачи маршрутизации и инфраструктуры:
- токены могут перегружать популярных экспертов;
- редко используемые эксперты расходуют ресурсы впустую;
- размещение экспертов влияет на коммуникацию;
- дисбаланс нагрузки снижает эффективность использования ускорителей;
- динамические формы и синхронизация с хостом могут ухудшать пропускную способность;
- решения маршрутизации должны оставаться стабильными во время обучения.
K3 решает эти проблемы с помощью балансировки, выполнения со статическими формами и больших доменов коммуникации.
Quantile Balancing
Moonshot описывает Quantile Balancing как метод распределения экспертов на основе квантилей оценок маршрутизатора. Цель — избежать эвристических правил обновления и чувствительного гиперпараметра балансировки.
Проще говоря, распределение адаптируется к фактическому распределению оценок маршрутизации, а не зависит от одного вручную настроенного порога. Это особенно важно, когда 896 экспертов должны оставаться полезными и равномерно загруженными в масштабных системах.
Для количественной оценки вклада Quantile Balancing по сравнению с другими элементами системы обучения всё ещё необходимы независимые воспроизведения и результаты абляционных исследований.
Per-Head Muon
Muon — это подход к оптимизации, используемый во время обучения. K3 расширяет его до уровня отдельных attention-head, позволяя головам внимания оптимизироваться более независимо.
Заявленная цель Moonshot — более адаптивная оптимизация при большом масштабе. Это техника обучения, а не функция API: пользователи не настраивают Per-Head Muon во время инференса.
SiTU и Gated MLA
Обзор запуска также указывает следующие компоненты:
- Sigmoid Tanh Unit (SiTU): предназначен для улучшения контроля активаций;
- Gated MLA: предназначен для повышения избирательности внимания.
Эти компоненты входят в более крупную структуру блока, объединяющую KDA, латентных экспертов, общих экспертов, свёрточные элементы и механизмы gating. Их точный вклад требует технического отчёта и контролируемых абляционных исследований.
Веса MXFP4 и активации MXFP8
K3 использует quantization-aware training начиная с этапа supervised fine-tuning, применяя веса MXFP4 и активации MXFP8.
Quantization-aware training позволяет модели учитывать поведение при низкой точности ещё во время обучения, вместо преобразования готовой модели высокой точности после завершения обучения. Это может сохранить больше качества при эффективном формате инференса.
MXFP4 значительно уменьшает теоретический объём хранения весов. При четырёх битах на параметр 2,8T исходных параметров соответствуют примерно 1,4 ТБ до учёта масштабов, метаданных, неквантизованных компонентов, runtime-буферов и резервирования. Это всё ещё далеко за пределами возможностей потребительского оборудования.
Полностью сбалансированное экспертно-параллельное обучение
Moonshot сообщает, что K3 использует полностью сбалансированное экспертно-параллельное обучение со статическими формами и без синхронизации с хостом на критическом пути. Эти решения направлены на предсказуемую работу ускорителей и снижение задержек из-за координации с CPU.
Во время инференса сохраняется та же основная проблема: эксперты, распределённые между множеством устройств, должны быстро обмениваться данными. Moonshot рекомендует использовать supernode как минимум с 64 ускорителями, чтобы больше коммуникаций происходило внутри домена с высокой пропускной способностью.
Как K3 достигает контекста в 1M токенов
Ни один отдельный компонент не объясняет окно в 1M токенов. Возможность зависит от:
- эффективной обработки последовательностей через KDA;
- стабильного потока информации через AttnRes;
- serving-ядер и управления памятью;
- поддержки prefill-cache;
- распределённой инфраструктуры ускорителей;
- обучающих данных и целей, которые помогают модели использовать длинный контекст.
Модель, принимающая миллион токенов, не означает, что каждый токен получает одинаковое внимание или что миллионный контекст всегда является лучшим решением. Оценка длинного контекста должна проверять извлечение информации, дальние зависимости, отвлекающие факторы, задержку и стоимость.
Kimi K3 в сравнении с Kimi K2
| Область | Направление Kimi K3 | Базовая версия Kimi K2 |
|---|---|---|
| Масштаб | 2,8T общих параметров | Меньше в предыдущем поколении |
| Attention | Гибридное линейное внимание KDA | Предыдущая архитектура |
| Глубина | Attention Residuals | Предыдущая схема residual |
| MoE | 896 экспертов, 16 активных | Менее экстремальная разреженность |
| Эффективность | Заявленная эффективность масштабирования ~2,5× | Базовый уровень |
| Vision | Нативное понимание изображений | Другая область возможностей предыдущей модели |
| Контекст | 1M токенов | Более низкий предыдущий предел в зависимости от модели |
Значение 2,5× — это заявление Moonshot об общей эффективности масштабирования, а не обещание увеличения скорости API в 2,5 раза или улучшения результатов бенчмарков в 2,5 раза.
Ограничения архитектуры и открытые вопросы
Важные нерешённые вопросы:
- точное количество активных параметров;
- полные размеры слоёв и экспертов;
- количество обучающих токенов и состав данных;
- полный метод обучения длинного контекста;
- независимые архитектурные абляции;
- поддерживаемое оборудование и измеренная производительность для разных конфигураций;
- точный размер файлов весов;
- финальная поддержка runtime и лицензии.
Ответы на эти вопросы должны появиться в техническом отчёте Moonshot и официальных репозиториях после выпуска.
Почему архитектура важна для разработчиков
Большинству пользователей API не нужно реализовывать KDA или маршрутизацию MoE самостоятельно. Однако важно понимать эксплуатационные последствия:
- K3 хорошо подходит для задач с большим объёмом контекста и агентных сценариев;
- сохранение состояния диалога имеет критическое значение;
- автоматическое кэширование может существенно снизить стоимость;
- самостоятельное развёртывание требует экстремальной инфраструктуры;
- поведение модели нельзя определить только по общему числу параметров;
- новые runtime и ядра должны иметь явную поддержку K3.
Читайте Открыта ли Kimi K3? для информации о статусе развёртывания и Руководство по API Kimi K3 для интеграции приложений.
Часто задаваемые вопросы
Сколько параметров у Kimi K3?
K3 содержит 2,8 триллиона общих параметров в разреженной архитектуре Mixture-of-Experts.
Сколько экспертов активно?
Moonshot сообщает, что активируются 16 из 896 маршрутизируемых экспертов. Общие и неэкспертные компоненты также участвуют в вычислениях.
Что такое Kimi Delta Attention?
KDA — это гибридный механизм линейного внимания Moonshot для эффективной обработки последовательностей и масштабирования длинного контекста.
Почему Kimi K3 поддерживает контекст в 1M токенов?
Это окно обеспечивается архитектурой, обучением, кэшированием, ядрами, управлением памятью и распределённым сервингом, а не одной отдельной функцией.
Может ли Kimi K3 работать на потребительских GPU?
Полная модель не может реалистично работать на потребительских GPU. Moonshot рекомендует развёртывание supernode с 64 или более ускорителями.