Claude и Kimi K3: как открытая модель догнала лидеров

Открытая модель Kimi K3 неожиданно показала результаты, с которыми обычно ассоциируются только закрытые системы вроде GPT и Anthropic. Разработчики сделали ставку на длинный контекст, рост глубины и увеличение числа экспертов — и при этом сумели обойти несколько технических ограничений.

Почему Kimi K3 привлекла внимание

Открытые модели чаще всего уступают крупным закрытым лабораториям: у них обычно меньше вычислительных ресурсов и данных. Но Kimi K3 стала редким примером, когда открытая система не просто догоняет, а на части независимых бенчмарков опережает решения GPT и Anthropic. При этом веса модели можно скачать и запустить у себя.

Авторы не полагались на один трюк. Они одновременно развивали модель в трех направлениях: увеличивали длину контекста, число слоев и количество экспертов внутри архитектуры. Именно это сочетание и дало сильный результат, хотя каждое направление принесло свои сложности.

Что мешало масштабировать модель

Главная проблема — память. В обычном трансформере используется KV-кэш, который растет вместе с длиной текста. Когда контекст доходит до миллиона токенов, такой подход начинает съедать слишком много памяти и на обучении, и при работе модели.

В Kimi K3 вместо KV-кэша применили фиксированную матрицу состояния S. Обновление идет по delta-rule: модель частично стирает старую информацию и записывает новую в одно и то же хранилище. Это помогает не раздувать память, но создает новую сложность — коэффициент забывания α при длинных последовательностях может стать численно нестабильным. Разработчики ограничили его диапазоном от e⁻⁵ до 1, чтобы вычисления не ломались.

Как ускорили обработку длинного контекста

Еще одна трудность связана с тем, что обновление состояния строго последовательное: каждый шаг зависит от предыдущего. А видеокарты сильны именно там, где можно считать много операций одновременно. Чтобы совместить эти два мира, команда Kimi K3 сделала специализированное ядро FlashKDA.

FlashKDA сначала обрабатывает токены внутри чанка параллельно, а затем передает состояние дальше тоже параллельно — по головам внимания. Для очень длинного текста на этапе prefill добавили еще и автоматический планировщик: он делит контекст на сегменты и считает их на разных вычислительных блоках одной карты. Потом результаты аккуратно собираются обратно, чтобы получить тот же итог, что и при последовательной обработке.

Что это значит для пользователей

Для разработчиков и компаний это важный сигнал: открытая модель уже может конкурировать с сильными закрытыми системами не только по удобству внедрения, но и по качеству на отдельных тестах. Это снижает зависимость от одного поставщика и дает больше свободы в развертывании внутри своей инфраструктуры.

Для обычных пользователей и команд это означает более доступный путь к мощным ИИ-инструментам: можно использовать модель локально или адаптировать под свои задачи. В работе это особенно полезно там, где важны длинные документы, большие объемы текста и контроль над данными.