Как создали Inkling 2 Small: 594 млрд параметров за 68 часов
Thinking Machines Lab показала Inkling 2 Small — мультимодальную модель с 594 млрд параметров, которая стала заметной не только из-за размера, но и из-за необычно быстрого первого этапа обучения. Разбираем, что именно скрывается за цифрами и почему это важно для тех, кто работает с текстом, кодом и изображениями.
Почему вокруг Inkling 2 Small так много внимания
Модель представили 5 ноября 2026 года. В ней 594 млрд параметров, но при обработке одного токена активируются примерно 17 млрд — это около 2,86% от общего объёма. Такой подход основан на архитектуре Mixture-of-Experts: вместо одной плотной сети модель выбирает нужные экспертные блоки под конкретный запрос.
У Inkling 2 Small 48 слоёв Transformer, 384 эксперта и маршрутизация к восьми экспертам. Это помогает снизить вычислительную нагрузку по сравнению с плотной моделью такого же общего размера, но не делает систему «лёгкой» для обычного компьютера: хранить нужно весь набор весов, а не только активную часть.
Отдельно важна мультимодальность. Модель умеет работать не только с текстом, но и с изображениями: скриншотами, документами и интерфейсами. При этом она сама не рисует картинки, а выдаёт текст и может помогать создавать визуальный результат через код и инструменты.
Как удалось обучить модель так быстро
Самый громкий факт анонса — первый этап предобучения занял 68 часов. За это время модель обработала 8,4 трлн токенов: текст, код и визуальные данные. Обучение шло на стойках NVIDIA GB300 NVL72 и использовало формат NVFP4 — четырёхбитную схему, поддерживаемую архитектурой NVIDIA Blackwell.
Но важно не путать стартовый этап со всем циклом подготовки. После первых 68 часов были ещё три этапа обучения на дополнительных данных, а затем девятидневный Reinforcement Learning на 2048 GPU. В этом RL-прогоне использовали более 17 млн траекторий, так что финальный результат — это не только про скорость первого этапа, но и про длинную цепочку донастройки.
Смысл такой технологии для бизнеса и разработки понятен: меньше времени на обучение и дообучение — быстрее проверка гипотез, создание продуктов и эксперименты с помощниками для кода, аналитики и работы с документами.
Что модель показала на практике и где есть ограничения
По данным статьи, Inkling 2 Small получила 31 балл в Artificial Analysis Intelligence Index и заметно улучшилась по сравнению с предыдущим поколением в программировании, работе с изображениями и многошаговых агентных задачах. При этом авторы подчёркивают, что одних бенчмарков мало: у модели выросли и длина ответа, и объём генерируемых токенов, а это уже влияет на реальное использование.
Есть и ограничения. Четырёхбитное хранение помогает с вычислениями, но не отменяет того, что для работы модели нужны большие объёмы памяти и серьёзная инфраструктура. Поэтому Inkling 2 Small — это не «модель для ноутбука», а инструмент уровня дата-центра или облачной платформы.
Практический вывод простой: такие системы становятся полезны там, где нужно одновременно понимать текст и изображения, анализировать интерфейсы, документы, код и делать длинные многошаговые задачи. Для обычного пользователя это означает более умных помощников в сервисах, а для команд — шанс быстрее собирать прототипы и автоматизировать рутинные сценарии.