Операция выполнена!
Закрыть
Хабы: Natural Language Processing, Машинное обучение, Исследования и прогнозы в IT

5 ноября 2026 года Thinking Machines Lab представила Inkling 2 Small, мультимодальную языковую модель с 594 млрд параметров, из которых при обработке одного токена активируются около 17 млрд. В анонсе особенно выделялась скорость предобучения: 8,4 трлн токенов всего за 68 часов на оборудовании NVIDIA GB300 NVL72 с использованием четырехбитного формата NVFP4.

Цифра выглядит необычно даже на фоне современных MoE-моделей. Но 68 часов относятся только к первому этапу подготовки Inkling 2 Small. Далее последовали еще три этапа обучения на дополнительных данных, а затем девятидневный Reinforcement Learning на 2048 GPU с более чем 17 млн траекторий.

Получившаяся модель набрала

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro