Операция выполнена!
Закрыть
info@vsetut.pro
Стать автором
Вернуться

Аудит MIT-p50c для Qwen3.5-0.8B и редактирование весов с сохранением норм (SGNE-CC) при лимите 32 768 токенов

15.11.2026 02:51:53 | Хабр
Хабы: Машинное обучение, Искусственный интеллект, Natural Language Processing, Open source, Математика

Qwen3.5-0.8B — модель с 752 млн параметров, 18 рекуррентными слоями GatedDeltaNet и 6 слоями внимания. В проверенных прогонах с весами BF16 она часто не завершает размышление до лимита в 32 768 новых токенов. В работе MIT CSAIL Sparks of Weight-Space Programming (Takehi et al., 2026) правка весов без дообучения MIT-p50c повышает точность на MATH-500 с 7.9% до 48.1% — в среднем по четырём прогонам vLLM с настройками из карточки модели.

Сохраняется ли сокращение зацикливания без случайного выбора токенов и штрафа за повторы? Какие различия в геометрии весов сопровождают изменение поведения?

В статье сопоставлены геометрия и поведение MIT-p50c и SGNE-CC (3.13 МиБ) на MATH-500, MGSM-240, BBH-160, HumanEval-164 и MultiSpeech-64 при лимите 32 768 токенов.

Читать далее
Подробнее
Читайте также
НОВОСТИ

ВСЕ НОВОСТИ
ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro