Операция выполнена!
Закрыть
Хабы: Искусственный интеллект, Машинное обучение, Информационная безопасность

В предыдущей статье я обратил внимание на интересное поведение Weight Decay, здесь я рассматриваю его более подробно. 

В индустрии ML принято считать: если мы берем обученную модель и делаем Fine-Tuning на новой задаче, старые веса постепенно перезаписываются. А если добавить Weight Decay (L2-регуляризацию), то процесс забывания лишнего должен идти еще быстрее.

Я проверил это утверждение экспериментально. Результаты оказались контринтуитивными: при определенных настройках Weight Decay работает ровно наоборот — защищает старую структуру от разрушения.

Ниже — описание эксперимента и выводы для тех, кто занимается обучением и безопасностью моделей.

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro