Операция выполнена!
Закрыть
info@vsetut.pro
Стать автором
Вернуться
Нейросети перестанут забывать: метод с масками внимания и графом задач
12.12.2025 14:23:39 | Хабр
Хабы: Искусственный интеллект

В этой статье я разберу идею DTG‑MA (Dynamic Task‑Graph Masked Attention) пусть будет такое название и сокращение.

Есть одна неприятная штука, которую почти каждый ловил на практике, когда пробовал последовательное обучение моделей как катастрофическое забывание. Решение проблемы может быстрее привести нас к полноценному искусственному интеллекту и других задач. В 1997 году когда в институте проходили нейросети возникла идея, что можно нейросеть использовать как хранилище данных, но как оказалось не все так просто ).
Вы обучили систему на задаче A. Потом приходит задача B — модель обновляется, и внезапно качество на A падает так, будто A никогда и не было.

Так проявляется catastrophic forgetting — катастрофическое забывание.

Читать далее
Подробнее
Читайте также
СТАТЬ АВТОРОМ
НОВОСТИ

ВСЕ НОВОСТИ
ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2025 - vsetut.pro