Операция выполнена!
Закрыть
Хабы: Машинное обучение, Искусственный интеллект, Python

Мы думаем, многие знают ключевую проблему реккурентных нейросетей - постепенное забывание "изученного" в процессе обучения. Так как внутри нет никакого механизма "внимания", как в тех же трансформерах – передача данных с одного шага на другой приводит к тому, что мы уже не помним начала цепочки.

Глухой телефон или неумело прочитанная книга – хорошая метафора. 

Но есть другая крупная проблема в ML – катастрофическое забывание. 

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro