Хабы: Машинное обучение, Искусственный интеллект, Python
Мы думаем, многие знают ключевую проблему реккурентных нейросетей - постепенное забывание "изученного" в процессе обучения. Так как внутри нет никакого механизма "внимания", как в тех же трансформерах – передача данных с одного шага на другой приводит к тому, что мы уже не помним начала цепочки.
Глухой телефон или неумело прочитанная книга – хорошая метафора.
Но есть другая крупная проблема в ML – катастрофическое забывание.
Читать далее