Операция выполнена!
Закрыть
Хабы: Искусственный интеллект, Научно-популярное

Современное обучение нейросетей часто напоминает алхимию. У нас есть работающие рецепты, но как именно статистическая модель превращает терабайты текста в понимание до сих пор непонятно.

Почему возможно сублиминальное обучение (передача паттернов через шум)? Почему обучение на синтетических данных приводит к деградации, даже если данные кажутся качественными? 

В этой статье я предлагаю взглянуть на архитектуру обучения под другим углом. Суть проста: позитивные определения в высокой размерности вычислительно неэффективны. Нейросеть не учит, что такое объект. Она учит, чем объект не является, и от качества этого «НЕ» зависит, насколько интеллектуальна будет модель.

Далее — теория, эксперименты на PyTorch (код прилагается), математика и объяснение того, почему коллапс LLM весьма вероятен.

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro