Операция выполнена!
Закрыть
Хабы: Искусственный интеллект, Машинное обучение

Последние годы мы наблюдаем гонку контекстных окон: 32k, 128k, 1 миллион токенов. Но за этой магией скрывается сложная математика, которая прошла долгий путь эволюции. Многие слышали про механизм Attention и загадочные матрицы Query, Key, Value, но далеко не все понимают их физический смысл. Почему мы вообще умножаем ключи на запросы и причем тут «внимание»?

Я предлагаю разобрать работу трансформеров на интуитивно понятном примере «ржавого ключа», чтобы увидеть, как именно слова передают друг другу смысл и формируют контекст.

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro