Операция выполнена!
Закрыть
Хабы: Блог компании AIRI, Алгоритмы, Машинное обучение, Искусственный интеллект, Natural Language Processing

Хабр, привет! Это снова Антон Разжигаев, аспирант Сколтеха и научный сотрудник лаборатории Fusion Brain в Институте AIRI, где мы продолжаем углубляться в изучение языковых моделей. В прошлый раз мы выяснили, что эмбеддинги трансформеров-декодеров сильно анизотропны. На этот раз я бы хотел рассказать об их удивительной линейности, ведь нашу статью про обнаруженный эффект ("Your Transformer is Secretly Linear") несколько дней назад приняли на международную конференцию ACL!

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro