Хабы: Блог компании AIRI, Алгоритмы, Машинное обучение, Искусственный интеллект, Natural Language Processing
Хабр, привет! Это снова Антон Разжигаев, аспирант Сколтеха и научный сотрудник лаборатории Fusion Brain в Институте AIRI, где мы продолжаем углубляться в изучение языковых моделей. В прошлый раз мы выяснили, что эмбеддинги трансформеров-декодеров сильно анизотропны. На этот раз я бы хотел рассказать об их удивительной линейности, ведь нашу статью про обнаруженный эффект ("Your Transformer is Secretly Linear") несколько дней назад приняли на международную конференцию ACL!
Читать далее