Хабы: Машинное обучение, Искусственный интеллект
LLM с новым алгоритмом внимания в контекстное окно которой помещается весь проект с библиотеками и документацией, И почему пока звучит неубедительно все, кроме $465 млн. инвестиций.
На днях стартап Magic анонсировал новую LLM модель с контекстым окном в 100 млн. токенов как многообещающий прорыв в области разработки ПО. Во-первых из-за гигантского контекстного окна, в которое буквально можно запихнуть целиком со всеми библиотеками и документацией весь проект (10 млн. строчек кода), а во вторых из-за нового механизма внимания, который позволяет модели действительно работать со всем этим контекстом. Рассмотрим насколько это инновационно и что можно понять из анонса Magic. (Спойлер - HashHop простой и логичный механизм, но как это все работает и работает ли понять пока невозможно).
Читать далее