LLM Inside: выжимаем максимум из Decoder Attention на GPU

10.03.2026 07:01:15 | Хабр

Хабы: Блог компании Яндекс, Машинное обучение, Высоконагруженные системы, Серверная оптимизация, GPGPU

Привет, Хабр! Меня зовут Андрей Шукшов. Я пишу YNMT в Яндекс R&D — это движок инференса, на котором работают почти все наши большие языковые модели (LLM). Бо́льшую часть времени я пытаюсь понять, почему некоторые вещи работают медленно и как сделать так, чтобы у них это получалось чуточку быстрее.

Если вы запускали локальную LLM, то, возможно, тоже удивлялись: почему железо, способное рендерить фотореалистичные миры в реальном времени, работает в темпе печатной машинки? В своей статье я попробую хотя бы отчасти ответить на этот вопрос. Под микроскопом посмотрим на механизм Attention в режиме генерации (декодирования) и, вооружившись лучшими современными практиками ускорения на GPU, объединим всю математику в один эффективный kernel, который выжмет максимум производительности из имеющегося у нас железа.

Подробнее

Читайте также

Blueprint VM изнутри: ~80 инструкций, которые двигают вашу игру
10.03.2026 07:00:43 | Хабр

Время в BPMN
10.03.2026 07:00:43 | Хабр

Мифы про REST API. Часть 2
10.03.2026 06:59:15 | Хабр

Поколение JSON: цена удобных абстракций и упадок культуры ресурсов
10.03.2026 06:47:41 | Хабр

Наблюдаемость LLM-агентов: Часть 2. Разработка и отладка графа
10.03.2026 06:37:27 | Хабр

Простые проблемы, которые мы решали в ИИ-стартапе
10.03.2026 06:33:37 | Хабр

Интеграция «Честного знака» или законы Мерфи в разработке
10.03.2026 06:22:34 | Хабр

[Перевод] Сэм Альтман собрал больше денег, чем ВВП 140 стран. Их хватило на два года. Что будет дальше?
10.03.2026 06:22:27 | Хабр

Почему мы ненавидим, но так любим нейросети
10.03.2026 06:18:28 | Хабр

«Принеси-подай, отвали и не мешай»: что такое агентность и почему менеджеру её не хватает
10.03.2026 06:00:22 | Хабр

AI-агент с долгосрочной памятью: строю личного аналитика с Claude Code
10.03.2026 05:59:05 | Хабр

Мониторинг частоты упоминаний бренда в ChatGPT и Яндекс Алисе, карта ПДн вашего бизнеса — и еще 8 российских стартапов
10.03.2026 05:45:20 | Хабр

Воплощение it проекта в реальном производстве. Практический кейс из металлургии
10.03.2026 05:33:53 | Хабр

Конструктор табличных значений, UNNEST(), TABLE(), STRING_SPLIT(), JSON_TABLE() — замена временным таблицам в SQL
10.03.2026 05:28:41 | Хабр

Как уместить опыт в одностраничный PDF
10.03.2026 05:16:14 | Хабр

9 событий в мире ИИ, которые завирусились в соцсетях 24 февраля — 9 марта 2026 года
10.03.2026 05:10:42 | Хабр

Unreal Engine 5.4 + C++ + MacOS Tahoe + Android build = Build Successful
10.03.2026 03:15:56 | Хабр

Концепция кастомизированных ИИ-агентов как «виртуальных аватаров» человека
10.03.2026 01:19:21 | Хабр

Контракт вместо настроек: чего я жду от OLTP-БД
10.03.2026 01:07:46 | Хабр

Тёмная сторона крипты, аномалии и управление тысячами роботов
10.03.2026 00:24:42 | Хабр

Стики с эффектом Холла для неоригинального контроллера xbox 360
09.03.2026 22:00:32 | Хабр

Как построить DWDM-сеть в России
09.03.2026 21:57:55 | Хабр

От бронзы к золоту. Методика управления ETL-процессами через сквозную нумерацию пакетов с данными
09.03.2026 21:16:53 | Хабр

Lexometrica Ground Truth: бенчмарк LLM по российскому праву
09.03.2026 21:15:27 | Хабр

Lenovo показала концепт портативной консоли со складным экраном
09.03.2026 21:01:48 | ferra.ru

Смена парадигм в нейрофизиологии: от рефлекторной машины к самоорганизующейся системе
09.03.2026 20:51:16 | Хабр

Наблюдаемость LLM-агентов: Часть 1. Трассировка LangGraph и версионирование промптов с LangFuse
09.03.2026 20:41:58 | Хабр

Системная инженерия в бизнесе: архитектурный подход к построению компании, который корпорации применяют уже 50 лет
09.03.2026 19:16:17 | Хабр

IDE понимает ваш код. AI-агент — нет. Это можно исправить
09.03.2026 19:08:06 | Хабр

СМИ: Nvidia вернет в продажу видеокарты RTX 3060 с помощью Samsung
09.03.2026 19:01:49 | ferra.ru

Дорога к звездам начинается на Земле
09.03.2026 18:30:20 | Хабр

Лучшие виртуальные карты для оплаты зарубежных сервисов и расчётов за границей
09.03.2026 18:18:27 | Хабр

Обратная сторона лаконичности знаков в языках программирования
09.03.2026 18:16:11 | Хабр

Американский гиперзвук: догоняют Россию и Китай, или выходят вперёд?
09.03.2026 17:50:44 | ferra.ru

Между tail и ELK: пытаюсь собрать логи с нескольких серверов одной командой
09.03.2026 17:41:07 | Хабр

Смотреть все

НОВОСТИ

Отбита массированная атака ВСУ: Уничтожено 326 украинских беспилотников над регионами РФ
10.06.2026 07:42:40 | Life.ru

Ракетную опасность отменили в Свердловской области
10.06.2026 07:41:02 | ТАСС

Ракетную опасность отменили в Тюменской области
10.06.2026 07:40:45 | ТАСС

Прилепин: освещать тему СВО в культурной среде должно молодое поколение
10.06.2026 07:40:05 | ТАСС

Брест: Все готово к старту международного проекта "Поезд памяти"
10.06.2026 07:39:00 | Российская Газета

Над Тульской областью уничтожили 16 БПЛА
10.06.2026 07:37:36 | ТАСС

Над Воронежской областью за ночь уничтожили более 40 БПЛА
10.06.2026 07:36:50 | ТАСС

"Мираторг" может поставить более 11 тыс. тонн свинины на Филиппины в 2026 году
10.06.2026 07:36:30 | ТАСС

Ивлев: контракт со Шварцем подписан на хороших условиях для "Динамо" и тренера
10.06.2026 07:36:07 | ТАСС

Onlinetours Premium: спрос россиян на отели Вьетнама вырос за год в 7,5 раза
10.06.2026 07:34:56 | ТАСС

Журналист Зайпель: Запад использует риторику Первой мировой, говоря о России
10.06.2026 07:34:55 | ТАСС

Россельхознадзор: Филиппины вышли на четвертое место среди импортеров свинины РФ
10.06.2026 07:32:48 | ТАСС

Боец Худой: дроны "Севера" уничтожили канадскую ББМ Roshel Senator ВСУ
10.06.2026 07:32:47 | ТАСС

В ДР Конго количество смертей от Эболы достигло 115
10.06.2026 07:31:03 | ТАСС

Кто в натовской Европе сможет говорить с Россией
10.06.2026 07:30:00 | ТАСС

Над регионами России за ночь сбили 326 украинских БПЛА
10.06.2026 07:28:54 | ТАСС

Синоптик Макарова: половодье в России подходит к концу
10.06.2026 07:26:53 | ТАСС

Ульянов заявил о росте цен в ЕС при введении запрета на импорт рыбы из России
10.06.2026 07:26:43 | Life.ru

СДЭК назвал самые необычные посылки за весну 2026 года
10.06.2026 07:24:44 | ТАСС

Росстандарт: российские ГОСТы в сфере атомной техники становятся международными
10.06.2026 07:23:50 | ТАСС

Российские ГОСТы в сфере атомной техники стабильно становятся международными
10.06.2026 07:23:50 | ТАСС

Афганистан заявил, что из-за ударов Пакистана погибли 13 человек
10.06.2026 07:23:32 | ТАСС

Депутат Демин предложил индексировать лимиты налоговых вычетов
10.06.2026 07:22:07 | ТАСС

В Чебоксарах перекрыли движение по проспекту Яковлева
10.06.2026 07:21:58 | ТАСС

В Чебоксарах перекрыли движение по проспекту И. Яковлева
10.06.2026 07:21:58 | ТАСС

На территории Омской области впервые объявлена беспилотная опасность
10.06.2026 07:21:32 | Life.ru

Журналист Боуз заявил о стремлении Зеленского спровоцировать глобальный конфликт
10.06.2026 07:21:00 | Российская Газета

Журналист Боуз обвинил Зеленского в желании спровоцировать глобальный конфликт
10.06.2026 07:21:00 | Российская Газета

Моди установил рекорд по продолжительности пребывания на посту премьера Индии
10.06.2026 07:20:46 | ТАСС

Черничук: опыт ЗАЭС применяли в работе Курской АЭС и других атомных станций РФ
10.06.2026 07:19:42 | ТАСС

В СФ заявили, что Россия против политизации климатической повестки
10.06.2026 07:18:00 | ТАСС

В Оренбургской области объявили отбой ракетной опасности
10.06.2026 07:17:26 | ТАСС

Россия в I квартале экспортировала рекордный объем продукции АПК в страны ЕАЭС
10.06.2026 07:17:05 | ТАСС

Ракетную опасность отменили в Удмуртии
10.06.2026 07:14:22 | ТАСС

Аварийные работы на газопроводе Моздок — Казимагомед начнут в среду утром
10.06.2026 07:13:31 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro