Диффузионные языковые модели: как устроены, что в них работает, а что вызывает вопросы

10.08.2026 09:22:22 | Хабр

Хабы: Блог компании AIRI, Машинное обучение, Искусственный интеллект, Natural Language Processing

Привет, Хабр. На связи команды «Интерпретируемый ИИ» и «Основы генеративного ИИ» AIRI и «Генеративная поэзия» SberAI. Мы занимаемся альтернативными архитектурами языковых моделей — тем, что могло бы работать вместо привычной генерации токен за токеном слева направо.

Одно из таких направлений — диффузионные языковые модели (dLLM). Диффузионные языковые модели, в отличие от обычных LLM, генерируют текст параллельно, несколько токенов за раз. Теоретически это даёт кратное ускорение. Также они не ограничены генерацией справа от контекста и могут заполнять произвольные пропуски в поданном на вход тексте.

Мы много работали с dLLM, перепробовали кучу моделей, набив на них шишек, и даже предложили свои. В результате накопилось большое понимания того, какие подходы действительно работают, а какие вызывают много вопросов касательно их воспроизводимости. Обо всём об этом рассказываем в обзоре ниже.

Подробнее

Читайте также

[Перевод] Мы сделали “Tinder для любителей аниме и видеоигр”, привлекли 100 000 пользователей… и закрылись. Что пошло не так?
10.08.2026 09:19:29 | Хабр

Написал расширение, которое качает статьи Хабра в Markdown — и не долбит сервер
10.08.2026 09:00:23 | Хабр

От 12 часов к 30 минутам: как мы join’им миллиарды товарных движений в ClickHouse
10.08.2026 09:00:11 | Хабр

Эволюция автоматизации: что приходит на смену RPA
10.08.2026 08:55:44 | Хабр

Claude за 5% цены: чем на самом деле платят покупатели серых токенов
10.08.2026 08:49:36 | Хабр

Привод ответил ACK. Что он на самом деле пообещал?
10.08.2026 08:47:53 | Хабр

Небольшой интерфейс + агентная сетка для решения задач исследований в продуктовой аналитике
10.08.2026 08:47:20 | Хабр

Китайские ИИ-бренды: их товарные знаки и патенты
10.08.2026 08:43:13 | Хабр

AI SaaS разработка уперлась в CI квоту. Как я решил этот вопрос
10.08.2026 08:42:14 | Хабр

Реверс-инжиниринг версии файла формата КОМПАС-3D
10.08.2026 08:34:19 | Хабр

День 1629: оборот рублёвого стейблкоина А7А5 достиг почти $140 млрд
10.08.2026 08:30:00 | vc.ru

Темная сторона ЛЛМ: Как и для чего их превращают в оружие (и что с этим делать)
10.08.2026 08:21:38 | Хабр

Когда подписи недостаточно: как мы расчищали «серую зону» в Поиске по картинкам
10.08.2026 08:00:19 | Хабр

Будет ли self-hosted LLM производительнее, чем модель во внешнем контуре: сравниваем GLM, Claude и GPT
10.08.2026 08:00:19 | Хабр

Битрикс24 + Python: шесть функций, после которых REST становится проще
10.08.2026 08:00:18 | Хабр

Композиционный анализ проектов на C++
10.08.2026 08:00:18 | Хабр

Ошибка в расчёте скидки, которую не видно глазами: проверяем ответ API по документации, когда автотестов нет
10.08.2026 07:55:19 | Хабр

Корпоративная база знаний: какие метрики отслеживать и как использовать данные
10.08.2026 07:37:24 | Хабр

Собрать базу знаний для ИПР системных аналитиков не сложнее, чем кажется
10.08.2026 07:30:45 | Хабр

[Перевод] Масштабирование LLM: от одного чипа до ЦОДа. Глава 4. Тренировка трансформера
10.08.2026 07:25:01 | Хабр

Недельный геймдев: #290 — 9 августа, 2026
10.08.2026 07:18:06 | Хабр

Как детектили фрод, а получили Джонни и Джулию: история одной браузерной разминки
10.08.2026 07:10:50 | Хабр

Механику на насос деньги дали, а вам на серверную — нет. Дело не в железе, а в языке
10.08.2026 07:00:13 | Хабр

HUAWEI Pura 90s Pro: долой «лопаты» и мыльные ночные фото
10.08.2026 07:00:00 | ferra.ru

Делаем видео-диски для Sega CD / Mega CD: промежуточный результаты и просьба о помощи
10.08.2026 06:53:20 | Хабр

Проекты Node.js. Создание реальных веб-приложений и API для бэкенда
10.08.2026 06:30:44 | Хабр

Сложный интерфейс нельзя вылечить минимализмом
10.08.2026 06:30:11 | Хабр

ИИ в бизнесе: почему большинство проектов не доходят до результата и что с этим делать
10.08.2026 06:30:11 | Хабр

Мидл — это не три года опыта. Грейды в DevOps как типы ответственности
10.08.2026 06:28:50 | Хабр

Два действия вместо сотен и тысяч: лечим боль смены периода в финансовой модели
10.08.2026 06:18:10 | Хабр

Как работают модели SOFROS AI/ML: от классификации до семантического поиска
10.08.2026 06:00:08 | Хабр

Joomla-дайджест. 2-й квартал 2026 года
10.08.2026 05:59:19 | Хабр

Дерево формы для построения интерфейсов: проблемы и приемы для их решения
10.08.2026 05:39:59 | Хабр

IP не валяй, или как я переобувал кластер kubernetes на ходу
10.08.2026 05:30:06 | Хабр

1500 строк красного: как обновление одного плагина на Rust-сервере съедает вечер — и почему виноват diff
10.08.2026 05:18:01 | Хабр

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

Глава МИД Египта возложил ответственность за срыв мирного плана по Газе на Израиль
15.10.2026 14:44:31 | ТАСС

В Таиланде задержали россиянина за незаконное пребывание
15.10.2026 14:44:25 | ТАСС

Экологи "Газпром нефти" провели исследование малоизученных районов Восточной Сибири
15.10.2026 14:43:41 | ТАСС

Жителя Херсонщины осудили за призывы к экстремизму
15.10.2026 14:43:00 | ТАСС

Число посетивших Малайзию российских туристов выросло в январе - августе на 4,3%
15.10.2026 14:42:24 | ТАСС

Актриса "Секрета тропиканки" объяснила мировой успех бразильских сериалов
15.10.2026 14:42:16 | ТАСС

В России валовый сбор масличных может превысить рекордный показатель 2025 года
15.10.2026 14:42:13 | ТАСС

Эксперт в области БПЛА предрек жесткие удары по Украине благодаря обучению нейросетей
15.10.2026 14:42:11 | Lenta.ru

В Москве приостановили продажу билетов на концерт арестованного рэпера Navai
15.10.2026 14:41:41 | Life.ru

«Жалкий диктатор»: В России ситуацию в Киеве назвали стратегической безысходностью
15.10.2026 14:41:13 | Life.ru

Стали известны детали расправы над пропавшей российской медсестрой
15.10.2026 14:40:51 | Lenta.ru

Ямпольская выступила против использования дипфейков умерших актеров в кино
15.10.2026 14:40:09 | ТАСС

Медведев: первичные отделения становятся кадровым резервом ЕР
15.10.2026 14:40:05 | ТАСС

Обвиняемая в убийстве медсестры из Оренбурга сама изрезала себя ножом
15.10.2026 14:39:55 | Life.ru

Россия и Индия намерены построить первые совместные суда к 2030 году
15.10.2026 14:39:38 | ТАСС

"Татнефть" позитивно оценивает технополигоны на месторождениях сверхвязкой нефти
15.10.2026 14:39:05 | ТАСС

Авербух: участие в Гран-при Японии и Китая пойдет на пользу фигуристам РФ
15.10.2026 14:38:45 | ТАСС

Трое детей — не предел: Алсу захотела ещё раз примерить фату и стать мамой
15.10.2026 14:38:43 | Life.ru

Народные приметы на ноябрь 2026 года: погода, приметы по дням и свадьба
15.10.2026 14:38:41 | Life.ru

Россия и Индия обсуждают создание совместных портов для перевалки экспортных грузов
15.10.2026 14:38:40 | ТАСС

На представляющего интересы монахов Киево-Печерской лавры адвоката напали
15.10.2026 14:37:56 | ТАСС

Во Франции раскрыли помощь Украине по передаче разведданных
15.10.2026 14:37:11 | Lenta.ru

Вайдель считает, что Украина уже проиграла в конфликте с Россией
15.10.2026 14:37:10 | ТАСС

Акция "Ночь искусств" пройдет в 16 музеях Тюменской области
15.10.2026 14:36:55 | ТАСС

Дьявольская природа НЛО: В РПЦ объяснили, почему астронавт NASA оказался прав
15.10.2026 14:36:52 | Life.ru

На Херсонщине заявили, что увозить тяжело раненых из Алешек удается раз в неделю
15.10.2026 14:36:18 | ТАСС

Минтранс выступил против подорожания авиабилетов из-за нового топлива
15.10.2026 14:35:33 | Life.ru

Ямпольская поддержала идею строгого проведения вузовских олимпиад
15.10.2026 14:35:20 | ТАСС

Икра останется дома, но подешевеет ли? Как отказа рыбаков от экспорта повлияет на цены
15.10.2026 14:35:12 | Life.ru

Ямпольская поздравила отцов с наступающим праздником
15.10.2026 14:34:16 | ТАСС

ГД одобрила в I чтении освобождение от госпошлины на недвижимость ГУПов и МУПов
15.10.2026 14:33:36 | ТАСС

Shaman прокомментировал блокировку его YouTube-канал на Украине
15.10.2026 14:33:34 | ТАСС

На Ставрополье с экс-главы отделения ПФР взыскали имущество и активы
15.10.2026 14:33:08 | ТАСС

В Москве автомобилистов предупредили о сильном тумане
15.10.2026 14:32:27 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro