Мультимодальность в ИИ-агентах: картинки на вход, картинки на выход и отказ от Multimodal RAG

29.05.2026 09:43:04 | Хабр

Хабы: Блог компании LLMStart.ru, Искусственный интеллект, Машинное обучение, Программирование, Управление разработкой

На связи Сергей Смирнов, AI-инженер и основатель LLMStart.ru. Сегодня разбираем мультимодальность в ИИ-агентах на реальном примере из продакшена.

Мы проанализировали 258 диалогов нашего агента-консультанта по 1С и поняли: у входящих и исходящих картинок совершенно разная физика. Для входящих критично качество распознавания, а для исходящих — надежная доставка. В статье я подробно рассказываю, почему мы осознанно отказались от модного Multimodal RAG и как на самом деле нужно выбирать архитектуру под свои данные.

Спойлер: экономить копейки на токенах — плохая идея, а усложнять систему стоит только тогда, когда это приносит реальные деньги.

Подробнее

Читайте также

Юмор в IT правда специфический? Результаты исследования
29.05.2026 09:42:49 | Хабр

Цепи Маркова для прогнозирования производительности СУБД PostgreSQL
29.05.2026 09:31:13 | Хабр

Распределённый ПЛК без шкафов автоматики
29.05.2026 09:29:41 | Хабр

Редактор, в котором главный — терминал: как я делал лёгкую IDE под эпоху ИИ-агентов
29.05.2026 09:29:14 | Хабр

Заброшенные репозитории на GitHub. Какие языки теряют разработчиков и когда код перестают обновлять
29.05.2026 09:22:17 | Хабр

ИИ-агент двойного назначения
29.05.2026 09:19:26 | Хабр

Ракета New Glenn компании Blue Origin взорвалась в ходе предстартовых испытаний
29.05.2026 09:18:59 | vc.ru

Нейросеть Claude Opus 4.8: Первый ИИ без галлюцинаций. Как использовать Claude из РФ
29.05.2026 09:18:09 | Хабр

Во что поиграть на айфоне летом 2026 года
29.05.2026 09:12:55 | Хабр

Составить резюме в нейросетях: самая понятная инструкция и готовые промпты
29.05.2026 08:58:18 | Хабр

rm -rf, увольнение и выбор цвета кнопки в одной очереди. Это и есть проблема. Даже для сверхинтеллекта
29.05.2026 08:56:34 | Хабр

Новая DRAM в 1000 раз быстрее обычной, и она может изменить компьютерный мир
29.05.2026 08:47:57 | Хабр

Apple выпустит новую функцию защиты от выхватывания iPhone из рук
29.05.2026 08:47:35 | ferra.ru

Как работает экосистема карьерного развития в агроиндустрии
29.05.2026 08:45:56 | Хабр

Resolvable Config Struct — отличная альтернатива Functional Options в Go
29.05.2026 08:40:30 | Хабр

Медленные запросы в Impala: как анализировать profile и не выносить SQL наружу
29.05.2026 08:35:27 | Хабр

Как улучшить качество фото в Фотошопе: проверенные приемы
29.05.2026 08:31:53 | Хабр

День 1556: с начала 2026 года на российский рынок не вышло ни одного иностранного бренда — впервые за несколько лет
29.05.2026 08:30:36 | vc.ru

Как тестируют кодинг-агентов в 2026 — и почему вашему продакшну нужен свой бенчмарк
29.05.2026 08:29:37 | Хабр

Ответ на статью «Почему советские программисты не сделали GTA»
29.05.2026 08:27:42 | Хабр

1C Code Bench — спустя 5 месяцев
29.05.2026 08:21:10 | Хабр

«Красный Атлас», или как создавались самые детальные карты в истории человечества
29.05.2026 08:00:48 | Хабр

Как прошла INFOSTART FRIENDS REGATA 2026 в Турции
29.05.2026 07:50:42 | Хабр

Победитель ТОП-100 CIO Владимир Крыльцов: «70% ИИ проектов не взлетают. Внедряйте ИИ туда, где понятен ROI»
29.05.2026 07:34:05 | Хабр

Obsidian Hybrid Search (OHS). MCP и CLI, которые выводят поиск по заметкам с AI-агентами на новый уровень
29.05.2026 07:30:44 | Хабр

Энтропия, которая измеряет порядок: IH-анализ находит закономерности в разнотипных данных
29.05.2026 07:30:41 | Хабр

Карго-культ аудита
29.05.2026 07:30:26 | Хабр

[Перевод] Понятие о конечных автоматах: руководство разработчика по предсказуемой логике приложений
29.05.2026 07:24:02 | Хабр

Встречаем маршруты «Прогулочный» и «Оживлённый» в Яндекс Картах, или Как мы учили модель понимать предпочтения людей
29.05.2026 07:18:09 | Хабр

Чтение на выходные: «Жесткий менеджмент: Заставьте людей работать на результат» Дэна Кеннеди
29.05.2026 07:05:37 | Хабр

Что происходит при панике в Rust: от макроса до раскрутки стека
29.05.2026 07:05:33 | Хабр

Что есть молодость, если не ясность ума
29.05.2026 07:00:52 | Хабр

Nexspence — бесплатная альтернатива Nexus Repository, которую помогал мне писать Claude Code
29.05.2026 07:00:26 | Хабр

Приручаем недетерминизм агентных систем
29.05.2026 06:37:19 | Хабр

Copilot написал трекер привычек на Laravel, а я выложил код на Github
29.05.2026 06:37:19 | Хабр

Смотреть все

НОВОСТИ

Бывший мэр Одессы раскритиковал запреты русскоязычных песен
01.07.2026 00:23:25 | Lenta.ru

Замсекретаря СБ РФ: Россия не ведет прямых контактов с США
01.07.2026 00:21:27 | ТАСС

Как изменится жизнь с 1 июля 2026: пенсии больше, компенсации урезали, штрафы за ремонт, сделки по биометрии
01.07.2026 00:20:00 | Life.ru

Куман объявил об уходе с поста главного тренера сборной Нидерландов
01.07.2026 00:19:16 | ТАСС

Белоруссия начинает опытно-промышленную эксплуатацию цифрового рубля
01.07.2026 00:18:13 | ТАСС

FAZ: В НАТО не смогли согласовать военную помощь Киеву из-за позиции Италии
01.07.2026 00:16:00 | Российская Газета

Европа должна платить: США требуют от союзников выполнить обещание по расходам на оборону
01.07.2026 00:16:00 | Life.ru

ТАСС: Миронов, Бабаков и ветеран СВО возглавят список СР на выборах в Думу
01.07.2026 00:15:46 | ТАСС

Совфед рассмотрит закон о военных с инвалидностью
01.07.2026 00:14:15 | ТАСС

В Белоруссии установилась аномально жаркая погода
01.07.2026 00:14:14 | ТАСС

Телеканал Ру.ТВ запустил конкурс клипов на национальных языках "Страна звучит"
01.07.2026 00:12:59 | ТАСС

В России вступил в силу новый ГОСТ на тетради
01.07.2026 00:11:57 | ТАСС

Сын Лукашенко получил диплом топового китайского вуза
01.07.2026 00:11:29 | Lenta.ru

"Зеленый" стандарт для многоквартирных домов вступил в силу в РФ
01.07.2026 00:10:30 | ТАСС

Поезда из Волховстроя временно будут прибывать в Рыбацкое
01.07.2026 00:08:11 | ТАСС

Поезда из Волховстроя из-за строительства ВСМ временно будут прибывать в Рыбацкое
01.07.2026 00:08:11 | ТАСС

В Москве и Подмосковье ожидается жара
01.07.2026 00:07:30 | ТАСС

Правила предоставления микрозаймов ужесточили для МФО в России
01.07.2026 00:07:06 | ТАСС

Новости СВО 1 июля: Пали Ровное и Лесное, штурм Николаевки, 150 боевиков полегло на Сумщине, Сырский в панике из-за прорыва РФ к Чернигову
01.07.2026 00:07:00 | Life.ru

Приказ о новом лимите на легионеров в РПЛ вступает в силу с 1 июля
01.07.2026 00:05:41 | ТАСС

1 июля: какой праздник отмечают в России и мире
01.07.2026 00:05:14 | Lenta.ru

«Они заплатят огромную цену». Финляндия изменила конституцию, чтобы разместить у себя ядерное оружие. К чему приведет это решение?
01.07.2026 00:05:09 | Lenta.ru

Боец Илюхин спас сослуживцев, перехватив и посадив беспилотник ВСУ
01.07.2026 00:05:06 | ТАСС

Закон о сделках с недвижимостью при помощи биометрии вступает в силу с 1 июля
01.07.2026 00:04:52 | ТАСС

"Капремонт" государства: Казахстан начал жить по новой конституции
01.07.2026 00:04:05 | ТАСС

Конец эпохи Макрона: Во Франции назвали даты президентских выборов
01.07.2026 00:03:45 | Life.ru

ГД: эксперимент с RuID для иностранцев будет действовать до конца 2027 года
01.07.2026 00:03:41 | ТАСС

ГД: эксперимент с RuID для иностранцев будет действовать конца 2027 года
01.07.2026 00:03:41 | ТАСС

Завершился переходный этап для уплаты обеспечительного платежа по СПОТ
01.07.2026 00:03:36 | ТАСС

Банки в РФ будут обмениваться ИНН клиентов при переводах и платежах через СБП
01.07.2026 00:03:09 | ТАСС

Вступил в силу ГОСТ, снижающий требования к высоте пены в пивных напитках
01.07.2026 00:03:08 | ТАСС

В РФ начал действовать ГОСТ на пивные напитки, снижающий требования к высоте пены
01.07.2026 00:03:08 | ТАСС

В Кыргызско-Российском Славянском университете проводят реструктуризацию
01.07.2026 00:03:00 | Российская Газета

Соглашение РФ и Финляндии об избежании двойного налогообложения приостановлено с 1 июля
01.07.2026 00:02:56 | ТАСС

Закон о запуске нового вида страхования с инвестдоходностью вступил в силу с 1 июля
01.07.2026 00:02:38 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro