Как мы научили ИИ-агента отвечать за свои слова: 10 000 сообщений, Венгерский алгоритм и немного магии

27.05.2026 15:17:29 | Хабр

Хабы: Блог компании LLMStart.ru, Искусственный интеллект, Машинное обучение, 1С, Будущее здесь

На связи Сергей Смирнов, AI-инженер и основатель LLMStart.ru. Сегодня разбираем самое больное место разработки ИИ-агентов — как доказать, что они реально умнеют, а не просто пускают пыль в глаза.

В статье я покажу изнанку нашей системы оценки: — Как 10 000 живых переписок превратились в эталоны для тестов. — Почему стандартные метрики безжалостно валили нашего агента (и зачем нам понадобился Венгерский алгоритм из 1955 года). — И что делать, если метрика падает просто потому, что ИИ оказался умнее вашего устаревшего эталона!

Читайте полный разбор с цифрами, кейсами и откровенными провалами…

Подробнее

Читайте также

Как оживить фото нейросетью — Где бесплатно оживить старое фото через ИИ в 2026 году?
27.05.2026 15:09:02 | Хабр

VBoxGuest для KolibriOS: архитектура и устройство драйвера
27.05.2026 15:08:44 | Хабр

Я торгую саженцами на 500 заказов в год без рекламы. Маркетплейсы убили бы мой бизнес
27.05.2026 15:07:35 | Хабр

Назирокодил утилиту на Kotlin для создания аккордов в любой тональности
27.05.2026 14:54:26 | Хабр

Помидор, которого нет: почему VLA-модели не понимают, что они держат
27.05.2026 14:38:06 | Хабр

NXS Universal Chart v3.1.0: умный autoRollout, новые subcharts и MCP сервер
27.05.2026 14:21:26 | Хабр

«М.Видео» начал регистрировать партнёрские ПВЗ под своим брендом
27.05.2026 14:16:02 | vc.ru

Промты для ИИ-фотосессии: 50 готовых промтов для нейросети и идей для фото в 2026 году
27.05.2026 14:14:25 | Хабр

Кто твой клиент, если клиента нет? Исповедь Internal PO в банковском автокредитовании
27.05.2026 14:11:44 | Хабр

Программирование блока питания АКИП-1160/6
27.05.2026 14:10:04 | Хабр

Байты, нибблы, и подсветка: пишем свой TUI hex-редактор на Python
27.05.2026 14:05:53 | Хабр

С днём рождения, Хабр! Как я сходил на IT-дачу будущего
27.05.2026 14:00:56 | Хабр

«Пропал интернет — продажи встали»: популярные мифы и неудобные вопросы про облачные онлайн-кассы
27.05.2026 13:50:09 | Хабр

Как вредоносный код переписал мой Git-коммит и заразил десятки проектов и несколько рабочих машин
27.05.2026 13:29:45 | Хабр

Vivo X500 Pro не получит 200 Мп. Она достанется старшей модели
27.05.2026 13:29:42 | ferra.ru

Какие методы оценки персонала реально работают в 2026 году
27.05.2026 13:27:18 | Хабр

[Перевод] Худшее собеседование в моей жизни
27.05.2026 13:23:28 | Хабр

14 лет Solar JSOC: кто стоит за защитой от киберугроз в крупнейшем коммерческом SOC страны
27.05.2026 13:23:00 | Хабр

Где в IT джуны получают больше всего и куда пойти учиться
27.05.2026 13:20:09 | Хабр

Healthchecks в Docker Compose для Laravel: как сделать так, чтобы сервисы запускались в правильном порядке
27.05.2026 13:19:20 | Хабр

Биокомпьютер из живых нейронов: что на самом деле построила FinalSpark
27.05.2026 13:19:10 | Хабр

Знания без практики — мертвы | Разница между «декларативной» и «процедурной» памятью у LLM
27.05.2026 13:19:03 | Хабр

[Перевод] Почему мы до сих пор пользуемся Markdown?
27.05.2026 13:01:08 | Хабр

Архитектура безопасности во frontend-приложениях: Server Actions и защита данных в эпоху Next.js
27.05.2026 12:53:46 | Хабр

Bloomberg: российские авиакомпании смогли сохранить парк Airbus и Boeing благодаря теневым схемам поставок запчастей
27.05.2026 12:38:48 | vc.ru

Torque — ваши сверхспособности для отладки k8s
27.05.2026 12:31:37 | Хабр

Антипаттерны Zabbix в крупной инфраструктуре: каталог базовых граблей
27.05.2026 12:30:56 | Хабр

Мёд, крабы и чипы
27.05.2026 12:25:53 | Хабр

ИИ фото и нейросети для создания картинок в 2026: ТОП-6 моделей для генерации реалистичной фотосессии с ИИ
27.05.2026 12:22:55 | Хабр

Горячо-холодно: как определить температуру бизнеса с помощью тепловой карты BPMSoft
27.05.2026 12:18:36 | Хабр

«Насколько вы контролируете то, из чего состоит ваш продукт?». Как и зачем проводить Open Source Analysis
27.05.2026 12:11:11 | Хабр

[Перевод] Дезагрегированный инференс LLM в Kubernetes: префилл, декодирование и планирование подов
27.05.2026 12:09:08 | Хабр

Как стать Go-разработчиком с нуля? Бесплатная программа обучения
27.05.2026 12:00:52 | Хабр

Разработка эмулятора NES на отечественном микроконтроллере К1921ВГ1Т
27.05.2026 11:41:00 | Хабр

predict_proba выдаёт 0.9 — но это не вероятность 90%
27.05.2026 11:40:50 | Хабр

Смотреть все

НОВОСТИ

США ударили санкциями по новому органу Ирана для контроля Ормуза
28.05.2026 05:50:00 | Life.ru

В Хакасии вандалы уничтожили геоглиф в память о погибших в ВОВ
28.05.2026 05:47:38 | ТАСС

Эксперт Мартынов: рыбопропромысловый флот должен прийти к серийному строительству
28.05.2026 05:44:11 | ТАСС

США ввели санкции против иранского ведомства по контролю над Ормузским проливом
28.05.2026 05:43:04 | ТАСС

В Японии заявили о продолжении санкционной политики в отношении России
28.05.2026 05:41:41 | ТАСС

«Живет своей лучшей жизнью, а украинцы страдают»: Свадьба Кулебы вызвала скандал на родине
28.05.2026 05:40:29 | Life.ru

Миронов предложил отдавать часть квартир в новостройках на социальное жилье
28.05.2026 05:37:08 | ТАСС

Суд отложил рассмотрение просьбы об УДО приговоренной по делу о пожаре в "Зимней вишне"
28.05.2026 05:36:08 | ТАСС

Аэропорт Ульяновска приостановил прием и выпуск самолетов
28.05.2026 05:34:33 | ТАСС

В зоне СВО успешно используют комплексы РЭБ против дронов Vampire
28.05.2026 05:33:12 | ТАСС

Названы недостатки популярной модели Changan
28.05.2026 05:31:17 | Lenta.ru

Россиянка описала шашлыки с европейской семьей словами «я могла бы угодить в больницу»
28.05.2026 05:31:13 | Lenta.ru

Развеяны мифы о пользе натуральных и эко-продуктов
28.05.2026 05:31:10 | Lenta.ru

ТАСС: возможность поездки в РФ с чиновниками из Японии рассматривали 10 компаний
28.05.2026 05:27:47 | ТАСС

Фицо восстановил кладбище советских солдат, выполнив обещание Путину
28.05.2026 05:26:11 | Life.ru

Врач назвала способ побороть бессонницу без лекарств
28.05.2026 05:23:43 | Lenta.ru

Экс-офицера ЦРУ с допуском к гостайне обвиняют в краже $40 млн золотом
28.05.2026 05:20:00 | Life.ru

Азаров объяснил, почему Запад не хочет эвакуировать своих граждан из Киева
28.05.2026 05:18:00 | Российская Газета

Боец Джин рассказал, как танк ВС РФ сдержал более 50 попаданий дронов ВСУ
28.05.2026 05:16:54 | ТАСС

Гуменник, Лутчак и солист "Бонда с кнопкой" вошли в рейтинг Forbes "30 до 30"
28.05.2026 05:16:45 | ТАСС

На Украине назвали причину отказа западных стран проводить эвакуацию по совету России
28.05.2026 05:16:00 | Lenta.ru

WSJ: в США хотят финансировать несколько компаний по производству БПЛА
28.05.2026 05:13:14 | ТАСС

США нужно три года на восстановление запасов ракет после ударов по Ирану
28.05.2026 05:13:12 | Life.ru

В "Авито" рассказали, что россияне считают главными факторами успеха в работе
28.05.2026 05:12:46 | ТАСС

ФПА: адвокатское сообщество выступает против отмены моратория на смертную казнь
28.05.2026 05:11:01 | ТАСС

Марочко: биолаборатории США размещены на Украине из-за дешевой рабочей силы
28.05.2026 05:08:12 | ТАСС

В Сочинском нацпарке число выходов медведей к населенным пунктам выросло вдвое
28.05.2026 05:07:55 | ТАСС

Амурская область расширяет сотрудничество с КНР, реализуя масштабные проекты
28.05.2026 05:06:00 | Российская Газета

Боец Мафон: ВС РФ растягивали и отвлекали силы ВСУ в Воздвижевке
28.05.2026 05:05:36 | ТАСС

Замкомандира Мафон: бойцы РФ заходили в Воздвижевку сквозь боевые порядки ВСУ
28.05.2026 05:05:09 | ТАСС

Замкомандира Мафон: бойцы "Востока" заходили в Воздвижевку сквозь боевые порядки ВСУ
28.05.2026 05:05:09 | ТАСС

США понадобятся годы для восполнения израсходованных в конфликте с Ираном ракет
28.05.2026 05:05:00 | Российская Газета

AP: власти США попросили прокуроров не вести расследований против Родригес
28.05.2026 05:04:49 | ТАСС

Боец Мафон: ВС РФ тараном очищали небо от дронов ВСУ над Воздвижевкой
28.05.2026 05:04:39 | ТАСС

Боец Робот: оборону в Воздвижевке удерживали спецподразделения ВСУ
28.05.2026 05:04:23 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro