Когда чат-бот продаёт Chevrolet за доллар: как тестировать и мониторить LLM-приложения

19.06.2026 11:16:51 | Хабр

Хабы: Блог компании Конференции Олега Бунина (Онтико), Машинное обучение, Тестирование IT-систем, Natural Language Processing

Генеративные модели разблокировали огромное количество новых продуктов и новых фич в уже существующих. Поиграться с ними успел, кажется, каждый. И сценарий почти всегда повторяется: команда быстро собирает прототип на внешнем API, выкатывает его в продакшен, продукт начинает приносить ценность, а вместе с ценностью приходит и тревога. Работает ли всё так, как мы ожидали? В этот момент хочется уже не угадывать, а измерять.

Эта статья про то, как измерять. Точнее, про то, как тестировать и мониторить адаптивные LLM-системы в продакшене и до него, чтобы убедиться: ассистент ведёт себя так, как задумано.

Подробнее

Читайте также

Нейросеть Krea 2: Как создавать шедевры, промпты, гайд по доступу из России
19.06.2026 11:11:27 | Хабр

Георадар раскрыл неизвестные захоронения в Троице-Сергиевой лавре
19.06.2026 11:09:06 | ferra.ru

Девять лет, 514 коммитов и один посёлок: как я делал приложение с расписанием автобусов
19.06.2026 11:05:58 | Хабр

T2M Bridge, часть 2: как я написал Java‑библиотеку для Telegram Bot API вместе с Codex — уже примерно 50/50
19.06.2026 11:01:21 | Хабр

30 кастдевов сэкономили мне месяцы разработки… (и похоронили первоначальную идею)
19.06.2026 10:59:34 | Хабр

T2M Bridge, часть 1: как я написал Java‑библиотеку для MAX Bot API с помощью Codex
19.06.2026 10:54:33 | Хабр

Оптимизация прикладного решения «1С:ERP.УХ + ПАП» на крупном проекте
19.06.2026 10:54:12 | Хабр

Вопрос про университет 2035
19.06.2026 10:51:17 | Хабр

Невыразимое невалидное. Часть 1. Данные
19.06.2026 10:48:26 | Хабр

Кресло — лучший подарок, или Как я провёл три месяца в мастерской
19.06.2026 10:47:46 | Хабр

Смарт-часы, которые реально держат месяц: обзор на Blackview W90 Pro
19.06.2026 10:46:59 | Хабр

В 2 раза ускорил компиляцию Unity на том же железе
19.06.2026 10:46:28 | Хабр

Российский рынок промышленной робототехники вырастет с 78 до 630 млрд рублей
19.06.2026 10:38:38 | it-world

Роль актива: от простого учёта до автоматизации
19.06.2026 10:38:11 | Хабр

Ученые КБГУ создали добавку для повышения пожарной стойкости ПВХ
19.06.2026 10:38:11 | ferra.ru

SpaceX запланировала разместить облигации на $20 млрд, чтобы погасить кредит на покупку xAI — СМИ
19.06.2026 10:16:28 | vc.ru

Epic Games добавит перенос «скинов» из одной игры в другую
19.06.2026 09:59:50 | ferra.ru

От потоков к корутинам: как и почему видоизменились примитивы синхронизации в языке Kotlin (Часть 2)
19.06.2026 09:44:37 | Хабр

Новый подход к микроэлектронике
19.06.2026 09:44:08 | Хабр

Устанавливаем Digital Q.DataBase 18.2 на Astra Linux: PostgreSQL, MS SQL и Oracle в одной СУБД
19.06.2026 09:43:40 | Хабр

Поведение толпы по-простому: от стай скворцов до тысячи юнитов в кадре
19.06.2026 09:41:39 | Хабр

Доказательство недоказуемого или о светофоре Ангера замолвите слово
19.06.2026 09:37:48 | Хабр

Архитектура MRC для создания AI/ML-сетей любого масштаба: обзор технологии
19.06.2026 09:34:38 | Хабр

Когда исчезает ROI из коммерческих проектов автоматизации
19.06.2026 09:31:29 | Хабр

Жизненный цикл API
19.06.2026 09:24:46 | Хабр

Как я выстроил систему для работы с контентом
19.06.2026 09:23:05 | Хабр

Поддержка AM5 до 2029 года, но есть ли в этом смысл
19.06.2026 09:22:31 | Хабр

Потратил полгода на обучение своей ии с нуля, вот что вышло
19.06.2026 08:57:29 | Хабр

Как забытые JVM ломали наш CI (и как мы это починили)
19.06.2026 08:52:38 | Хабр

История о том, как мультикаст IGMP‑запрос перестал быть запросом и стал broadcast‑штормом
19.06.2026 08:50:27 | Хабр

5 когнитивных искажений, которые убивают конверсию
19.06.2026 08:50:24 | Хабр

Из 360°-панорамы авто в настоящий 3D: Gaussian Splatting на чужих фотографиях машин
19.06.2026 08:40:57 | Хабр

День 1577: Минфин отказался от расширения налоговых льгот для электроники, роботов и беспилотных систем
19.06.2026 08:31:25 | vc.ru

Как Angular v22 решил проблему дублирующихся host directives
19.06.2026 08:14:43 | Хабр

Паттерны и подходы разработки, о которых все говорят — на примере .NET
19.06.2026 08:11:57 | Хабр

Смотреть все

НОВОСТИ

Появились подробности о смерти 25-летней женщины в сауне в центре Москвы
04.09.2026 16:24:26 | Lenta.ru

Нарышкин: народ РФ ответит консолидацией на все враждебные выпады Украины и Запада
04.09.2026 16:23:31 | ТАСС

Нарышкин: ЕС превращается в русофобскую группировку
04.09.2026 16:23:19 | ТАСС

Нарышкин: страны ЕС почти в полный рост участвуют в боевых действиях на стороне Украины
04.09.2026 16:23:14 | ТАСС

Нарышкин: Запад пытается вбить клин между странами постсоветского пространства
04.09.2026 16:22:59 | ТАСС

Нарышкин: Киев при поддержке западных спонсоров пытается расшатать ситуацию в РФ
04.09.2026 16:22:31 | ТАСС

Россиянам раскрыли признаки жертвы мошенников
04.09.2026 16:22:09 | Lenta.ru

ВСУ атаковали кафе в Энергодаре в обеденное время
04.09.2026 16:22:01 | ТАСС

RMF24: В Польше гражданам начали рассылать мобилизационные карточки
04.09.2026 16:22:00 | Российская Газета

Нарышкин: спецслужбы СНГ на постоянной основе обмениваются разведывательной информацией
04.09.2026 16:21:57 | ТАСС

50 оргазмов в день: Офисные работники оказались подвержены «вечному возбуждению», и это совсем не приятно
04.09.2026 16:21:36 | Life.ru

СВР заявила о дестабилизации обстановки у границ СНГ странами Запада
04.09.2026 16:21:21 | Life.ru

Нарышкин: РФ обнаруживает европейских военнослужащих на поле боя
04.09.2026 16:21:08 | ТАСС

Нарышкин: Киев находится в панике и боится "очень скорого поражения"
04.09.2026 16:21:07 | ТАСС

ВС России нанесли удар по зданию СБУ в центре Киева
04.09.2026 16:21:00 | Российская Газета

Нарышкин: НАТО моделирует блокирование Калининградской области
04.09.2026 16:20:51 | ТАСС

Нарышкин: Запад милитаризирует Балтийский регион и нагнетает напряженность
04.09.2026 16:20:45 | ТАСС

В Башкирии отправили под домашний арест напавшего на одноклассника с ножом
04.09.2026 16:20:41 | ТАСС

Полиция Германии получила письмо с признаниями в диверсиях
04.09.2026 16:20:00 | Lenta.ru

Москвич напал с ножом на бывшую жену, пока их внук выгуливал собаку
04.09.2026 16:19:36 | Life.ru

Фестиваль "Сделано в России" в Тяньцзине посетили более 1 млн человек
04.09.2026 16:19:18 | ТАСС

Дрон целился в окно Поклада: Зеленский подтвердил удар по зданию СБУ в Киеве
04.09.2026 16:18:12 | Life.ru

Ким Чен Ын призвал особо уважать учителей
04.09.2026 16:17:00 | Российская Газета

Известная российская блогерша объявила о разводе
04.09.2026 16:16:15 | Lenta.ru

В партии Санду заявили, что пока не выдвинули кандидата на выборы главы Гагаузии
04.09.2026 16:15:50 | ТАСС

В "Нацобъединении" пообещали "перекрыть кран" финансированию Киева
04.09.2026 16:15:21 | ТАСС

Зеленский: в центре Киева в главном здании СБУ произошел взрыв
04.09.2026 16:15:12 | ТАСС

Хакеры узнали количество мобилизованных в ВСУ за "бесплатный маникюр"
04.09.2026 16:15:00 | Российская Газета

Семья из РФ застряла в Турции с малышкой из-за диагноза врача, страховщики отказали им в компенсации
04.09.2026 16:14:56 | Life.ru

Дрон ударил по главному зданию СБУ в Киеве
04.09.2026 16:14:31 | Life.ru

В Иране сообщили об использовании БПЛА с ИИ при ответных ударах по базам США
04.09.2026 16:14:09 | ТАСС

В Белоруссии рассказали о гранатомете с кластерным залпом
04.09.2026 16:13:59 | Lenta.ru

ОЗХО обеспокоена применением ИИ для кустарного производства химоружия
04.09.2026 16:13:47 | ТАСС

Глазки не прячь, амур не промажет: Московский зумер усмирил ссору пары с помощью перца
04.09.2026 16:13:40 | Life.ru

В Кремле ответили на вопрос о предстоящем визите Уиткоффа и Кушнера в Москву
04.09.2026 16:13:24 | Lenta.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro