Evals: мегастатья для фаундера, чей AI-агент работает как попало

06.04.2026 12:03:03 | Хабр

Хабы: Машинное обучение, Управление продуктом

Через несколько дней будет 16 лет, как я на Хабре. Это моя первая статья.

Я делаю десктопный AI-ассистент для встреч. Агент суммаризирует транскрипты — и делал это плохо: галлюцинирует решения, теряет задачи, путает кто что сказал. Полгода я чинил промпты по ощущениям — менял слово, смотрел глазами на пару примеров, говорил «вроде лучше», деплоил. Это называется vibes-based development, и это тупик.

Потом я разобрался с evals — по сути, тестами для недетерминированных систем. Перелопатил Hamel Husain, Eugene Yan, гайды Anthropic, доку Mastra. Написал всё в одном месте: мегастатья от ручного разбора ошибок до self-improving loops, где агент улучшает себя сам за ночь. С кодом, граблями и метафорами про пиццу.

Подробнее

Читайте также

Зачем нужен таргетолог?
06.04.2026 11:56:18 | Хабр

[Перевод] ИИ-агенты научились спать
06.04.2026 11:35:10 | Хабр

В фокусе RVD: трендовые уязвимости марта
06.04.2026 11:32:23 | Хабр

Сделайте себе нормальный логотип: 13 AI-сервисов — от бесплатных до профессиональных
06.04.2026 11:30:14 | Хабр

1С DevCon 2026: Шина, КХД, Аналитика и другие заметки с конференции
06.04.2026 11:28:00 | Хабр

MCP не умер: почему ИИ-агенты тонут в контексте
06.04.2026 11:22:59 | Хабр

CUBA: почему она спасала мои хакатоны и убивала мои продакшн-проекты
06.04.2026 11:21:25 | Хабр

Пишем свой диалект LISP
06.04.2026 11:16:17 | Хабр

NextAuth + Django JWT без второй авторизации и ручного хаоса токенов
06.04.2026 11:09:15 | Хабр

Wildberries уравняет комиссии для российских и китайских продавцов
06.04.2026 10:55:34 | vc.ru

Как DNS-фильтрация защитила от компрометации axios в реальном кейсе
06.04.2026 10:46:53 | Хабр

Кандидаты наносят ответный удар: как ИИ научился обходить фильтры найма
06.04.2026 10:33:06 | Хабр

Почему мы перерабатываем или зэк, еврей и курево
06.04.2026 10:24:11 | Хабр

Недельный геймдев: #272 — 5 апреля, 2026
06.04.2026 10:18:44 | Хабр

Модальные окна в React: архитектура управления для сложных интерфейсов
06.04.2026 10:16:10 | Хабр

Пять лет HR IMPACT: не про статуэтки, а про людей, которые меняют бизнес
06.04.2026 10:15:05 | Хабр

«Госуслуги» будут верифицировать пользователей кикшеринга
06.04.2026 10:11:07 | it-world

Ретро-консоль в руках программиста
06.04.2026 10:05:06 | Хабр

РБК: Минцифры разослало крупным ИТ-компаниям методичку по выявлению VPN на устройствах пользователей — и признало, что на iPhone эти возможности «существенно ограничены»
06.04.2026 09:57:14 | vc.ru

РБК: Минцифры разослало крупным ИТ-компаниям «методичку» по выявлению VPN на устройствах пользователей — и признало, что на iPhone эти возможности «существенно ограничены»
06.04.2026 09:57:14 | vc.ru

Минцифры и кикшеринги задумались о внедрении верификации через Госуслуги для аренды электросамокатов
06.04.2026 09:55:21 | vc.ru

Технический долг — это не IT-проблема. Это управленческий кредит, который никто не собирался возвращать
06.04.2026 09:46:03 | Хабр

Большие языковые модели на практике – международный бестселлер теперь на русском языке
06.04.2026 09:43:58 | Хабр

Цифровой двойник, SDD и Agentic RAG: эволюция корпоративной архитектуры банка изнутри
06.04.2026 09:41:18 | Хабр

ИИ для создания контента: полный разбор инструментов 2026
06.04.2026 09:27:39 | Хабр

Промпты которые реально работают: полный разбор с примерами 2026
06.04.2026 09:24:38 | Хабр

Как я за 15 лет устал диагностировать серверы руками и сделал инструмент, который делает это за 60 секунд
06.04.2026 09:16:58 | Хабр

Учительская рутина: как я автоматизировал Дневник.ру
06.04.2026 09:13:27 | Хабр

Как стать фотографом: моя личная история и опыт первых шагов
06.04.2026 09:07:00 | Хабр

На что способна новая модель NVIDIA — Nemotron 3 Super 120B. Бенчмарки, тесты и интеграция в Luxms BI
06.04.2026 09:06:04 | Хабр

Раз конфиг, два конфиг, или Как устроена система управления сервисом Cloud Interconnect
06.04.2026 09:05:55 | Хабр

Не настраивайте локальное окружение вручную. Devcontainers — уже пора! Часть первая
06.04.2026 09:00:53 | Хабр

TROUVER E20s Pro Plus: полная автономность в компактном формате
06.04.2026 08:54:00 | it-world

ClickHouse не тормозит, но заставляет глаз дергаться. CTE
06.04.2026 08:43:55 | Хабр

Сеньор без AI — это новый джун
06.04.2026 08:33:10 | Хабр

Смотреть все

НОВОСТИ

Мадьяр призвал президента уйти в отставку
09.05.2026 16:53:02 | Lenta.ru

«Я плачу!»: Айза обратилась к фанатам после пластики в Южной Корее
09.05.2026 16:52:57 | Life.ru

Ушаков рассказал о реакции в столицах мира на предупреждения Москвы в адрес Киева
09.05.2026 16:51:15 | Lenta.ru

Путин и президент Лаоса проводят переговоры в Кремле
09.05.2026 16:49:45 | ТАСС

В Москве на Поклонной горе прошли праздничные мероприятия в честь Дня Победы
09.05.2026 16:49:42 | ТАСС

В Чехии почтили память отдавших жизни за освобождение Европы красноармейцев
09.05.2026 16:49:17 | ТАСС

В Бурятии самолет Ан-2 аварийно сел на грунт из-за технической неисправности
09.05.2026 16:48:15 | Коммерсантъ

Ушаков назвал неподкрепленной надежду Трампа на то, что Киев не будет нарушать перемирие
09.05.2026 16:47:55 | ТАСС

«Бессмертный полк» в Пекине собрал более 800 человек у стен посольства России
09.05.2026 16:46:39 | Life.ru

В Чечне шесть человек пострадали в результате атаки БПЛА ВСУ
09.05.2026 16:46:18 | Lenta.ru

Удары по 18 регионам и 8 970 нарушений перемирия. Данные Минобороны
09.05.2026 16:45:29 | ТАСС

Ушаков надеется, что Трамп будет дисциплинировать Украину в вопросе перемирия
09.05.2026 16:44:20 | ТАСС

«Праздник со слезами на глазах»: Марк Тишман возложил цветы у Вечного огня в Челябинске
09.05.2026 16:44:19 | Life.ru

Транспорт в Москве украсили ко Дню Победы
09.05.2026 16:44:04 | ТАСС

Итальянского журналиста Федерико Арнальди восхитила атмосфера в России 9 Мая
09.05.2026 16:41:45 | Life.ru

Ушаков: на обмен пленными между РФ и Украиной требуется время
09.05.2026 16:41:29 | ТАСС

Сын ветерана СВО из Тувы поступил в кадетское училище после встречи с Путиным
09.05.2026 16:41:23 | Life.ru

Ушаков: в течение дня службы активно работают со списками военнопленных
09.05.2026 16:41:06 | ТАСС

Липецкие «моржи» отметили День Победы заплывом в восьмиградусной воде
09.05.2026 16:40:58 | Life.ru

В Бурятии аварийно сел самолет
09.05.2026 16:39:51 | Lenta.ru

Ушаков: Путин не раз говорил, что если Зеленский хочет встречи, то он готов его принять
09.05.2026 16:39:49 | ТАСС

Ушаков: РФ и США два дня вели переговоры по перемирию в честь Дня Победы
09.05.2026 16:38:57 | ТАСС

Ушаков: РФ и США два дня вели переговоры по перемирию на Украине в честь Дня Победы
09.05.2026 16:38:57 | ТАСС

«Матушка-земля» заиграла под Киевом
09.05.2026 16:37:55 | Lenta.ru

Посол РФ в ФРГ: Россия помнит и не замалчивает вклад союзников в Победу
09.05.2026 16:37:26 | ТАСС

В аэропорту Кольцово сыграли военные композиции
09.05.2026 16:37:23 | ТАСС

Из ЦЭНКИ на СВО ушли 62 работника
09.05.2026 16:35:14 | ТАСС

«Стресс или заболевание»: Врач оценил состояние сильно исхудавшей Миллы Йовович
09.05.2026 16:34:39 | Life.ru

Сайт Пентагона с секретными файлами об НЛО за 12 часов посетили 340 млн человек
09.05.2026 16:34:01 | Life.ru

Лихачев: Пуск седьмого энергоблока Тяньваньской АЭС ожидается в мае
09.05.2026 16:34:00 | Российская Газета

Жители Тульской области посетили мемориал «Скорбящий воин»
09.05.2026 16:33:48 | Lenta.ru

На Пискаревское кладбище в День Победы пришли сотни петербуржцев
09.05.2026 16:32:58 | ТАСС

В Британии сделали неожиданное заявление о перемирии по случаю Дня Победы
09.05.2026 16:32:35 | Lenta.ru

Истощён, но жив: На Ладоге спасатели вывезли с острова раненую нерпу
09.05.2026 16:32:35 | Life.ru

Данил Лаврентьев взял золото турнира Большого шлема по дзюдо в Астане
09.05.2026 16:31:19 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro