AI-агент действительно ловит баги? Пусть докажет на бенчмарке

17.05.2026 17:52:02 | Хабр

Хабы: Искусственный интеллект, Качество кода, Тестирование IT-систем, Тестирование веб-сервисов

Привет! Это снова Михаил Федоров. В первой статье — архитектура QA Assist: 11 AI-агентов от декомпозиции требований до готовых автотестов. Во второй — как «4 часа подключения» превращаются в неделю корпоративной реальности. В третьей — почему пирамида тестирования ломается, когда тест-дизайнером работает LLM. Сегодня — про то, как я решил наконец-то перестать оценивать агента «на глаз» и собрал отдельный проект-бенчмарк, на котором можно честно сравнивать прогоны: версии агента, отдельные «улучшалки», даже эксперименты с моделями. В качестве бонуса покажу все артефакты, которые агент готовит за один прогон пайплайна. И бенчмарк, и артефакты — в публичном доступе, ссылки в конце статьи. Обсудить всё это можно в Telegram-группе.

Подробнее

Читайте также

IT-Weekly: волна контрафактных комплектующих; Astra Cloud на российских процессорах
17.05.2026 17:33:40 | it-world

Google ужесточил правила против манипуляций в ИИ-поиске
17.05.2026 17:32:52 | ferra.ru

Создаем клиентскую библиотеку ROS2. Элементы ноды
17.05.2026 17:32:38 | Хабр

День 1544: в Подмосковье временно закрыли ТРЦ «Мега Химки» на фоне сообщений об атаках БПЛА
17.05.2026 17:08:47 | vc.ru

Telegram замедляют, а мы запустили мессенджер с Asana внутри. Без шуток
17.05.2026 17:06:58 | Хабр

AI-агенты в разработке: как Cursor, Claude Code и агентный подход меняют работу программиста
17.05.2026 16:57:23 | Хабр

Ростех покажет на ЦИПР более 30 цифровых решений для промышленности
17.05.2026 16:55:48 | ferra.ru

Резюме как Root Cause Analysis
17.05.2026 16:43:15 | Хабр

Геометрия Attention: почему QK Norm это не просто костыль для стабильности, а способ заставить сеть понимать смысл
17.05.2026 16:37:59 | Хабр

GLM-5.1 придумал для меня новый алгоритм
17.05.2026 16:31:52 | Хабр

Обход блокировок на OpenWRT с помощью HomeProxy-hiddify (hiddify-core) и баз GeoIP, Geosite Re:filter
17.05.2026 16:13:53 | Хабр

На ЦИПР покажут криптобиокабину «Портал Родина»
17.05.2026 15:55:49 | ferra.ru

ИИ в строительстве: с чего начать внедрение
17.05.2026 15:19:01 | Хабр

В отместку за увольнение сотрудники Opexus удалили 96 правительственных баз данных США — но забыли закрыть звонок в Teams
17.05.2026 14:56:59 | vc.ru

В Общественной палате предложили привлекать детей к разработке обучающих игр
17.05.2026 14:56:01 | ferra.ru

Немного извращений из мира прокси и VPN
17.05.2026 14:27:36 | Хабр

«Продай мне этот космолёт» или история любви к симуляторам. От космосима X-Tension до ActorModel/DoD/ECS архитектуры. Ч2
17.05.2026 14:26:15 | Хабр

MELT-1: трансформер 7B сдыхает за 11 часов, а наш агент живёт 95
17.05.2026 14:21:58 | Хабр

А что не так с вашими миграциями? Liquibase, rollback и первые тревожные признаки
17.05.2026 14:18:10 | Хабр

Как Vision-Language Models учатся работать с 3D-миром
17.05.2026 14:05:05 | Хабр

Ил-114-300 завершил арктические испытания в условиях Крайнего Севера
17.05.2026 13:55:59 | ferra.ru

Подружитесь со своим ассистентом
17.05.2026 13:53:39 | Хабр

Китайские платформы внедрят ИИ-агентов для изменения онлайн-шопинга
17.05.2026 13:36:50 | ferra.ru

SectorOS: операционная система в пределах 512 байт
17.05.2026 13:32:25 | Хабр

Рабочие способы вывести криптовалюту в рубли в 2026 г
17.05.2026 13:07:37 | Хабр

Гэри «Соло» МакКиннон: взломать Пентагон в поисках НЛО, бесплатной энергии, и чтоб никто не ушёл обиженным
17.05.2026 13:01:55 | Хабр

Работодатели больше не верят резюме
17.05.2026 13:00:00 | it-world

Новичок дороже старожила
17.05.2026 12:55:59 | Хабр

ДОМ.РФ и Москва договорились о сотрудничестве в цифровизации строительства
17.05.2026 12:55:58 | ferra.ru

Пиратство, копирайт и DMCA: как Napster, The Pirate Bay и YouTube изменили закон. Часть I
17.05.2026 12:13:30 | Хабр

Мобильная разработка за неделю #630 (11 — 17 мая)
17.05.2026 12:12:37 | Хабр

Почему мы живем в мире правшей?
17.05.2026 11:57:10 | Хабр

Российские ученые обнаружили региональные генетические мутации у народов Кавказа
17.05.2026 11:55:56 | ferra.ru

Как управлять эволюционным поиском? На примере конечных автоматов
17.05.2026 11:52:38 | Хабр

В России создали экспресс-тест на вредный пластик в товарах
17.05.2026 10:55:55 | ferra.ru

Смотреть все

НОВОСТИ

Нетаньяху и Трамп обсудили по телефону войну в Иране
17.05.2026 21:32:26 | Life.ru

Белый дом утверждает, что достиг понимания с КНР о "денуклеаризации" КНДР
17.05.2026 21:31:46 | ТАСС

На Западе обвинили Зеленского в готовности «сдать» жену для сокрытия коррупции
17.05.2026 21:31:43 | Life.ru

В Германии застрелили сбежавшего из частного вольера тигра
17.05.2026 21:30:36 | Life.ru

В российском регионе загорелись нефтепродукты возле ТЭЦ
17.05.2026 21:29:08 | Lenta.ru

Белый дом: Китай будет закупать сельхозпродукцию США на $17 млрд в год
17.05.2026 21:25:26 | Life.ru

Колосков считает, что борьба "Краснодара" и "Зенита" идет на пользу РПЛ
17.05.2026 21:25:22 | ТАСС

Зеленский обсудил с председателем Евросовета кандидатуру переговорщика с Россией
17.05.2026 21:23:33 | Lenta.ru

Семин: борьба "Краснодара" и "Зенита" показывает плохую работу других клубов
17.05.2026 21:23:15 | ТАСС

В Ульяновске на промзоне полыхают 500 «квадратов» нефтепродуктов
17.05.2026 21:22:50 | Life.ru

Сборная России по самбо выиграла медальный зачет чемпионата Европы
17.05.2026 21:21:03 | Lenta.ru

Пушилин сообщил о гибели мирного жителя в ДНР при атаке БПЛА
17.05.2026 21:20:05 | Life.ru

ПВО сбила над российскими регионами 36 дронов
17.05.2026 21:20:00 | Lenta.ru

ПВО сбила сбила над российскими регионами 36 дронов
17.05.2026 21:20:00 | Lenta.ru

Потоки грязной воды затопили улицы Днепра после мощного ливня
17.05.2026 21:19:30 | Life.ru

Вашингтон признал наличие лабораторий на Украине
17.05.2026 21:19:00 | Российская Газета

Из-за одной находки в немецком городе эвакуировали около 27 тысяч человек
17.05.2026 21:16:04 | Lenta.ru

Жапаров призвал мировых лидеров избрать Киргизию в непостоянные члены СБ ООН
17.05.2026 21:15:48 | Life.ru

Над регионами России за семь часов сбили 36 вражеских БПЛА
17.05.2026 21:13:41 | Life.ru

Сербия и Азербайджан договорились о расширении энергосотрудничества
17.05.2026 21:12:07 | Lenta.ru

Руанда закрыла границу с Демократической Республикой Конго из-за вспышки Эболы
17.05.2026 21:12:00 | Российская Газета

"Легенды, которые поют": Славянская мифология ожила на сцене Туниса
17.05.2026 21:12:00 | Российская Газета

Куба воспользуется своим правом на защиту в случае нападения
17.05.2026 21:08:46 | ТАСС

Куба заявила, что воспользуется своим правом на защиту в случае нападения
17.05.2026 21:08:46 | ТАСС

Зеленского уличили в готовности пожертвовать своей женой
17.05.2026 21:07:35 | Lenta.ru

Белый дом назвал денуклеаризацию КНДР общей целью США и Китая
17.05.2026 21:07:35 | Life.ru

В Псковской области сняли ограничения
17.05.2026 21:07:30 | ТАСС

В ДНР при ударах ВСУ погиб человек
17.05.2026 21:04:36 | ТАСС

В ДНР при ударах БПЛА погиб человек
17.05.2026 21:04:36 | ТАСС

Галактионов старается не думать о возможном уходе Батракова из "Локомотива"
17.05.2026 21:01:18 | ТАСС

Погребняк считает, что "Краснодар" сам виноват в упущенном чемпионстве
17.05.2026 21:00:20 | ТАСС

Пушилин: Российские военные вышли к Пискуновке
17.05.2026 20:59:52 | Life.ru

На Украине пациента психдиспансера забрали на фронт прямо из палаты
17.05.2026 20:59:16 | Life.ru

HBN: США уничтожили разыскиваемого по делу о взрывах у посольств в 1998 году
17.05.2026 20:58:49 | ТАСС

В ХМАО госпитализировали ребенка после нападения безнадзорной собаки
17.05.2026 20:58:14 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro