Harness Bench: как оценить агентский harness и выбрать связку с моделью

30.06.2026 11:30:03 | Хабр

Хабы: Блог компании red_mad_robot, Natural Language Processing, Python, Open source

Привет! Я Андрей Иванов, NLP-исследователь в R&D-лаборатории red_mad_robot.

Когда мы собираем AI-агента, первым делом выбираем модель под задачу. Но в реальном приложении она не работает в одиночку, ей нужен агентский harness — программная обвязка. Поэтому выбирать приходится не просто модель, а связку «модель + harness».

Чтобы делать этот выбор осознанно, мы создали Harness Bench — открытый фреймворк, который тестирует связки на реальных задачах в одинаковых условиях. В статье расскажу, как он устроен, разберу баги опенсорсных обвязок, которые ломают автоматический прогон, а потом покажу на цифрах, как смена harness влияет на способности одной и той же модели.

Подробнее

Читайте также

Потеря инженерной памяти объекта
30.06.2026 11:29:39 | Хабр

Агенты удаляют файлы, сливают данные и сами себя взламывают: как устроена безопасность ИИ‑систем в 2026 году
30.06.2026 11:19:32 | Хабр

Эволюция similar-рекомендаций: как мы переосмыслили ленту похожих товаров
30.06.2026 11:17:01 | Хабр

Роковая ошибка Германа Грефа: он не боится ИИ
30.06.2026 11:16:22 | Хабр

Замена экрана складного Vivo X Fold 6 обойдется примерно в 560 долларов
30.06.2026 11:15:06 | ferra.ru

Социальная инженерия против подростков: почему «цифровое поколение» разводят чаще пенсионеров
30.06.2026 11:07:23 | Хабр

Как появилось слово ВИДЕОАНАЛИТИКА?
30.06.2026 10:59:59 | Хабр

Рендеринг миллионов динамических связей: O(1) вместо O(N²) (но это не точно)
30.06.2026 10:59:40 | Хабр

Whoosh введёт обязательное обучение правилам езды на самокате для новых пользователей — за его прохождение сервис будет единоразово начислять бонусы для оплаты поездки
30.06.2026 10:57:34 | vc.ru

История о том, как я в Debian машину времени вкрячивал
30.06.2026 10:57:33 | Хабр

Анонимность в интернете, OSINT и цифровой след: почему спрятаться нельзя, но можно усложнить поиск
30.06.2026 10:53:39 | Хабр

Шаблон ТЗ для проектирования REST API: готовый инструмент для аналитика
30.06.2026 10:52:58 | Хабр

Актуальные киберугрозы веб-приложений и инфраструктуры разработки
30.06.2026 10:47:04 | Хабр

Enterprise методы на службе Linux геймеров. Собираем Mesa3D драйвера в Podman
30.06.2026 10:44:32 | Хабр

Кто такие разработчики баз данных и сколько они зарабатывают
30.06.2026 10:42:04 | Хабр

Как мы не обожглись на быстрых ML-экспериментах: опыт с 10% аудитории, холиварами с аналитиками и «лампой для лишая»
30.06.2026 10:38:59 | Хабр

Виртуальные диски MWS Cloud Platform: храним данные легко и блочно
30.06.2026 10:37:48 | Хабр

Базу IMEI мобильных телефонов будут использовать в том числе для блокировки украденных, потерянных или незаконно ввезённых устройств
30.06.2026 10:15:05 | vc.ru

Что думают ТОП-компании при AI-native пересборку команд и оргструктуры на
30.06.2026 09:58:50 | Хабр

Асинхронность NIO и Kotlin — а есть ли связь?
30.06.2026 09:57:39 | Хабр

Дронопорт: что это вообще такое и зачем он нужен бизнесу
30.06.2026 09:57:18 | Хабр

AI-агент — это LLM в цикле на двадцать строк. Сложное начинается дальше
30.06.2026 09:52:09 | Хабр

Система управления проектами+ EasyBI: как мы превратили задачи в метрики, а метрики — в решения
30.06.2026 09:50:40 | Хабр

OpenAI анонсировала контроллер с несколькими кнопками для работы с Codex
30.06.2026 09:48:16 | vc.ru

FinOps на практике. Серия 1: С чего реально начинается реальная экономия на облаке
30.06.2026 09:39:10 | Хабр

Как я за неделю перевела десктоп-парсер на SaaS, потому что Яндекс ввёл платный API
30.06.2026 09:36:22 | Хабр

ИИ-ассистент на базе Hermes Agent в Telegram: для саппорта, семьи, пет-проектов и не только
30.06.2026 09:31:46 | Хабр

Google ограничила доступ Meta* к своим ИИ-моделям
30.06.2026 09:15:05 | ferra.ru

В некоторых российских регионах таксисты стали реже выходить на линию из-за дефицита топлива
30.06.2026 09:12:20 | vc.ru

8000 мА·ч в тонком корпусе за 17 000 рублей: realme C100x появился в России
30.06.2026 09:00:04 | ferra.ru

Kling в России: как оживлять фото без VPN в 2026 году. Полная инструкция
30.06.2026 08:59:22 | Хабр

Маркетинг Гайд — как маркетологу принимать решения на основе данных (Data driven философия)
30.06.2026 08:57:43 | Хабр

Лучшие нейросети для картинок в 2026. Сравнение Midjourney, Qwen, FLUX, Nano Banana, GPT и Grok на одних промптах
30.06.2026 08:56:14 | Хабр

После прочтения сжечь. Как устроен zero-knowledge сервис, где сервер не видит ключ
30.06.2026 08:50:13 | Хабр

ChatGPT -> Codex CLI: как перенести контекст диалога в локальную сессию
30.06.2026 08:47:15 | Хабр

Смотреть все

НОВОСТИ

Путин посетил недавно открывшуюся Volga Арену в Нижнем Новгороде
28.08.2026 18:43:16 | Life.ru

«Страх притупляется»: Что толкнуло школьниц на убийство мальчика в Подмосковье — разбор психиатра
28.08.2026 18:42:50 | Life.ru

Россия ударила по задействованному в создании ракет «Фламинго» химпредприятию под Киевом
28.08.2026 18:42:25 | Lenta.ru

Президент ДРК объявил о начале Национального диалога ради мира
28.08.2026 18:41:00 | Российская Газета

Медведев: Никаких планов мобилизации в России нет
28.08.2026 18:40:36 | Life.ru

Журналиста-иноагента Невзорова заочно арестовали
28.08.2026 18:39:11 | Коммерсантъ

Сестра задержанной за расправу над ребенком школьницы рассказала о ней
28.08.2026 18:38:44 | Lenta.ru

Российские подростки заманили 10-летнего мальчика на заброшку, столкнули в подвал и избили
28.08.2026 18:37:15 | Lenta.ru

Жителей Карелии радушно встретили в "Белорусской деревне"
28.08.2026 18:37:00 | Российская Газета

Отец и сын захлебнулись в навозе
28.08.2026 18:36:34 | Lenta.ru

Буданов заявил об угрозе создания почвы для раскола Украины
28.08.2026 18:36:00 | Lenta.ru

«Своё и передовое»: Путин напомнил, как российские инженеры опережали время
28.08.2026 18:35:34 | Life.ru

Один двигатель на весь мир: ИИ-бум неожиданно стал опорой глобальной экономики
28.08.2026 18:33:51 | Life.ru

Специальности, которых ещё нет: Путин анонсировал новый атлас профессий
28.08.2026 18:33:35 | Life.ru

Путин потребовал обеспечить спрос на российскую продукцию по всей стране
28.08.2026 18:33:11 | Lenta.ru

Рабочий разговор на Волге: Путин встретился с Никитиным
28.08.2026 18:32:54 | Life.ru

«ВКонтакте» обновила мобильную версию сайта до уровня приложения
28.08.2026 18:31:55 | Lenta.ru

«Нарву» не успевают пройти около 50 человек: На эстонской границе снова толпятся люди
28.08.2026 18:31:48 | Life.ru

Названы пять годами развивающихся без симптомов опасных заболеваний
28.08.2026 18:31:36 | Lenta.ru

В ДРК медиков начали прививать от Эболы вакциной от другого штамма
28.08.2026 18:30:00 | Российская Газета

Тест: Продолжить 7 песен Анны Герман сможет лишь тот, кто слышал их сердцем! Не опозорьтесь
28.08.2026 18:30:00 | Life.ru

Бритни Спирс пожаловалась на ущерб от опеки отца
28.08.2026 18:29:02 | Lenta.ru

Айза показала фото из больницы
28.08.2026 18:28:12 | Lenta.ru

В Уганде умер король Тооро, взошедший на трон в три года
28.08.2026 18:25:00 | Российская Газета

Россияне стали лидерами по турпотоку в одну страну бывшего СССР
28.08.2026 18:24:40 | Lenta.ru

В Москве организуют самые масштабные быстрые свидания
28.08.2026 18:24:28 | Lenta.ru

В МИД сделали заявление о возобновлении переговоров
28.08.2026 18:24:00 | Lenta.ru

Перечислены ухудшающие мужскую фертильность продукты
28.08.2026 18:22:57 | Lenta.ru

Появилась новая версия расправы над ребенком в Подмосковье
28.08.2026 18:21:40 | Lenta.ru

Суд решил судьбу журналиста Невзорова
28.08.2026 18:21:30 | Lenta.ru

Прокуратура взяла на контроль дело об убийстве шестиклассника под Орехово-Зуево
28.08.2026 18:19:45 | Коммерсантъ

Военкор заявил о вранье Зеленского после слов Буданова
28.08.2026 18:19:28 | Lenta.ru

Захарова: Россия не получала предложений о возобновлении переговоров с Украиной
28.08.2026 18:18:14 | Life.ru

Бывший футболист сборной Англии купил права на трансляцию матчей бундеслиги
28.08.2026 18:16:38 | Lenta.ru

Самолёт-разведчик НАТО больше восьми часов кружил над Чёрным морем
28.08.2026 18:13:02 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro