ИИ-агенты решили 99,4% задач. Но сначала 23 инженера 404 часа чинили сам экзамен

07.11.2026 16:29:52 | Хабр

Хабы: Искусственный интеллект, Программирование, Тестирование IT-систем, Машинное обучение, Управление разработкой

Представьте, что вы нанимаете программиста. Даёте ему 100 задач из реальных проектов, проверяете решения автоматическими тестами и получаете результат: 99 правильных.

Впечатляет. Особенно если программист — нейросеть.

Но затем выясняется, что часть экзаменационных заданий составлена неправильно. Некоторые тесты отвергают работающий код. Другие принимают неполные исправления. А в отдельных случаях испытуемый может найти готовый ответ в интернете.

Именно с такой проблемой столкнулись исследователи, оценивающие современных ИИ-агентов для программирования.

В сентябре 2026 года вышла обновлённая версия SWE-Bench Pro V2 — набора реальных инженерных задач из GitHub-репозиториев. Лучший результат на публичном наборе достиг 99,4%.

Но самое интересное в этой истории — не рекорд модели, а то, что пришлось сделать для его измерения.

Как ИИ-программистов вообще проверяют

Обычный тест по программированию выглядит просто: напиши функцию, которая сортирует массив, ищет элемент или обрабатывает строку.

Для современных моделей такие задания уже не особенно показательны.

В реальной разработке всё сложнее. Есть существующий проект, десятки файлов, зависимости, старый код и ошибка, которую нужно исправить, ничего не сломав.

Именно такие задачи используются в семействах бенчмарков SWE-bench.

Агент получает репозиторий в определённом состоянии и описание проблемы. Затем он может читать файлы, анализировать код, запускать тесты и изменять проект.

В конце оценивается полученный патч.

Изначальный SWE-Bench Pro содержал 1865 задач из 41 репозитория. Это существенно ближе к настоящей инженерной работе, чем отдельные алгоритмические упражнения.

Подробнее

Читайте также