Новый бенчмарк по кодингу для LLM ProgramBench: 9 топ моделей, 200 задач, 248 тысяч тестов. Полностью решённых — ноль

15.05.2026 11:19:50 | Хабр

Хабы: Машинное обучение, Программирование

200 задач. 248 тысяч тестов. Девять моделей, среди них всё свежее: Opus 4.7, GPT 5.4, Gemini 3.1 Pro, Sonnet 4.6. На SWE-bench те же модели берут 70 % и выше. На ProgramBench — ноль полного резолва. Лучший «почти решено» у Opus 4.7 — 3 %. У остальных и того нет. Это новый бенчмарк от Meta Superintelligence Labs, Stanford и Harvard (2026). Агенту дают скомпилированный бинарь и описание программы. Никаких сорсов, никакой декомпиляции, никакого интернета. Задача — собрать программу с нуля так, чтобы она прошла 248 тысяч поведенческих тестов. Это не «пофиксить баг в существующем коде» (как SWE-bench) и не «дописать функцию по сигнатуре» (как HumanEval). Это другой ТИП задачи: спроектировать систему. Внутри — методология, паттерн результатов (что модели вытягивают, а что нет), и почему этот ноль — на самом деле важная новость для тех, кто строит на LLM продакшен.

Подробнее

Читайте также

Отчетность для совета директоров: какие метрики показывают реальное состояние проектов
15.05.2026 11:19:30 | Хабр

Комплексный подход к корпоративной кибербезопасности. Разговор с директором UserGate uFactor Дмитрием Шулининым
15.05.2026 11:17:14 | Хабр

Часть 3. Фотон4D. Проектируем апгрейд действующей системы
15.05.2026 11:13:12 | Хабр

Точка в дизайне: как самый маленький элемент задаёт настроение и ритм
15.05.2026 10:44:13 | Хабр

Как собрать пайплайн с LLM агентом который фиксит нативные Android UI автотесты
15.05.2026 10:19:43 | Хабр

«Т-Банк» запустил переводы на карты UnionPay Global в 61 страну, включая Францию, Германию, Бельгию и Испанию
15.05.2026 10:18:31 | vc.ru

Менделеевская олимпиада по химии стала углеродно-нейтральной
15.05.2026 10:18:12 | ferra.ru

«Лучшая антиреклама ИИ»: в соцсетях высмеяли рекламу функции улучшения фотографий в смартфоне Xperia 1 VIII от Sony
15.05.2026 10:14:55 | vc.ru

Apple всё же разрешит загружать ИИ-агентов в App Store
15.05.2026 10:08:07 | ferra.ru

Т-Банк запустил переводы на карты UnionPay в 61 страну
15.05.2026 10:00:54 | ferra.ru

Страшно, когда не видно: темные тайны систем виртуализации
15.05.2026 09:48:07 | Хабр

AI Governance по‑инженерному: что должен знать архитектор
15.05.2026 09:40:46 | Хабр

[Перевод] Почему сеньор-разработчик не может донести ценность своего опыта
15.05.2026 09:28:47 | Хабр

Kafka, таксономии и удаление событий: как исключить обработку неактуальных сообщений
15.05.2026 09:23:47 | Хабр

Об организации труда ИИ-агентов
15.05.2026 09:21:26 | Хабр

Минфин сообщил о внедрении ИИ в работу правительства
15.05.2026 09:17:09 | ferra.ru

Ускорение запросов в PostgreSQL: три рычага оптимизации и практический разбор
15.05.2026 09:12:18 | Хабр

[Перевод] Иголка в стоге сена: как LLM помогают искать уязвимости
15.05.2026 09:10:52 | Хабр

Эксперимент: как pgpro_pwr помог проверить настройки PostgreSQL 17
15.05.2026 09:10:33 | Хабр

AI-ассистент для вайб-кодинга — он не лучше, он(и) … с другой планеты
15.05.2026 09:08:32 | Хабр

Геймификация продуктивности: как не забросить таск-менеджер через неделю
15.05.2026 09:05:12 | Хабр

Оверклокинг умер, да здравствует андервольтинг: как современные процессоры перестали разгонять и начали оптимизировать
15.05.2026 09:00:36 | Хабр

Что такое MCP. Как работает киллер-фича современности под капотом
15.05.2026 08:59:48 | Хабр

Шесть аудиторий вашей карьеры: пятеро за моим столом
15.05.2026 08:52:29 | Хабр

В России подготовят правила для внедрения ИИ в строительстве
15.05.2026 08:49:13 | ferra.ru

Полезный гнев природы: разрушение метана во время извержения вулкана
15.05.2026 08:45:02 | Хабр

Обзор российских ИИ-платформ корпоративного уровня: изучаем архитектуру SimpleOne GenAI, BPMSoft AI, ELMA Cortex
15.05.2026 08:36:30 | Хабр

Подорожает ли облако в России в 2026 году. Спойлер: уже подорожало, и это только начало
15.05.2026 08:31:29 | Хабр

В Google Translate появится живой перевод без интернета
15.05.2026 08:24:38 | ferra.ru

Какой подход к предсказанию последовательности стоит выбрать
15.05.2026 08:24:14 | Хабр

День 1541: объём денег на срочных вкладах россиян в марте 2026 года сократился на 290 млрд рублей — впервые с осени 2023-го
15.05.2026 08:22:55 | vc.ru

Переговорное мышление
15.05.2026 08:20:16 | Хабр

Криптографический алгоритм «Криптонита» S3G-5G для безопасности сетей 5G прошёл этап согласования в ТК 26
15.05.2026 08:16:26 | Хабр

[Перевод] Фотографическая память — это миф: вот что на самом деле говорят исследования о работе памяти
15.05.2026 08:13:25 | Хабр

Каналы и авторизация в Centrifugo: как безопасно подключить real-time в Laravel
15.05.2026 08:01:08 | Хабр

Смотреть все

НОВОСТИ

Собянин сообщил о завершении реставрации усадьбы Покровское-Стрешнево
10.06.2026 13:32:48 | ТАСС

Портфель заказов BrahMos Aerospace составляет порядка $ 6 млрд
10.06.2026 13:32:26 | ТАСС

Bramos доработает ракету "Брамос-НГ" под новые требования заказчика в 2027 году
10.06.2026 13:32:12 | ТАСС

Недостаточно большой: Новый страх за свой «бугорок» одолел мужчин в эпоху луксмаксинга
10.06.2026 13:32:01 | Life.ru

Хобби — подписывать пустышки: Экс-нардеп Клинкаров высмеял «балтийский пиар» Зеленского
10.06.2026 13:31:38 | Life.ru

Эрдоган: нападения Израиля на Сирию и Ливан стали угрозой и для Турции
10.06.2026 13:29:57 | ТАСС

Главком ВМФ: морской "Панцирь" позволяет кораблю эффективно отразить атаки БПЛА
10.06.2026 13:29:53 | ТАСС

В Нижневартовске задержали похитителя десятилетней девочки
10.06.2026 13:29:23 | Life.ru

В Новосибирске мужчину осудили за диверсию по заданию куратора с Украины
10.06.2026 13:29:20 | ТАСС

"Добрый ПМЭФ" привлек 150 млн рублей инвестиций в социальные проекты
10.06.2026 13:29:06 | ТАСС

"Да побойтесь Бога". Захарова отреагировала на притеснения православия в Эстонии
10.06.2026 13:28:17 | ТАСС

Лавров: главы МИД стран ОДКБ провели большую работу по подготовке к саммиту
10.06.2026 13:27:52 | ТАСС

«Семьи попадают в ловушку»: В Госдуме призвали пересмотреть закон о маткапитале
10.06.2026 13:26:45 | Life.ru

В ОКР считают, что вопрос восстановления РУСАДА скоро выйдет на первый план
10.06.2026 13:26:42 | ТАСС

Мединский, Дегтярев, Маршал. Кого ЕС планирует внести в 21-й пакет санкций
10.06.2026 13:26:26 | ТАСС

В Приангарье представлены новый прокурор и председатель областного суда
10.06.2026 13:26:17 | Коммерсантъ

Автовладельцам рассказали об опасности тополиного пуха
10.06.2026 13:26:14 | Lenta.ru

В Армении потребовали аннулировать голоса на одном из участков
10.06.2026 13:26:07 | Lenta.ru

Пасечник назвал атаки ВСУ на мирных жителей лишенными военного смысла
10.06.2026 13:25:57 | ТАСС

Россиянам раскрыли цены на отдых в санаториях Белоруссии осенью
10.06.2026 13:25:00 | Lenta.ru

Кремль рассчитывает на дальнейший вклад Моди в развитие отношений РФ и Индии
10.06.2026 13:25:00 | Российская Газета

В Госдуме назвали важное условие при установке летнего душа на даче
10.06.2026 13:24:29 | Lenta.ru

Женщина упала в мусоропровод и пролетела вниз 10 этажей
10.06.2026 13:24:23 | Lenta.ru

Все новейшие корабли ВМС Индии будут оснащаться крылатой ракетой "Брамос"
10.06.2026 13:23:03 | ТАСС

Депутат Рады Гончаренко потребовал от Зеленского представить план мира
10.06.2026 13:22:26 | ТАСС

Глава минобороны Польши пригрозил Украине конфронтацией
10.06.2026 13:21:00 | Российская Газета

В ЛНР при атаке ВСУ на автомобиль пострадал человек
10.06.2026 13:20:53 | ТАСС

Удар по гостинице с морпехами ВСУ и масштабный налет на Харьков. Подробности новой серии атак по Украине
10.06.2026 13:20:42 | Lenta.ru

Захарова: РФ будет делать все, чтобы не допустить эскалации в Приднестровье
10.06.2026 13:20:29 | ТАСС

Милонов высказался о пенсии уехавшей из России Ахеджаковой
10.06.2026 13:20:10 | Lenta.ru

Филипп Киркоров снялся для бренда Гоши Рубчинского в приспущенных штанах
10.06.2026 13:20:00 | Lenta.ru

МИД высказался о возможности объединения Молдавии и Румынии
10.06.2026 13:19:49 | Lenta.ru

На Урале осудили владельца собаки, травмировавшей двоих детей
10.06.2026 13:19:37 | ТАСС

Лучшего судью Африки не пустили на ЧМ в США из-за «связей с террористами»
10.06.2026 13:19:28 | Life.ru

Песков: Россия и Индия развивают сотрудничество во всех областях
10.06.2026 13:19:22 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro