Новый бенчмарк по кодингу для LLM ProgramBench: 9 топ моделей, 200 задач, 248 тысяч тестов. Полностью решённых — ноль

15.05.2026 11:19:50 | Хабр

Хабы: Машинное обучение, Программирование

200 задач. 248 тысяч тестов. Девять моделей, среди них всё свежее: Opus 4.7, GPT 5.4, Gemini 3.1 Pro, Sonnet 4.6. На SWE-bench те же модели берут 70 % и выше. На ProgramBench — ноль полного резолва. Лучший «почти решено» у Opus 4.7 — 3 %. У остальных и того нет. Это новый бенчмарк от Meta Superintelligence Labs, Stanford и Harvard (2026). Агенту дают скомпилированный бинарь и описание программы. Никаких сорсов, никакой декомпиляции, никакого интернета. Задача — собрать программу с нуля так, чтобы она прошла 248 тысяч поведенческих тестов. Это не «пофиксить баг в существующем коде» (как SWE-bench) и не «дописать функцию по сигнатуре» (как HumanEval). Это другой ТИП задачи: спроектировать систему. Внутри — методология, паттерн результатов (что модели вытягивают, а что нет), и почему этот ноль — на самом деле важная новость для тех, кто строит на LLM продакшен.

Подробнее

Читайте также

Отчетность для совета директоров: какие метрики показывают реальное состояние проектов
15.05.2026 11:19:30 | Хабр

Комплексный подход к корпоративной кибербезопасности. Разговор с директором UserGate uFactor Дмитрием Шулининым
15.05.2026 11:17:14 | Хабр

Часть 3. Фотон4D. Проектируем апгрейд действующей системы
15.05.2026 11:13:12 | Хабр

Точка в дизайне: как самый маленький элемент задаёт настроение и ритм
15.05.2026 10:44:13 | Хабр

Как собрать пайплайн с LLM агентом который фиксит нативные Android UI автотесты
15.05.2026 10:19:43 | Хабр

«Т-Банк» запустил переводы на карты UnionPay Global в 61 страну, включая Францию, Германию, Бельгию и Испанию
15.05.2026 10:18:31 | vc.ru

Менделеевская олимпиада по химии стала углеродно-нейтральной
15.05.2026 10:18:12 | ferra.ru

«Лучшая антиреклама ИИ»: в соцсетях высмеяли рекламу функции улучшения фотографий в смартфоне Xperia 1 VIII от Sony
15.05.2026 10:14:55 | vc.ru

Apple всё же разрешит загружать ИИ-агентов в App Store
15.05.2026 10:08:07 | ferra.ru

Т-Банк запустил переводы на карты UnionPay в 61 страну
15.05.2026 10:00:54 | ferra.ru

Страшно, когда не видно: темные тайны систем виртуализации
15.05.2026 09:48:07 | Хабр

AI Governance по‑инженерному: что должен знать архитектор
15.05.2026 09:40:46 | Хабр

[Перевод] Почему сеньор-разработчик не может донести ценность своего опыта
15.05.2026 09:28:47 | Хабр

Kafka, таксономии и удаление событий: как исключить обработку неактуальных сообщений
15.05.2026 09:23:47 | Хабр

Об организации труда ИИ-агентов
15.05.2026 09:21:26 | Хабр

Минфин сообщил о внедрении ИИ в работу правительства
15.05.2026 09:17:09 | ferra.ru

Ускорение запросов в PostgreSQL: три рычага оптимизации и практический разбор
15.05.2026 09:12:18 | Хабр

[Перевод] Иголка в стоге сена: как LLM помогают искать уязвимости
15.05.2026 09:10:52 | Хабр

Эксперимент: как pgpro_pwr помог проверить настройки PostgreSQL 17
15.05.2026 09:10:33 | Хабр

AI-ассистент для вайб-кодинга — он не лучше, он(и) … с другой планеты
15.05.2026 09:08:32 | Хабр

Геймификация продуктивности: как не забросить таск-менеджер через неделю
15.05.2026 09:05:12 | Хабр

Оверклокинг умер, да здравствует андервольтинг: как современные процессоры перестали разгонять и начали оптимизировать
15.05.2026 09:00:36 | Хабр

Что такое MCP. Как работает киллер-фича современности под капотом
15.05.2026 08:59:48 | Хабр

Шесть аудиторий вашей карьеры: пятеро за моим столом
15.05.2026 08:52:29 | Хабр

В России подготовят правила для внедрения ИИ в строительстве
15.05.2026 08:49:13 | ferra.ru

Полезный гнев природы: разрушение метана во время извержения вулкана
15.05.2026 08:45:02 | Хабр

Обзор российских ИИ-платформ корпоративного уровня: изучаем архитектуру SimpleOne GenAI, BPMSoft AI, ELMA Cortex
15.05.2026 08:36:30 | Хабр

Подорожает ли облако в России в 2026 году. Спойлер: уже подорожало, и это только начало
15.05.2026 08:31:29 | Хабр

В Google Translate появится живой перевод без интернета
15.05.2026 08:24:38 | ferra.ru

Какой подход к предсказанию последовательности стоит выбрать
15.05.2026 08:24:14 | Хабр

День 1541: объём денег на срочных вкладах россиян в марте 2026 года сократился на 290 млрд рублей — впервые с осени 2023-го
15.05.2026 08:22:55 | vc.ru

Переговорное мышление
15.05.2026 08:20:16 | Хабр

Криптографический алгоритм «Криптонита» S3G-5G для безопасности сетей 5G прошёл этап согласования в ТК 26
15.05.2026 08:16:26 | Хабр

[Перевод] Фотографическая память — это миф: вот что на самом деле говорят исследования о работе памяти
15.05.2026 08:13:25 | Хабр

Каналы и авторизация в Centrifugo: как безопасно подключить real-time в Laravel
15.05.2026 08:01:08 | Хабр

Смотреть все

НОВОСТИ

Золотовалютные резервы Кыргызстана уменьшаются из-за роста экономики
03.08.2026 09:53:00 | Российская Газета

ФСБ предотвратила теракт у прокуратуры в российском городе
03.08.2026 09:52:01 | Lenta.ru

В ГД заявили о подготовке провокаций на выборах с участием «лженаблюдателей»
03.08.2026 09:51:47 | Life.ru

Пока Дудь* снимал ролики, бизнес шёл: Жена журналиста заработала миллионы на релокантах в Испании
03.08.2026 09:50:19 | Life.ru

Россиянин подготовил расправу над экс-возлюбленной при помощи серной кислоты
03.08.2026 09:49:49 | Lenta.ru

Экс-посол Британии: Выборы во Франции могут изменить ход конфликта на Украине
03.08.2026 09:49:06 | Life.ru

В МВД Литвы раскрыли количество прокопанных нелегальными мигрантами туннелей
03.08.2026 09:45:58 | ТАСС

В Пятигорске у здания прокуратуры предотвратили теракт
03.08.2026 09:45:45 | ТАСС

Российский нападающий стал лучшим в своем амплуа в НХЛ
03.08.2026 09:45:45 | Lenta.ru

Истребитель ВВС Мьянмы разбился из-за птицы
03.08.2026 09:45:00 | Российская Газета

13-летнюю дочь Канье Уэста и Ким Кардашьян не узнали на фото папарацци
03.08.2026 09:41:42 | Lenta.ru

Трое жителей Крыма погибли при атаке ВСУ
03.08.2026 09:41:15 | Коммерсантъ

ВС России вывели из строя мост на пути из Славянска в Краматорск
03.08.2026 09:41:14 | Lenta.ru

Премьер и глава МИД Таиланда позвонили послу РФ из-за убийства двух россиян
03.08.2026 09:41:08 | ТАСС

Власти сообщили о жертвах при ударе ВСУ по Крыму
03.08.2026 09:41:00 | Lenta.ru

При вражеской атаке БПЛА на Крым погибли три мирных жителя, двое пострадали
03.08.2026 09:40:59 | Life.ru

В МВД заявили о вреде коротких видеороликов в соцсетях
03.08.2026 09:40:45 | Коммерсантъ

Подельник Базанова из «Слова пацана» останется в колонии на 20 лет
03.08.2026 09:40:14 | Life.ru

Il Messaggero: число жертв ДТП в Италии достигло семи
03.08.2026 09:38:45 | ТАСС

Футболист ЦСКА Попович отметил, что команде не хватает Акинфеева
03.08.2026 09:38:42 | ТАСС

Пострадавшего при атаке ВСУ на многоэтажный дом в Ялте выписали из больницы
03.08.2026 09:38:39 | ТАСС

Европейские правые перестали быть маргиналами на фоне кризиса в Сеуте
03.08.2026 09:37:42 | Lenta.ru

Атаки БПЛА не пройдут: Минтранс и Минобороны взяли под защиту судоходство на юге
03.08.2026 09:36:36 | Life.ru

В ДНР за сутки отразили 21 атаку беспилотников
03.08.2026 09:36:06 | ТАСС

Мужчина разбогател на 80 миллион рублей из-за любви к одной цифре
03.08.2026 09:35:52 | Lenta.ru

El Pais: ЕС все труднее находить новые цели для санкций против России
03.08.2026 09:35:22 | ТАСС

Медведчук: Зеленский сегодня не нужен ни США, ни Европе
03.08.2026 09:35:14 | ТАСС

Мужчина разбогател на 80 миллионов рублей из-за любви к одной цифре
03.08.2026 09:35:00 | Lenta.ru

В Белгородской области рассказали о состоянии пострадавших при атаках ВСУ детей
03.08.2026 09:34:42 | ТАСС

Минтруд напомнил о праве на ежегодную семейную выплату при смене работы
03.08.2026 09:33:21 | ТАСС

Европейский омбудсмен Анжиньо: Власть в ЕС становится все менее прозрачной
03.08.2026 09:33:00 | Российская Газета

Минтранс меняет логистику на юге из-за атак дронов: Создан экстренный штаб
03.08.2026 09:32:31 | Life.ru

Центр Гамалеи разработал прототип онковакцины от немелкоклеточного рака легких
03.08.2026 09:29:07 | ТАСС

Кардиолог рассказал о незаметно убивающих сердце повседневных привычках
03.08.2026 09:28:27 | Lenta.ru

Пострадавшие и пожар на объекте Wildberries во Владимирской области. Последствия атак БПЛА
03.08.2026 09:28:12 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro