Новый бенчмарк по кодингу для LLM ProgramBench: 9 топ моделей, 200 задач, 248 тысяч тестов. Полностью решённых — ноль

15.05.2026 11:19:50 | Хабр

Хабы: Машинное обучение, Программирование

200 задач. 248 тысяч тестов. Девять моделей, среди них всё свежее: Opus 4.7, GPT 5.4, Gemini 3.1 Pro, Sonnet 4.6. На SWE-bench те же модели берут 70 % и выше. На ProgramBench — ноль полного резолва. Лучший «почти решено» у Opus 4.7 — 3 %. У остальных и того нет. Это новый бенчмарк от Meta Superintelligence Labs, Stanford и Harvard (2026). Агенту дают скомпилированный бинарь и описание программы. Никаких сорсов, никакой декомпиляции, никакого интернета. Задача — собрать программу с нуля так, чтобы она прошла 248 тысяч поведенческих тестов. Это не «пофиксить баг в существующем коде» (как SWE-bench) и не «дописать функцию по сигнатуре» (как HumanEval). Это другой ТИП задачи: спроектировать систему. Внутри — методология, паттерн результатов (что модели вытягивают, а что нет), и почему этот ноль — на самом деле важная новость для тех, кто строит на LLM продакшен.

Подробнее

Читайте также

Отчетность для совета директоров: какие метрики показывают реальное состояние проектов
15.05.2026 11:19:30 | Хабр

Комплексный подход к корпоративной кибербезопасности. Разговор с директором UserGate uFactor Дмитрием Шулининым
15.05.2026 11:17:14 | Хабр

Часть 3. Фотон4D. Проектируем апгрейд действующей системы
15.05.2026 11:13:12 | Хабр

Точка в дизайне: как самый маленький элемент задаёт настроение и ритм
15.05.2026 10:44:13 | Хабр

Как собрать пайплайн с LLM агентом который фиксит нативные Android UI автотесты
15.05.2026 10:19:43 | Хабр

«Т-Банк» запустил переводы на карты UnionPay Global в 61 страну, включая Францию, Германию, Бельгию и Испанию
15.05.2026 10:18:31 | vc.ru

Менделеевская олимпиада по химии стала углеродно-нейтральной
15.05.2026 10:18:12 | ferra.ru

«Лучшая антиреклама ИИ»: в соцсетях высмеяли рекламу функции улучшения фотографий в смартфоне Xperia 1 VIII от Sony
15.05.2026 10:14:55 | vc.ru

Apple всё же разрешит загружать ИИ-агентов в App Store
15.05.2026 10:08:07 | ferra.ru

Т-Банк запустил переводы на карты UnionPay в 61 страну
15.05.2026 10:00:54 | ferra.ru

Страшно, когда не видно: темные тайны систем виртуализации
15.05.2026 09:48:07 | Хабр

AI Governance по‑инженерному: что должен знать архитектор
15.05.2026 09:40:46 | Хабр

[Перевод] Почему сеньор-разработчик не может донести ценность своего опыта
15.05.2026 09:28:47 | Хабр

Kafka, таксономии и удаление событий: как исключить обработку неактуальных сообщений
15.05.2026 09:23:47 | Хабр

Об организации труда ИИ-агентов
15.05.2026 09:21:26 | Хабр

Минфин сообщил о внедрении ИИ в работу правительства
15.05.2026 09:17:09 | ferra.ru

Ускорение запросов в PostgreSQL: три рычага оптимизации и практический разбор
15.05.2026 09:12:18 | Хабр

[Перевод] Иголка в стоге сена: как LLM помогают искать уязвимости
15.05.2026 09:10:52 | Хабр

Эксперимент: как pgpro_pwr помог проверить настройки PostgreSQL 17
15.05.2026 09:10:33 | Хабр

AI-ассистент для вайб-кодинга — он не лучше, он(и) … с другой планеты
15.05.2026 09:08:32 | Хабр

Геймификация продуктивности: как не забросить таск-менеджер через неделю
15.05.2026 09:05:12 | Хабр

Оверклокинг умер, да здравствует андервольтинг: как современные процессоры перестали разгонять и начали оптимизировать
15.05.2026 09:00:36 | Хабр

Что такое MCP. Как работает киллер-фича современности под капотом
15.05.2026 08:59:48 | Хабр

Шесть аудиторий вашей карьеры: пятеро за моим столом
15.05.2026 08:52:29 | Хабр

В России подготовят правила для внедрения ИИ в строительстве
15.05.2026 08:49:13 | ferra.ru

Полезный гнев природы: разрушение метана во время извержения вулкана
15.05.2026 08:45:02 | Хабр

Обзор российских ИИ-платформ корпоративного уровня: изучаем архитектуру SimpleOne GenAI, BPMSoft AI, ELMA Cortex
15.05.2026 08:36:30 | Хабр

Подорожает ли облако в России в 2026 году. Спойлер: уже подорожало, и это только начало
15.05.2026 08:31:29 | Хабр

В Google Translate появится живой перевод без интернета
15.05.2026 08:24:38 | ferra.ru

Какой подход к предсказанию последовательности стоит выбрать
15.05.2026 08:24:14 | Хабр

День 1541: объём денег на срочных вкладах россиян в марте 2026 года сократился на 290 млрд рублей — впервые с осени 2023-го
15.05.2026 08:22:55 | vc.ru

Переговорное мышление
15.05.2026 08:20:16 | Хабр

Криптографический алгоритм «Криптонита» S3G-5G для безопасности сетей 5G прошёл этап согласования в ТК 26
15.05.2026 08:16:26 | Хабр

[Перевод] Фотографическая память — это миф: вот что на самом деле говорят исследования о работе памяти
15.05.2026 08:13:25 | Хабр

Каналы и авторизация в Centrifugo: как безопасно подключить real-time в Laravel
15.05.2026 08:01:08 | Хабр

Смотреть все

НОВОСТИ

Во Владивостоке врачи спасли женщину с раком единственной работающей почки
25.08.2026 05:49:10 | Life.ru

В Кремле ответили на вопрос о визите Путина на саммит БРИКС в Индию
25.08.2026 05:47:44 | Lenta.ru

Христофору: Каллас хотела скрыть потерю Киевом поддержки со стороны США
25.08.2026 05:46:00 | Российская Газета

Христофору указал на одну важную деталь во время встречи лидеров ЕС в Киеве
25.08.2026 05:46:00 | Российская Газета

Раскрыта стоимость уклонения от мобилизации на Украине
25.08.2026 05:43:44 | Lenta.ru

Спасатели не нашли двух пропавших туристов в смытых рекой домах на Сахалине
25.08.2026 05:43:06 | Коммерсантъ

Назван сорвавший переговоры США и Канады чиновник
25.08.2026 05:38:53 | Lenta.ru

Пленный рассказал о стрельбе украинских солдат друг в друга
25.08.2026 05:37:15 | Lenta.ru

Два человека погибли и пять пострадали в жёстком ДТП в Приамурье
25.08.2026 05:34:18 | Life.ru

Биолог Эвеяр предупредил туристов об опасности "португальских корабликов"
25.08.2026 05:32:00 | Российская Газета

На Камчатке раскрыли подпольное казино с доходом в миллионы рублей
25.08.2026 05:30:18 | Life.ru

Россиянка назвала ошибки туристов после 50 лет в отелях с системой «все включено»
25.08.2026 05:30:17 | Lenta.ru

Инструкторы на полигонах ВСУ добавляют в еду бойцов психотропные вещества
25.08.2026 05:28:00 | Российская Газета

Три домика для отдыха, унесённые в реку, нашли на Сахалине без людей
25.08.2026 05:24:12 | Life.ru

Пенсионер погиб, не успев выбраться из затопленного дома на Сахалине
25.08.2026 05:16:40 | Life.ru

Telegraph: Лондон передал Киеву секретные данные для производства Storm Shadow
25.08.2026 05:12:46 | Life.ru

В ЛНР раскрыли цели кадровых перестановок на Украине
25.08.2026 05:11:00 | Lenta.ru

Экс-премьер Украины призвал создать в стране переходную администрацию до выборов
25.08.2026 05:08:50 | Lenta.ru

Мема назвал соглашения «коалиции желающих» смертным приговором Украине
25.08.2026 05:07:38 | Life.ru

Многие автомобилисты признались в неумении пользоваться электронными ассистентами в машине
25.08.2026 05:01:01 | Lenta.ru

Сексолог предостерегла от портящего секс поведения в постели
25.08.2026 05:00:55 | Lenta.ru

В Варшаве поздравили украинцев с Днем независимости, призвав лишить их помощи
25.08.2026 05:00:00 | Российская Газета

В Варшаве поздравили украинцев с Днем независимости, призвав лишить их соцпомощи
25.08.2026 05:00:00 | Российская Газета

В Польше в честь Дня независимости Украины, призвали лишить украинцев помощи
25.08.2026 05:00:00 | Российская Газета

В 60 регионах России ограничат продажу алкоголя 1 сентября
25.08.2026 04:59:50 | Life.ru

Стало известно о готовности европейцев учить русский язык
25.08.2026 04:56:07 | Lenta.ru

Польшу уличили в попытке получить доступ к украинским технологиям
25.08.2026 04:53:22 | Lenta.ru

Минпросвещения запретило менять порядок изучения тем по истории в школах
25.08.2026 04:50:58 | Life.ru

В России готовятся обнулить пошлины на ввоз драгоценных камней
25.08.2026 04:46:36 | Life.ru

«Загнали себя в яму»: Клинтон оценила потери вооружений США в ходе конфликта с Ираном
25.08.2026 04:40:09 | Life.ru

Эксперт раскрыл значение освобождения Кучерова Яра
25.08.2026 04:39:00 | Lenta.ru

ООН: число жертв среди гражданских в РФ от ударов ВСУ выросло в два раза с начала года // ООН: число жертв среди мирного населения РФ из-за ударов ВСУ выросло на 119%
25.08.2026 04:35:18 | Коммерсантъ

ООН: число погибших от атак ВСУ мирных жителей РФ выросло с начала года на 119%
25.08.2026 04:35:18 | Коммерсантъ

Нетаньяху заявил о попытке Ирана убить его сына
25.08.2026 04:35:07 | Life.ru

США не присоединились к заявлению с критикой России по Украине в ООН
25.08.2026 04:34:29 | РБК

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro