Операция выполнена!
Закрыть
info@vsetut.pro
Стать автором
Вернуться

Период полураспада бенчмарка ИИ сократился вдвое: 19 месяцев вместо 38

13.10.2026 16:00:37 | Хабр
Хабы: Исследования и прогнозы в IT, Искусственный интеллект, Машинное обучение, Открытые данные, Научно-популярное

В мае я подал OenoBench, винный бенчмарк для языковых моделей, на NeurIPS. В дискуссии с ревьюерами всплыл вопрос, на который ни у меня, ни у них не было опоры: какой результат на релизе считать достаточным для нового бенчмарка и сколько он вообще проживёт.

Чтобы ответить, я собрал 224 бенчмарка, о которых в 2018–2026 годах отчитывались девять лабораторий: OpenAI, Anthropic, Google, Meta, xAI, DeepSeek, Alibaba, Moonshot и Mistral. Для каждого нашёл дату рождения и, если она уже наступила, дату смерти — момент, когда бенчмарк перестаёт различать лучшие модели: лидер набирает 90% или уровень человека, либо создатели сами признают набор насыщенным или сломанным. По этим датам считается период полураспада — срок, за который умирает половина бенчмарков.

Главные результаты:

Период полураспада бенчмарка — 23 месяца. У вышедших до 2023 года он был 38 месяцев, у вышедших позже — 19. Оценка учитывает и ещё живые бенчмарки, поэтому короткая история новых её не искажает.

Новые бенчмарки не проще старых, просто модели быстрее. Запас до потолка на старте у них прежний, а проходят его модели вдвое быстрее.

Каждый седьмой новый бенчмарк умирает не от моделей, а от собственных дефектов. У агентных сред это причина почти половины смертей.

Ниже — как я считал и сколько, по этим данным, проживёт сам OenoBench. Датасет, кодбук и скрипты — в открытом доступе, ссылки в конце.

Читать далее
Подробнее
Читайте также
НОВОСТИ

ВСЕ НОВОСТИ
ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro