Как бенчмаркать ИИ, и как это делаем мы?

17.04.2026 11:35:11 | Хабр

Хабы: Блог компании Kodik, Искусственный интеллект, Качество кода

Одна из сложностей с LLM: как понять, какая модель способнее? Их создатели наперебой кричат «мы совершили революцию», но как пробиться сквозь хайп и измерить, кто чего реально добился?

Казалось бы, для этого есть много популярных бенчмарков. И о преимуществах моделей зачастую рассуждают со ссылками на них: «Смотрите, эта на 5% лучше». Однако с такими бенчмарками связан целый ряд проблем, и им нельзя слепо доверять.

А нам в Kodik важно разбираться, потому что мы делаем редактор кода с ИИ, так что должны понимать, какая модель в нём как себя покажет. И в результате мы не только смотрим на результаты чужих бенчмарков, но и создали для внутреннего использования свой KodikBenchmark.

Сегодня и рассказываем Хабру о состоянии индустрии в целом, и делимся частью информации о нашем бенчмарке, и показываем результаты разных моделей в нём. Если у вас есть схожий опыт, было бы интересно узнать о нём в комментариях.

Подробнее

Читайте также

Принципиальная детерминированность нейросетей и безопасность
17.04.2026 11:25:05 | Хабр

[Перевод] Rust 1.95.0: макрос cfg_select!, if-let guards в match-выражениях
17.04.2026 11:20:35 | Хабр

Low code теряет позиции на фоне стремительного роста ИИ-решений
17.04.2026 11:14:49 | it-world

Американский стартап Sabi, разрабатывающий головные уборы для преобразования мыслей в текст, вышел из «стелс-режима» — первое устройство планируют выпустить к концу 2026 года
17.04.2026 11:08:09 | vc.ru

Увеличенный экран и очень тонкие рамки получат часы Huawei Watch Fit 5
17.04.2026 11:03:16 | ferra.ru

О современной научной картине мира
17.04.2026 10:51:03 | Хабр

Анатомия User Plane в 5G: разбираемся, как все устроено
17.04.2026 10:44:37 | Хабр

От правил корреляции к когнитивному ассистенту: что меняется в архитектуре SOC с приходом ИИ
17.04.2026 10:36:11 | Хабр

В IETF предложили новый интернет-протокол IPv8
17.04.2026 10:33:10 | it-world

В App Store появилось приложение «Про жарка» с функциями «Россельхозбанка»
17.04.2026 10:32:45 | vc.ru

Персональная монополия: почему удержание «незаменимых» не спасает бизнес, а лишает его управляемости
17.04.2026 10:32:10 | Хабр

Запрет Steam в РФ, дата выхода HoMM Olden Era, геймплей «Таркова в космосе»: новости игропрома
17.04.2026 10:24:54 | Хабр

Чат GPT (ChatGPT) для фото и генерации изображений: Как создавать и редактировать любые изображения с чатом ГПТ?
17.04.2026 10:22:18 | Хабр

Персональная вакцина от рака: зачем я пишу координационный слой с открытым исходным кодом для mRNA-терапии
17.04.2026 10:21:50 | Хабр

Безошибочная работа с Kafka из Node js. Часть 2 Консьюмер
17.04.2026 10:17:50 | Хабр

Фотограф-программист или, как я печатал цветные фотографии с помощью ZX-Spectrum
17.04.2026 10:16:03 | Хабр

Как мы продавали компьютеры в 90-х. Шум в нужную сторону
17.04.2026 10:03:35 | Хабр

Правда все: Убьет ли ИИ достоверность в онлайне?
17.04.2026 10:00:56 | Хабр

Про Телемост
17.04.2026 10:00:49 | Хабр

Гибридный кэш на базе Redis в серверной разработке
17.04.2026 09:55:37 | Хабр

Долгожитель для студентов iQOO Z11x
17.04.2026 09:55:20 | it-world

Специалист по кибербезопасности заявил, что «за две минуты» взломал представленное властями ЕС приложение для проверки возраста пользователей
17.04.2026 09:52:53 | vc.ru

Claude Opus 4.7: Что нового? Как использовать нейросеть в России
17.04.2026 09:48:34 | Хабр

Квантовая криптография: принципы, протоколы, сети
17.04.2026 09:47:24 | Хабр

Мониторинг сотрудников без управленческой модели только усиливает хаос
17.04.2026 09:37:42 | Хабр

3 года мы не можем вытащить данные из машины для боулинга
17.04.2026 09:37:18 | Хабр

SIEM: когда он нужен, правила пользования и как выявить его эффективность
17.04.2026 09:29:38 | Хабр

Процесс приемки товара на складе: как организовать прием товаров без потерь и расхождений
17.04.2026 09:29:05 | Хабр

Ваш любимый ИИ не умеет считать. Что ещё скрывает текстовая модель?
17.04.2026 09:15:41 | Хабр

YouTube разрешил убирать Shorts с главной ленты
17.04.2026 09:03:15 | ferra.ru

У нас есть органы-на-чипе, цифровые двойники и ИИ. Почему лекарства до сих пор испытывают на мышах
17.04.2026 09:00:33 | Хабр

Продолжаем приручать ИИ: рефлексия агента, интервью пользователя, God agent
17.04.2026 09:00:32 | Хабр

Axios и проблема зависимостей
17.04.2026 08:55:42 | Хабр

ИсВКлючить нельзя исВКлючать, или пролетая над гнездом VK…
17.04.2026 08:52:55 | Хабр

Вы — налоговый инспектор: начинаем проверку физического лица
17.04.2026 08:45:55 | Хабр

Смотреть все

НОВОСТИ

Опубликовано фото стрелка в Киеве
18.04.2026 20:57:44 | Lenta.ru

В городском субботнике приняли участие больше 1,3 тыс. жителей Нальчика
18.04.2026 20:56:54 | ТАСС

ФНС банкротит Бари Алибасова-младшего из-за долга в 1,9 млн рублей
18.04.2026 20:56:28 | Life.ru

В Киеве взорвался трансформатор, в городе возникли перебои со светом
18.04.2026 20:56:00 | Российская Газета

Балицкий: ВСУ целенаправленно ударили по кладбищу в Днепрорудном
18.04.2026 20:55:56 | ТАСС

Глава МВД Украины раскрыл детали переговоров со стрелком в Киеве
18.04.2026 20:55:38 | Lenta.ru

Убийство нескольких человек в Киеве квалифицировали как теракт
18.04.2026 20:53:34 | ТАСС

Букмекеры назвали фаворита «Манчестер Сити» — «Арсенал»
18.04.2026 20:51:18 | Lenta.ru

Вице-премьер Италии призвал спасать экономику Европы российским газом
18.04.2026 20:50:25 | Life.ru

В Киеве установили, что стрелявший на улице в людей ранее поджег квартиру
18.04.2026 20:48:51 | ТАСС

Зеленский раскрыл подробности о стрелке в Киеве
18.04.2026 20:48:21 | Lenta.ru

В Ростовской области объявили беспилотную опасность
18.04.2026 20:47:19 | ТАСС

The Atlantic: Директор ФБР боится увольнения и часто появляется пьяным на работе
18.04.2026 20:46:00 | Российская Газета

В Европе испугались возможного появления «троянского коня» России
18.04.2026 20:45:01 | Lenta.ru

Захарова обвинила Запад в желании захватить чернозём Украины и нефть России
18.04.2026 20:45:01 | Life.ru

Призер Олимпиады Башаев снялся с чемпионата Европы по дзюдо из-за травмы
18.04.2026 20:39:43 | ТАСС

Bild: в Германии в 2025 году отстрелили почти 3 тыс. "радиоактивных" кабанов
18.04.2026 20:39:40 | ТАСС

Литва и Латвия отказали Фицо в транзите для полёта в Москву на Парад Победы
18.04.2026 20:38:08 | Life.ru

Против офицера ВСУ, сбивавшего БПЛА на домами Харькова, завели дело
18.04.2026 20:36:39 | ТАСС

Против офицера ВСУ, сбивавшего БПЛА на домами Харькова, возбудили дело
18.04.2026 20:36:39 | ТАСС

Соседка киевского стрелка назвала его интеллигентным дядькой
18.04.2026 20:33:35 | Lenta.ru

Итальянские ученые заговорили о переносе дворцов Венеции из-за климата
18.04.2026 20:32:00 | Российская Газета

Убийца шести человек в Киеве имел лицензию на оружие
18.04.2026 20:31:21 | Life.ru

Круизный лайнер сообщил о странном инциденте у побережья Омана
18.04.2026 20:30:04 | Life.ru

В Киеве начались перебои со светом
18.04.2026 20:29:03 | Lenta.ru

Две страны запретили перелет премьера Словакии на парад Победы в Россию
18.04.2026 20:27:13 | Lenta.ru

«Пенный» грех: В Таиланде монаха изгнали из монастыря за любовь к пиву
18.04.2026 20:27:04 | Life.ru

Спасательный жилет с «Титаника» продали за 54 миллиона рублей
18.04.2026 20:23:00 | Lenta.ru

США готовятся к захвату иранских нефтяных танкеров по всему миру
18.04.2026 20:19:00 | Российская Газета

МИД РФ: США заверяют, что остаются привержены договоренностям саммита на Аляске
18.04.2026 20:16:58 | ТАСС

МИД РФ: до нормализации отношений Москвы и Вашингтона еще далеко
18.04.2026 20:12:12 | ТАСС

Врачи оценили состояние пациенток роддома в Новокуйбышевске после атаки БПЛА
18.04.2026 20:11:42 | Life.ru

У российского дачника отняли землю по неожиданной причине
18.04.2026 20:10:16 | Lenta.ru

Российская Team Spirit обыграла Team Falcons и вышла в финал турнира по CS2
18.04.2026 20:09:48 | Life.ru

Партия "Тиса" требует повторных выборов в одном из избирательных округов Венгрии
18.04.2026 20:07:58 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro