Операция выполнена!
Закрыть
info@vsetut.pro
Стать автором
Вернуться

Сравнение Алисы (Яндекс) и Гигачат (Сбер) по 5 бенчмаркам: τ³, ПРАКТ-120, MultiChallenge, WildBench и Arena-Hard

18.09.2026 07:48:57 | Хабр
Хабы: Искусственный интеллект, Исследования и прогнозы в IT

Всем привет!

Я обещал написать эту статью и я наконец-то закончил тесты и готов поделиться с вами результатами.

Я потратил МНОГО времени на то, чтобы прогнать эти бенчмарки. Много времени на сетапы, много времени на ожидание тестов. Все вместе заняло около двух недель работы - модели обрывались, где-то нужно было костылять заплатки чтобы они отвечали, где-то просто ждать по несколько дней на прохождение теста (даже в многопоточном тестировании).

Наконец-то я получил ответы, которые мне интересны - и, надеюсь, будут интересны и вам, и создателям Алисы и Гигачата. Почему они сами не проходят такие бенчмарки я догадываюсь, но на месте руководства этими проектами я бы наоборот, поставил бы прохождение бенчмарков в цикл. Потому что только так можно понять где твоя модель, а где мировые лидеры.

Я хотел сделать обзор и Маракуйи ИИ, но ребята ушли в глубокий рефакторинг и обещают скоро вернуться с совсем новым продуктом - отечественной кодовой средой, аналогом Cursor, Claude Code, Codex, но без VPN, иностранных карт и вообще суверенное решение. Поэтому в этой статье я поделюсь результатами только трех моделей: Алиса, Гигачат Ультра, Гигачат Макс.

Алиса тестировалась через веб-коннектор - именно так, как с ней взаимодействуют пользователи. В 90% случаев она в процессе оправдывалась: "Сейчас повышенная нагрузка, поэтому я включаю модель попроще". Но тест на то и есть тест: именно так с ней и взаимодействуют пользователи и именно такой результат они и получают. Гигачат - тестировался по АПИ. Бесплатных токенов, которые дают при регистрации, не хватило - поэтому я тестировал с трех аккаунтов: двух своих и с аккаунта жены. Этого хватило.

Скорее читать о результатах эксперимента!
Подробнее
Читайте также
НОВОСТИ

ВСЕ НОВОСТИ
ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro