Операция выполнена!
Закрыть
Хабы: Искусственный интеллект, Машинное обучение

Обычно, когда выбирают LLM, сначала смотрят рейтинги. Проблема рейтингов в том,  что по ним не узнать, как модель справится с вашими задачами и сколько это будет стоить.

В нашей лаборатории мы пользуемся электронным лабораторным — базой, куда записываются данные  всех эксперименотов и измерений, а ИИ ассистент отвечает на вопросы по ней. Разумеется, возник вопрос, какая модель должна этим ассистентом рулить. Публичные рейтинги ответа не давали, так что мы собрали свой бенчмарк: двадцать четыре вопроса по нашей работе, которые гоняются по живому журналу через mcp на моделях DeepSeek, ChatGPT и Claude.

Дальше я покажу, как мы собирали эти двадцать четыре вопроса, что на них показали девятнадцать сочетаний модели и уровня усилий при рассуждении (reasoning effort) примерно в 450 прогонах — и как сделать такой же тест под свою задачу.

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro