Операция выполнена!
Закрыть
Хабы: Блог компании МТС, Машинное обучение, IT-инфраструктура, Профессиональная литература

Насколько хорошо новая модель ИИ справляется с задачами — первый вопрос, который обычно задают при ее обсуждении. В техническом сообществе разговор обычно идет о бенчмарках, количестве параметров и гонке рейтингов.

Вот только для пользователя это чаще косвенные показатели. Главное — скорость работы, нет ли зависаний под нагрузкой и сколько стоит тариф. Если модель отлично решает задачи, но тормозит, или токены стоят как чугунный мост, ее популярность резко падает в пользу чуть менее эффективной. 

Поэтому на этапе инференса модель оптимизируют насколько возможно. Об этом ведущий эксперт в области инфраструктуры ИИ Филипп Кили написал целую книгу под названием «Инженерия инференса»: как разместить модель на нужном оборудовании, ускорить ответы, выдержать текущую и пиковую нагрузку и при этом не потратить больше, чем продукт сможет принести. 

Сегодня коротко разберем основные мысли оттуда.

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro