Операция выполнена!
Закрыть
Хабы: Искусственный интеллект, IT-инфраструктура, DIY или Сделай сам

Фронтирные модели, в которых компании ежедневно сжигают миллиарды токенов, становятся все более монструозными и дорогими. Экономика и законы о ПДн подталкивают бизнес к идее локального инференса. Но запуск большой открытой модели требует сложной инфраструктуры и дорогих GPU (которые еще попробуй найди!). Хорошая новость в том, что для многих бизнес-задач – разобрать обращения, достать контакты из письма, оценить отзыв – фронтирные модели избыточны. Это все равно что забивать гвозди микроскопом. А легкие модели размером 1–4B работают и на обычных процессорах.

Я проверил, насколько это рабочий вариант: взял VPS с шаблоном Ollama примерно за 1,5 тыс. ₽ в месяц (4 vCPU, 4 ГБ RAM, без видеокарты) и прогнал девять легких моделей на семи бизнес-задачах плюс нагрузочный тест.

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro