Операция выполнена!
Закрыть
Хабы: Блог компании Selectel, IT-компании, IT-инфраструктура, Искусственный интеллект, Серверное администрирование

Использовать нейросети для работы с внутренними данными компании — идея классная, но скармливать их внешним API банально опасно. Никому не хочется, чтобы коммерческая тайна или уязвимости инфраструктуры утекли в сеть.

Выход — поднять модель в своем закрытом контуре. В этой статье мы пошагово развернем языковую модель nvidia/MiniMax-M2.7-NVFP4 на GPU-сервере и подключим ее к S3-совместимому объектному хранилищу. Под катом разбираемся, как подобрать конфигурацию сервера для запуска, создать преднастроенную виртуальную машину, запустить MiniMax-M2.7 через vLLM, подключить S3 и загрузить туда тестовые логи, а также передать модели технический контекст из S3 и сохранить сформированный отчет обратно в бакет.

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro