Операция выполнена!
Закрыть
Хабы: Блог компании Selectel, Искусственный интеллект, Машинное обучение, Исследования и прогнозы в IT, IT-компании

Проект llama-modchip выложен под Apache 2.0. Это набор патчей для ядер ggml/llama.cpp, инструменты квантования и скрипты, которые позволяют гонять разреженные MoE-модели прямо на процессоре. Автор утверждает, что DeepSeek-V4-Flash (284 млрд параметров, из них 13 млрд активных) работает на машине с 64 ГБ оперативной памяти: без видеокарты и без свопа. Разбираю, что у него получилось ниже.

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro