Операция выполнена!
Закрыть
Хабы: Linux

LLM на 125 миллиардов параметров — и без дискретной видеокарты? Да.

Qwen3.8-Flash-Next (MoE: 125B в запасе, 6B в работе) спокойно живёт на AMD Strix Halo с 128 ГБ унифицированной памяти. Никакой видеокарты с горой VRAM — только встроенная графика и правильно подобранный движок.

Внутри — готовый рецепт: Fedora 43 Server, HALOGEN, OpenAI-совместимый API, API-ключ и четыре параллельные сессии. А главное — живые замеры вместо обещаний из readme: ~96 токенов/с записи, которые не проседают даже на 128k контекста, чтение под 2000 токенов/с и миллионный контекст через YaRN, который неожиданно укладывается всего в ~39 ГиБ.

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro