Операция выполнена!
Закрыть
Хабы: Блог компании GPUGO

LLM может влезать в контекст и генерировать 200 tok/s, но если она не может найти нужный факт в тексте, толку от этого мало. Поэтому мы захостили 8 локальных LLM и прогнали через NIAH-тесты: тройной хоп, пять дистракторов и контексты до 128K.

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro