Развернул Gemma 4 31B на одной 4090 48GB — и проверил, нужен ли Q8

25.06.2026 08:38:48 | Хабр

Хабы: Искусственный интеллект, Open source

Развернул Gemma 4 31B на одной 4090 (48 ГБ) — и проверил нужен ли «честный» Q8, и переживает ли tool-calling 4-бита.

Q8 не дал ничего (+0.007 — шум), зато в 1.6 раза медленнее и вдвое жаднее до памяти. Tool-calling держится на 4-битах — но дело было не в кванте, а в одном флаге сервера (--jinja).

Бонус: локально бенчмарк отработал с нулём ошибок, а через облако развалился на 33% обрывов. Суверенный деплой выигрывает не только в цене и задержке.

Подробнее

Читайте также

День 1583: средняя доходность долгосрочных банковских вкладов после снижения ключевой ставки опустилась до 11% годовых
25.06.2026 08:29:32 | vc.ru

Автопилот Tesla стал причиной смерти женщины. Компания обвиняет водителя
25.06.2026 08:10:18 | ferra.ru

Как протестировать более 40 UI-компонентов за минуту: ускоряем скриншот-тесты
25.06.2026 08:00:01 | Хабр

Нечестный обзор ИИ-агентов. Кто действительно смог реализовать Depixelizing Pixel Art?
25.06.2026 08:00:01 | Хабр

Как двое договариваются о секрете, крича на всю площадь: алгоритм Диффи-Хеллмана без формул
25.06.2026 08:00:00 | Хабр

Тап по тысяче точек за O(log n): QuadTree и сферическая геометрия в гео-соцсети
25.06.2026 07:53:57 | Хабр

И вновь уроки про deadlock-и
25.06.2026 07:51:34 | Хабр

Не только развлечения: какие приемы игрового дизайна используют современные рекламные кампании
25.06.2026 07:50:15 | Хабр

Исследования показывают, что нас, возможно, окружают триллионы сознательных существ — и это не люди
25.06.2026 07:44:26 | Хабр

Регион выхода — это инфраструктура, а не настройка у пользователя
25.06.2026 07:31:53 | Хабр

Вебинар «mTLS для Java сервисов в Kubernetes»
25.06.2026 07:19:37 | Хабр

Ад позадачного сопровождения
25.06.2026 07:17:33 | Хабр

Переделка системы автоматизации в коттедже: ошибки прошлого интегратора, доработки, результат
25.06.2026 07:00:19 | Хабр

SLO as Code — нельзя верить людям
25.06.2026 06:59:43 | Хабр

[Перевод] Agentic SAMM: безопасная разработка, когда разработчик больше не только человек
25.06.2026 06:53:40 | Хабр

Спутниковая связь в симуляторе NS-3. Часть 8
25.06.2026 06:24:11 | Хабр

Как я решил проблему ввода спецсимволов без запоминания кучи клавиатурных сокращений
25.06.2026 06:16:31 | Хабр

[Перевод] Каждый кадр должен быть идеальным
25.06.2026 06:08:02 | Хабр

80% мирового HBM. Как Корея захватила рынок памяти для ИИ
25.06.2026 06:04:08 | Хабр

Охота на эксплойты: зачем и как это делать специалистам по ИБ
25.06.2026 06:01:07 | Хабр

Как компания по тюнингу внедорожников перешла из Excel и Telegram в единую систему управления задачами
25.06.2026 06:01:06 | Хабр

Как эволюционировал ИИ в разработке и что теперь нужно уметь начинающему программисту
25.06.2026 06:00:06 | Хабр

Инциденты под контролем: дежурный бот, MAX и путь к SRE-помощнику
25.06.2026 06:00:05 | Хабр

[Перевод] Зачем Meta* уничтожает свой отдел разработки?
25.06.2026 05:56:30 | Хабр

Сначала ИИ съел джуниоров. Потом — сеньоров. А потом оказалось, что новым специалистам взяться неоткуда
25.06.2026 05:44:59 | Хабр

Управление уязвимостями с нуля: что это, зачем и из каких этапов состоит
25.06.2026 05:30:55 | Хабр

[Перевод] Динамические иконки приложения на Flutter: подробная инструкция для ручного выбора и обновлений по воздуху
25.06.2026 02:30:09 | Хабр

Мы не выравниваем железо — мы выравниваем реальность: как превратить любой лазерный гравер в прецизионный фотоплоттер
25.06.2026 00:03:18 | Хабр

В МФТИ разработали метод выращивания сетчатки для лечения слепоты
24.06.2026 23:32:11 | ferra.ru

Газотурбинное оборудование ОДК отработало свыше 50 млн часов на объектах ТЭК
24.06.2026 23:32:05 | ferra.ru

Тысячи старых роутеров D-Link превратили в «оружие». Заражение всё ещё идёт
24.06.2026 23:10:19 | ferra.ru

Как создать рекламный баннер с помощью нейросети — Сравниваем ТОП-6 ИИ для баннеров
24.06.2026 22:57:29 | Хабр

В Новосибисрке создали систему для планирования операций на пяточной кости
24.06.2026 22:48:13 | ferra.ru

Практическое махоботоводство в 2026 году. Часть 3: подробно про загрузку файлов
24.06.2026 22:39:02 | Хабр

Дмитрий Григоренко: отечественные ИИ-модели получат приоритетную поддержку
24.06.2026 22:03:09 | it-world

Смотреть все

НОВОСТИ

У побережья Стамбула столкнулись два корабля, спасатели ищут моряков
02.09.2026 08:55:00 | Российская Газета

Необходимость возобновления полетов на советских самолетах объяснили
02.09.2026 08:53:40 | Lenta.ru

Мужчинам рассказали три неочевидных факта о раке предстательной железы
02.09.2026 08:51:50 | Lenta.ru

Грушко: отказ от газа из России ударил по экономике стран ЕС
02.09.2026 08:51:15 | ТАСС

В "Динамо" заявили, что Плата и Мартинс не отвечали долгосрочным интересам
02.09.2026 08:51:08 | ТАСС

В "Яндексе" прогнозирует РФ отставание при отказе от открытых ИИ-моделей
02.09.2026 08:50:46 | ТАСС

Собянин сообщил об уничтожении ещё трёх вражеских БПЛА, летевших на Москву
02.09.2026 08:50:38 | Life.ru

Грушко: Отказ от российского газа ударил по экономике Европы
02.09.2026 08:50:03 | Life.ru

В Киеве произошел пожар
02.09.2026 08:49:33 | ТАСС

Макрон, Рютте и фон дер Ляйен отреагировали на заявление Германии в адрес России
02.09.2026 08:49:00 | Lenta.ru

В Башкирии рассказали о состоянии пострадавшего при нападении с ножом школьника
02.09.2026 08:48:39 | ТАСС

В Башкирии девятиклассник во время урока ударил сверстника ножом
02.09.2026 08:48:00 | ТАСС

«Герань-4 сикер» в деле: Уничтожен логистический хаб в Киевской области
02.09.2026 08:47:14 | Life.ru

Командование ВСУ обмануло украинских военных инженеров
02.09.2026 08:46:22 | Lenta.ru

Подросток ранил ножом одноклассника во время урока в российской школе
02.09.2026 08:44:58 | Lenta.ru

«Чайки» в огне: Российские ударные дроны нашли тайник ВСУ с комплектующими для БПЛА
02.09.2026 08:44:09 | Life.ru

Иран сообщил об атаке на базы США в ОАЭ и Бахрейне
02.09.2026 08:43:03 | ТАСС

В Кургане потолок в жилом доме обрушился на пенсионерку
02.09.2026 08:42:44 | ТАСС

Захарова ответила на угрозы Зеленского
02.09.2026 08:42:05 | Lenta.ru

Минэнерго: "Сила Сибири - 2" может получить название "Сила Байкала"
02.09.2026 08:41:40 | ТАСС

Медведев назвал глав европейских стран спонсорами терроризма киевского режима
02.09.2026 08:41:00 | ТАСС

В Росатоме заявили, что изменение климата не делает судоходство по СМП безопаснее
02.09.2026 08:40:44 | ТАСС

США атаковали два танкера Ирана в рамках новой стратегии Трампа
02.09.2026 08:39:52 | Lenta.ru

В России выросло число трудовых мигрантов
02.09.2026 08:39:39 | Lenta.ru

В Москве 5 сентября перекроют Цветной бульвар из-за детского велофестиваля
02.09.2026 08:39:37 | ТАСС

Без света и логистики: Россия нанесла массированный удар по энергосистеме Одессы
02.09.2026 08:39:21 | Life.ru

Минфин заявил о существенном росте доли рубля в международных расчетах
02.09.2026 08:39:01 | ТАСС

На подлете к Москве уничтожили еще три БПЛА
02.09.2026 08:39:00 | Lenta.ru

Сильное землетрясение произошло в курортной стране
02.09.2026 08:37:45 | Lenta.ru

В России раскрыли планы НАТО на агрессивный конфликт с Москвой. Как альянс готовится к войне?
02.09.2026 08:37:30 | Lenta.ru

Медведев: на действия террористов отвечают встречным возмездием
02.09.2026 08:37:25 | ТАСС

Медведев сделал резкое заявление об ударе России по немецким заводам военной техники
02.09.2026 08:36:56 | Lenta.ru

Медведев: ФРГ заслуживает прямого удара по всем производствам техники для ВСУ
02.09.2026 08:36:50 | ТАСС

Удар возмездия: В Одессе сожжены цеха по сборке морских дронов и запас ГСМ
02.09.2026 08:36:25 | Life.ru

ВС РФ ударили по логистическому центру "Равен Украина" в районе Броваров
02.09.2026 08:35:59 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro