Культ квантования: почему 3 битные LLM это диагноз, а не оптимизация

19.05.2026 11:15:21 | Хабр

Хабы: Машинное обучение

Переход от FP16 к 8 битному квантованию был триумфом инженерии, позволившим запускать LLM на потребительском железе почти без потерь. Но сегодня индустрия сошла с ума. 4 бита стали нормой, 3 бита преподносятся как новый стандарт, а на GitHub всерьез обсуждают 2-битные и 1.58-битные модели. В этой статье мы поговорим о математике квантования и о том, почему экстремальное сжатие весов перестало быть оптимизацией и превратилось в фанатизм. Почему огромная 70B модель, урезанная до 3 бит, математически глупее, чем 32B модель в 8 битах, и как мы обманываем сами себя, глядя на метрики perplexity.

Подробнее

Читайте также

Лунный масс-драйвер: что строить, если Starship закрыл Землю
19.05.2026 11:13:10 | Хабр

Рациональность как недооценённая компетенция: как управлять нагрузкой вместо вечного аврала
19.05.2026 11:02:25 | Хабр

Шесть интересных логических задач
19.05.2026 10:58:49 | Хабр

Я дал LLM писать unsafe Rust полгода. Miri плакал
19.05.2026 10:57:10 | Хабр

Связь между ростом бизнеса и информационными технологиями
19.05.2026 10:52:38 | Хабр

О чём говорили на ICLR 2026? Репортаж AIRI о поездке на конференцию в Рио
19.05.2026 10:42:54 | Хабр

Meta* перенаправит 7000 сотрудников на проекты по разработке ИИ — NYT
19.05.2026 10:41:39 | vc.ru

[Перевод] YellowKey: zero-day эксплойт полностью обходит стандартную защиту BitLocker в Windows 11
19.05.2026 10:36:07 | Хабр

Почему ИИ-боты более уязвимы, чем их базовые LLM-модели?
19.05.2026 10:35:10 | Хабр

Google убрала из Gemini Thinking модель. Обзор обновления Gemini
19.05.2026 10:13:37 | Хабр

Вы неправильно тестируете асинхронный код: тест проходит раньше, чем выполняется проверка
19.05.2026 10:10:11 | Хабр

Shared-хостинг: технология уходит, а услуга остается?
19.05.2026 10:05:47 | Хабр

Почему ваши инициативы в компаниях не взлетают? Продвигаем изменения через истории
19.05.2026 09:59:01 | Хабр

[Перевод] Flutter 3.44 Конец эпохи CocoaPods и начало расцвета Swift Package Manager
19.05.2026 09:53:27 | Хабр

Держим ИИ в узде. Как при разработке сложных продуктов обеспечить преемственность и масштабируемость проекта
19.05.2026 09:47:41 | Хабр

ИИ Google Gemini Intelligence заработает лишь на считанных Android-смартфонах
19.05.2026 09:42:44 | ferra.ru

Авторизация в Go без боли: как Casbin заменяет километры if-проверок
19.05.2026 09:30:02 | Хабр

Почему в эпоху GPT, бизнесу важно конкурировать в поисковиках
19.05.2026 09:23:23 | Хабр

ИИ разработке нужны не спецификации, а полноценная трассировка требований
19.05.2026 09:17:32 | Хабр

Тихое присутствие вместо вымогательства: особенности национальных киберугроз в промышленности
19.05.2026 09:17:06 | Хабр

Нейросеть GPT Image 2: Как пользоваться в России + 20 промптов для генерации изображений и фото
19.05.2026 09:16:19 | Хабр

INFOSTART A&PM EVENT 2026 открыл прием заявок на доклады
19.05.2026 09:14:35 | Хабр

Великий парадокс VRAM: почему мы платим миллионы за память, чтобы делать всё, лишь бы ей не пользоваться
19.05.2026 09:04:27 | Хабр

Pollux: LLM-as-a-judge для русского
19.05.2026 09:00:56 | Хабр

YARL: как мы развиваем распределённый Rate Limiter
19.05.2026 09:00:54 | Хабр

М.Видео открыла предзаказ на ультратонкий планшет HUAWEI MatePad Mini
19.05.2026 09:00:47 | ferra.ru

Realme 16 5G с «зеркалом» рядом с камерами вышел в России
19.05.2026 09:00:44 | ferra.ru

Выгорание — главная IT-эпидемия нашей бытности
19.05.2026 09:00:32 | Хабр

Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow
19.05.2026 08:59:51 | Хабр

Почему 4 сеньёра могут быть эффективнее команды из 15 человек
19.05.2026 08:58:52 | Хабр

ИИ не разгружает сотрудников. Он просто повышает планку ожиданий
19.05.2026 08:55:58 | Хабр

«Норма» как закономерный результат закона о норме
19.05.2026 08:54:47 | Хабр

Устройства дополненной реальности в патентах на изобретения (в мире и в России)
19.05.2026 08:48:27 | Хабр

Не могла найти стильную одежду 60-го размера — и создала бренд с оборотом 1,7 млн рублей
19.05.2026 08:30:07 | Хабр

Тянем-потянем, вытянуть не можем. Или можем? ;-)
19.05.2026 08:24:32 | Хабр

Смотреть все

НОВОСТИ

Будет ли новая Fabia? Есть мысли по этому поводу
09.09.2026 17:40:00 | За рулем

Путин поздравил Ким Чен Ына с 78-й годовщиной образования КНДР
09.09.2026 00:47:08 | Lenta.ru

В Новороссийске при атаке БПЛА ВСУ произошло возгорание на предприятии
09.09.2026 00:45:00 | Life.ru

Опять квартира с душком: Долиной досталось элитное жильё, а бывший хозяин подался в бега
09.09.2026 00:45:00 | Life.ru

SNN: Иран ударил ракетами по базам США в Иордании
09.09.2026 00:44:55 | ТАСС

Al Hadath: Иордания отражает ракетную атаку Ирана
09.09.2026 00:43:22 | ТАСС

В Новороссийске обломки БПЛА упали рядом с домом и на территории предприятия
09.09.2026 00:41:21 | ТАСС

Раскрыты итоги конфликта на Украине для России
09.09.2026 00:40:45 | Lenta.ru

Российский вратарь Самсонов подписал контракт с «Сан-Хосе»
09.09.2026 00:38:20 | Life.ru

Глава Россотрудничества встретил сотрудников Русского дома в Берлине
09.09.2026 00:36:15 | ТАСС

В Индии известного музыканта забили до смерти за просьбу не шуметь
09.09.2026 00:36:00 | Российская Газета

На юге России обломки беспилотников упали на территорию предприятий
09.09.2026 00:35:00 | Lenta.ru

Туристов в Кыргызстане будут страховать в обязательном порядке
09.09.2026 00:35:00 | Российская Газета

Россия ждет от Ватикана более четкой реакции на доклад о гонениях на УПЦ
09.09.2026 00:34:08 | ТАСС

У берегов Камчатки за утро произошли два землетрясения
09.09.2026 00:32:41 | ТАСС

В Орехово-Зуево в ДТП погиб человек, троих госпитализировали
09.09.2026 00:32:04 | Life.ru

SNN: Иран запустил ракеты по объектам США на Ближнем Востоке в ответ на удары по судам
09.09.2026 00:31:18 | ТАСС

Учительница объяснила совращение школьников стремлением к популярности
09.09.2026 00:30:23 | Lenta.ru

Раскрыт неочевидный фактор снижения риска инсульта
09.09.2026 00:30:17 | Lenta.ru

В ДНР при ударах ВСУ за сутки погиб мирный житель
09.09.2026 00:29:33 | ТАСС

В ДНР из-за обстрела ВСУ погиб мирный житель
09.09.2026 00:29:33 | ТАСС

Путин проведет переговоры с лидером одной страны
09.09.2026 00:26:43 | Lenta.ru

Посольство РФ в ФРГ принимает меры для сохранения объемов консульской помощи
09.09.2026 00:25:44 | ТАСС

Трамп поручил исключить канадскую продукцию из госзакупок на $50 млрд в год
09.09.2026 00:25:31 | ТАСС

Трамп поручил исключить канадскую продукцию из госзакупок США на $50 млрд в год
09.09.2026 00:25:31 | ТАСС

Этап Гран-при России по фигурному катанию в Нижнем Новгороде отменён
09.09.2026 00:25:10 | Life.ru

Байден рассказал о работе над мемуарами после выявления рака
09.09.2026 00:22:59 | Lenta.ru

В Иране заявили об ударе США по торговому судну рядом с портом Джаск
09.09.2026 00:22:46 | ТАСС

США атаковали еще одно иранское торговое судно рядом с портом Джаск
09.09.2026 00:22:46 | ТАСС

В России оценили возможность послаблений в торгово-экономических отношениях с Арменией
09.09.2026 00:22:43 | Lenta.ru

Суд в Оренбурге смягчил наказание организаторам вечеринок в формате ЛГБТ*
09.09.2026 00:21:24 | Life.ru

С 14 сентября курс рубля получит новый импульс. Какой уровень протестирует доллар
09.09.2026 00:20:00 | Life.ru

В ТЦК оправдали избиение женщины во Львове
09.09.2026 00:17:29 | Lenta.ru

Из-за падения обломков БПЛА в заповеднике Утриш под Анапой вспыхнул пожар
09.09.2026 00:17:21 | Life.ru

Захарова сообщила о невероятной поддержке заявления Путина о безвизе с КНР
09.09.2026 00:16:17 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro