Культ квантования: почему 3 битные LLM это диагноз, а не оптимизация

19.05.2026 11:15:21 | Хабр

Хабы: Машинное обучение

Переход от FP16 к 8 битному квантованию был триумфом инженерии, позволившим запускать LLM на потребительском железе почти без потерь. Но сегодня индустрия сошла с ума. 4 бита стали нормой, 3 бита преподносятся как новый стандарт, а на GitHub всерьез обсуждают 2-битные и 1.58-битные модели. В этой статье мы поговорим о математике квантования и о том, почему экстремальное сжатие весов перестало быть оптимизацией и превратилось в фанатизм. Почему огромная 70B модель, урезанная до 3 бит, математически глупее, чем 32B модель в 8 битах, и как мы обманываем сами себя, глядя на метрики perplexity.

Подробнее

Читайте также

Лунный масс-драйвер: что строить, если Starship закрыл Землю
19.05.2026 11:13:10 | Хабр

Рациональность как недооценённая компетенция: как управлять нагрузкой вместо вечного аврала
19.05.2026 11:02:25 | Хабр

Шесть интересных логических задач
19.05.2026 10:58:49 | Хабр

Я дал LLM писать unsafe Rust полгода. Miri плакал
19.05.2026 10:57:10 | Хабр

Связь между ростом бизнеса и информационными технологиями
19.05.2026 10:52:38 | Хабр

О чём говорили на ICLR 2026? Репортаж AIRI о поездке на конференцию в Рио
19.05.2026 10:42:54 | Хабр

Meta* перенаправит 7000 сотрудников на проекты по разработке ИИ — NYT
19.05.2026 10:41:39 | vc.ru

[Перевод] YellowKey: zero-day эксплойт полностью обходит стандартную защиту BitLocker в Windows 11
19.05.2026 10:36:07 | Хабр

Почему ИИ-боты более уязвимы, чем их базовые LLM-модели?
19.05.2026 10:35:10 | Хабр

Google убрала из Gemini Thinking модель. Обзор обновления Gemini
19.05.2026 10:13:37 | Хабр

Вы неправильно тестируете асинхронный код: тест проходит раньше, чем выполняется проверка
19.05.2026 10:10:11 | Хабр

Shared-хостинг: технология уходит, а услуга остается?
19.05.2026 10:05:47 | Хабр

Почему ваши инициативы в компаниях не взлетают? Продвигаем изменения через истории
19.05.2026 09:59:01 | Хабр

[Перевод] Flutter 3.44 Конец эпохи CocoaPods и начало расцвета Swift Package Manager
19.05.2026 09:53:27 | Хабр

Держим ИИ в узде. Как при разработке сложных продуктов обеспечить преемственность и масштабируемость проекта
19.05.2026 09:47:41 | Хабр

ИИ Google Gemini Intelligence заработает лишь на считанных Android-смартфонах
19.05.2026 09:42:44 | ferra.ru

Авторизация в Go без боли: как Casbin заменяет километры if-проверок
19.05.2026 09:30:02 | Хабр

Почему в эпоху GPT, бизнесу важно конкурировать в поисковиках
19.05.2026 09:23:23 | Хабр

ИИ разработке нужны не спецификации, а полноценная трассировка требований
19.05.2026 09:17:32 | Хабр

Тихое присутствие вместо вымогательства: особенности национальных киберугроз в промышленности
19.05.2026 09:17:06 | Хабр

Нейросеть GPT Image 2: Как пользоваться в России + 20 промптов для генерации изображений и фото
19.05.2026 09:16:19 | Хабр

INFOSTART A&PM EVENT 2026 открыл прием заявок на доклады
19.05.2026 09:14:35 | Хабр

Великий парадокс VRAM: почему мы платим миллионы за память, чтобы делать всё, лишь бы ей не пользоваться
19.05.2026 09:04:27 | Хабр

Pollux: LLM-as-a-judge для русского
19.05.2026 09:00:56 | Хабр

YARL: как мы развиваем распределённый Rate Limiter
19.05.2026 09:00:54 | Хабр

М.Видео открыла предзаказ на ультратонкий планшет HUAWEI MatePad Mini
19.05.2026 09:00:47 | ferra.ru

Realme 16 5G с «зеркалом» рядом с камерами вышел в России
19.05.2026 09:00:44 | ferra.ru

Выгорание — главная IT-эпидемия нашей бытности
19.05.2026 09:00:32 | Хабр

Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow
19.05.2026 08:59:51 | Хабр

Почему 4 сеньёра могут быть эффективнее команды из 15 человек
19.05.2026 08:58:52 | Хабр

ИИ не разгружает сотрудников. Он просто повышает планку ожиданий
19.05.2026 08:55:58 | Хабр

«Норма» как закономерный результат закона о норме
19.05.2026 08:54:47 | Хабр

Устройства дополненной реальности в патентах на изобретения (в мире и в России)
19.05.2026 08:48:27 | Хабр

Не могла найти стильную одежду 60-го размера — и создала бренд с оборотом 1,7 млн рублей
19.05.2026 08:30:07 | Хабр

Тянем-потянем, вытянуть не можем. Или можем? ;-)
19.05.2026 08:24:32 | Хабр

Смотреть все

НОВОСТИ

Балицкий сообщил о высокой дроновой активности в Мелитопольском округе
10.06.2026 23:48:04 | Life.ru

В Запорожской области ограничили перевозку организованных детских групп
10.06.2026 23:43:39 | Life.ru

Макрон заявил об участии Зеленского в саммите G7
10.06.2026 23:43:00 | Lenta.ru

Трамп провел заседание в Ситуационной комнате для обсуждения новых ударов по Ирану
10.06.2026 23:40:46 | Lenta.ru

Трамп заявил, что на чемпионат мира в США попадут лишь "правильные" иностранцы
10.06.2026 23:40:00 | Российская Газета

ТАСС: самолет-заправщик США второй вечер летает у границ Ирана
10.06.2026 23:39:35 | ТАСС

Два мирных жителя ранены при ударе дрона ВСУ по авто в Белгородской области
10.06.2026 23:39:35 | Life.ru

Пострадавшим и родственникам погибших в ДТП в Екатеринбурге окажут помощь
10.06.2026 23:39:32 | ТАСС

ВСУ начали массированную атаку на российский регион
10.06.2026 23:38:59 | Lenta.ru

Во Франции раскрыли состояние Зеленского
10.06.2026 23:37:00 | Lenta.ru

Зеленский предложил Прибалтике сделку по дронам
10.06.2026 23:35:00 | Lenta.ru

Украина впервые забронировала долгосрочные мощности газового терминала в Европе
10.06.2026 23:35:00 | Lenta.ru

Над Крымом и Севастополем сбили 10 БПЛА
10.06.2026 23:33:48 | ТАСС

Делегация РФ в Вене: спонсорами убийства россиян являются участники "коалиции дронов"
10.06.2026 23:31:20 | ТАСС

На фасаде Дома правительства зажглась подсветка ко Дню России
10.06.2026 23:29:57 | ТАСС

Омбудсмен Украины ушёл от ответа на вопрос об объятиях при передаче пленных
10.06.2026 23:27:33 | Life.ru

На Украине признали падение эффективности ПВО
10.06.2026 23:24:11 | Lenta.ru

Торги на Нью-Йоркской бирже закрылись снижением индексов после слов Трампа по Ирану
10.06.2026 23:23:59 | ТАСС

НКО смогут на "Госуслугах" подтверждать свои соцсети
10.06.2026 23:23:27 | ТАСС

Папа Римский освятил самую высокую башню храма Святого Семейства в Барселоне
10.06.2026 23:20:42 | ТАСС

В Башкирии задержали банду, оформлявшую SIM-карты на погибших бойцов СВО
10.06.2026 23:19:12 | Life.ru

Шуваев обсудил с Хуснуллиным развитие опорных населенных пунктов Белгородской области
10.06.2026 23:18:11 | ТАСС

Постпред Ирана при ООН призвал Трампа воздержаться от угроз Тегерану
10.06.2026 23:13:41 | ТАСС

Постпред при ООН: президенту США стоит воздержаться от угроз в адрес Ирана
10.06.2026 23:13:41 | ТАСС

В Ингушетии устанавливают двуязычные указатели для сохранения родного языка
10.06.2026 23:10:01 | ТАСС

Sky: полиция Белфаста применила водомет для разгона антимигрантских протестов
10.06.2026 23:09:54 | ТАСС

Стоимость фьючерса на золото опустилась ниже $4 100 впервые с 24 ноября
10.06.2026 23:08:35 | ТАСС

Стоимость фьючерса на золото опустилась ниже $4 100 впервые с 24 ноября 2025 года
10.06.2026 23:08:35 | ТАСС

В историческом центре Ростова-на-Дону загорелись два дома
10.06.2026 23:07:22 | ТАСС

В восьми округах Херсонской области восстановили подачу электричества
10.06.2026 23:06:27 | Life.ru

ОП: число негосударственных организаций - поставщиков соцуслуг выросло на 7%
10.06.2026 23:03:01 | ТАСС

В Горловке при атаке ВСУ пострадал мужчина
10.06.2026 23:02:52 | ТАСС

Корстин: ЦСКА является неудобным соперником для УНИКСа в решающих стадиях
10.06.2026 23:02:27 | ТАСС

Путин поприветствовал участников и гостей форума «ШУМ»
10.06.2026 23:00:45 | Life.ru

Создана интерактивная "карта профессий" Старой Руссы XVII века
10.06.2026 23:00:31 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro