Культ квантования: почему 3 битные LLM это диагноз, а не оптимизация

19.05.2026 11:15:21 | Хабр

Хабы: Машинное обучение

Переход от FP16 к 8 битному квантованию был триумфом инженерии, позволившим запускать LLM на потребительском железе почти без потерь. Но сегодня индустрия сошла с ума. 4 бита стали нормой, 3 бита преподносятся как новый стандарт, а на GitHub всерьез обсуждают 2-битные и 1.58-битные модели. В этой статье мы поговорим о математике квантования и о том, почему экстремальное сжатие весов перестало быть оптимизацией и превратилось в фанатизм. Почему огромная 70B модель, урезанная до 3 бит, математически глупее, чем 32B модель в 8 битах, и как мы обманываем сами себя, глядя на метрики perplexity.

Подробнее

Читайте также

Лунный масс-драйвер: что строить, если Starship закрыл Землю
19.05.2026 11:13:10 | Хабр

Рациональность как недооценённая компетенция: как управлять нагрузкой вместо вечного аврала
19.05.2026 11:02:25 | Хабр

Шесть интересных логических задач
19.05.2026 10:58:49 | Хабр

Я дал LLM писать unsafe Rust полгода. Miri плакал
19.05.2026 10:57:10 | Хабр

Связь между ростом бизнеса и информационными технологиями
19.05.2026 10:52:38 | Хабр

О чём говорили на ICLR 2026? Репортаж AIRI о поездке на конференцию в Рио
19.05.2026 10:42:54 | Хабр

Meta* перенаправит 7000 сотрудников на проекты по разработке ИИ — NYT
19.05.2026 10:41:39 | vc.ru

[Перевод] YellowKey: zero-day эксплойт полностью обходит стандартную защиту BitLocker в Windows 11
19.05.2026 10:36:07 | Хабр

Почему ИИ-боты более уязвимы, чем их базовые LLM-модели?
19.05.2026 10:35:10 | Хабр

Google убрала из Gemini Thinking модель. Обзор обновления Gemini
19.05.2026 10:13:37 | Хабр

Вы неправильно тестируете асинхронный код: тест проходит раньше, чем выполняется проверка
19.05.2026 10:10:11 | Хабр

Shared-хостинг: технология уходит, а услуга остается?
19.05.2026 10:05:47 | Хабр

Почему ваши инициативы в компаниях не взлетают? Продвигаем изменения через истории
19.05.2026 09:59:01 | Хабр

[Перевод] Flutter 3.44 Конец эпохи CocoaPods и начало расцвета Swift Package Manager
19.05.2026 09:53:27 | Хабр

Держим ИИ в узде. Как при разработке сложных продуктов обеспечить преемственность и масштабируемость проекта
19.05.2026 09:47:41 | Хабр

ИИ Google Gemini Intelligence заработает лишь на считанных Android-смартфонах
19.05.2026 09:42:44 | ferra.ru

Авторизация в Go без боли: как Casbin заменяет километры if-проверок
19.05.2026 09:30:02 | Хабр

Почему в эпоху GPT, бизнесу важно конкурировать в поисковиках
19.05.2026 09:23:23 | Хабр

ИИ разработке нужны не спецификации, а полноценная трассировка требований
19.05.2026 09:17:32 | Хабр

Тихое присутствие вместо вымогательства: особенности национальных киберугроз в промышленности
19.05.2026 09:17:06 | Хабр

Нейросеть GPT Image 2: Как пользоваться в России + 20 промптов для генерации изображений и фото
19.05.2026 09:16:19 | Хабр

INFOSTART A&PM EVENT 2026 открыл прием заявок на доклады
19.05.2026 09:14:35 | Хабр

Великий парадокс VRAM: почему мы платим миллионы за память, чтобы делать всё, лишь бы ей не пользоваться
19.05.2026 09:04:27 | Хабр

Pollux: LLM-as-a-judge для русского
19.05.2026 09:00:56 | Хабр

YARL: как мы развиваем распределённый Rate Limiter
19.05.2026 09:00:54 | Хабр

М.Видео открыла предзаказ на ультратонкий планшет HUAWEI MatePad Mini
19.05.2026 09:00:47 | ferra.ru

Realme 16 5G с «зеркалом» рядом с камерами вышел в России
19.05.2026 09:00:44 | ferra.ru

Выгорание — главная IT-эпидемия нашей бытности
19.05.2026 09:00:32 | Хабр

Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow
19.05.2026 08:59:51 | Хабр

Почему 4 сеньёра могут быть эффективнее команды из 15 человек
19.05.2026 08:58:52 | Хабр

ИИ не разгружает сотрудников. Он просто повышает планку ожиданий
19.05.2026 08:55:58 | Хабр

«Норма» как закономерный результат закона о норме
19.05.2026 08:54:47 | Хабр

Устройства дополненной реальности в патентах на изобретения (в мире и в России)
19.05.2026 08:48:27 | Хабр

Не могла найти стильную одежду 60-го размера — и создала бренд с оборотом 1,7 млн рублей
19.05.2026 08:30:07 | Хабр

Тянем-потянем, вытянуть не можем. Или можем? ;-)
19.05.2026 08:24:32 | Хабр

Смотреть все

НОВОСТИ

Собянин сообщил о завершении реставрации усадьбы Покровское-Стрешнево
10.06.2026 13:32:48 | ТАСС

Портфель заказов BrahMos Aerospace составляет порядка $ 6 млрд
10.06.2026 13:32:26 | ТАСС

Bramos доработает ракету "Брамос-НГ" под новые требования заказчика в 2027 году
10.06.2026 13:32:12 | ТАСС

Недостаточно большой: Новый страх за свой «бугорок» одолел мужчин в эпоху луксмаксинга
10.06.2026 13:32:01 | Life.ru

Хобби — подписывать пустышки: Экс-нардеп Клинкаров высмеял «балтийский пиар» Зеленского
10.06.2026 13:31:38 | Life.ru

Эрдоган: нападения Израиля на Сирию и Ливан стали угрозой и для Турции
10.06.2026 13:29:57 | ТАСС

Главком ВМФ: морской "Панцирь" позволяет кораблю эффективно отразить атаки БПЛА
10.06.2026 13:29:53 | ТАСС

В Нижневартовске задержали похитителя десятилетней девочки
10.06.2026 13:29:23 | Life.ru

В Новосибирске мужчину осудили за диверсию по заданию куратора с Украины
10.06.2026 13:29:20 | ТАСС

"Добрый ПМЭФ" привлек 150 млн рублей инвестиций в социальные проекты
10.06.2026 13:29:06 | ТАСС

"Да побойтесь Бога". Захарова отреагировала на притеснения православия в Эстонии
10.06.2026 13:28:17 | ТАСС

Лавров: главы МИД стран ОДКБ провели большую работу по подготовке к саммиту
10.06.2026 13:27:52 | ТАСС

«Семьи попадают в ловушку»: В Госдуме призвали пересмотреть закон о маткапитале
10.06.2026 13:26:45 | Life.ru

В ОКР считают, что вопрос восстановления РУСАДА скоро выйдет на первый план
10.06.2026 13:26:42 | ТАСС

Мединский, Дегтярев, Маршал. Кого ЕС планирует внести в 21-й пакет санкций
10.06.2026 13:26:26 | ТАСС

В Приангарье представлены новый прокурор и председатель областного суда
10.06.2026 13:26:17 | Коммерсантъ

Автовладельцам рассказали об опасности тополиного пуха
10.06.2026 13:26:14 | Lenta.ru

В Армении потребовали аннулировать голоса на одном из участков
10.06.2026 13:26:07 | Lenta.ru

Пасечник назвал атаки ВСУ на мирных жителей лишенными военного смысла
10.06.2026 13:25:57 | ТАСС

Россиянам раскрыли цены на отдых в санаториях Белоруссии осенью
10.06.2026 13:25:00 | Lenta.ru

Кремль рассчитывает на дальнейший вклад Моди в развитие отношений РФ и Индии
10.06.2026 13:25:00 | Российская Газета

В Госдуме назвали важное условие при установке летнего душа на даче
10.06.2026 13:24:29 | Lenta.ru

Женщина упала в мусоропровод и пролетела вниз 10 этажей
10.06.2026 13:24:23 | Lenta.ru

Все новейшие корабли ВМС Индии будут оснащаться крылатой ракетой "Брамос"
10.06.2026 13:23:03 | ТАСС

Депутат Рады Гончаренко потребовал от Зеленского представить план мира
10.06.2026 13:22:26 | ТАСС

Глава минобороны Польши пригрозил Украине конфронтацией
10.06.2026 13:21:00 | Российская Газета

В ЛНР при атаке ВСУ на автомобиль пострадал человек
10.06.2026 13:20:53 | ТАСС

Удар по гостинице с морпехами ВСУ и масштабный налет на Харьков. Подробности новой серии атак по Украине
10.06.2026 13:20:42 | Lenta.ru

Захарова: РФ будет делать все, чтобы не допустить эскалации в Приднестровье
10.06.2026 13:20:29 | ТАСС

Милонов высказался о пенсии уехавшей из России Ахеджаковой
10.06.2026 13:20:10 | Lenta.ru

Филипп Киркоров снялся для бренда Гоши Рубчинского в приспущенных штанах
10.06.2026 13:20:00 | Lenta.ru

МИД высказался о возможности объединения Молдавии и Румынии
10.06.2026 13:19:49 | Lenta.ru

На Урале осудили владельца собаки, травмировавшей двоих детей
10.06.2026 13:19:37 | ТАСС

Лучшего судью Африки не пустили на ЧМ в США из-за «связей с террористами»
10.06.2026 13:19:28 | Life.ru

Песков: Россия и Индия развивают сотрудничество во всех областях
10.06.2026 13:19:22 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro