Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Культ квантования: почему 3 битные LLM это диагноз, а не оптимизация

19.05.2026 11:15:21 | Хабр

Хабы: Машинное обучение

Переход от FP16 к 8 битному квантованию был триумфом инженерии, позволившим запускать LLM на потребительском железе почти без потерь. Но сегодня индустрия сошла с ума. 4 бита стали нормой, 3 бита преподносятся как новый стандарт, а на GitHub всерьез обсуждают 2-битные и 1.58-битные модели. В этой статье мы поговорим о математике квантования и о том, почему экстремальное сжатие весов перестало быть оптимизацией и превратилось в фанатизм. Почему огромная 70B модель, урезанная до 3 бит, математически глупее, чем 32B модель в 8 битах, и как мы обманываем сами себя, глядя на метрики perplexity.

Читать далее

Подробнее

Читайте также

Лунный масс-драйвер: что строить, если Starship закрыл Землю
19.05.2026 11:13:10 | Хабр

Рациональность как недооценённая компетенция: как управлять нагрузкой вместо вечного аврала
19.05.2026 11:02:25 | Хабр

Шесть интересных логических задач
19.05.2026 10:58:49 | Хабр

Я дал LLM писать unsafe Rust полгода. Miri плакал
19.05.2026 10:57:10 | Хабр

Связь между ростом бизнеса и информационными технологиями
19.05.2026 10:52:38 | Хабр

О чём говорили на ICLR 2026? Репортаж AIRI о поездке на конференцию в Рио
19.05.2026 10:42:54 | Хабр

Meta* перенаправит 7000 сотрудников на проекты по разработке ИИ — NYT
19.05.2026 10:41:39 | vc.ru

[Перевод] YellowKey: zero-day эксплойт полностью обходит стандартную защиту BitLocker в Windows 11
19.05.2026 10:36:07 | Хабр

Почему ИИ-боты более уязвимы, чем их базовые LLM-модели?
19.05.2026 10:35:10 | Хабр

Google убрала из Gemini Thinking модель. Обзор обновления Gemini
19.05.2026 10:13:37 | Хабр

Вы неправильно тестируете асинхронный код: тест проходит раньше, чем выполняется проверка
19.05.2026 10:10:11 | Хабр

Shared-хостинг: технология уходит, а услуга остается?
19.05.2026 10:05:47 | Хабр

Почему ваши инициативы в компаниях не взлетают? Продвигаем изменения через истории
19.05.2026 09:59:01 | Хабр

[Перевод] Flutter 3.44 Конец эпохи CocoaPods и начало расцвета Swift Package Manager
19.05.2026 09:53:27 | Хабр

Держим ИИ в узде. Как при разработке сложных продуктов обеспечить преемственность и масштабируемость проекта
19.05.2026 09:47:41 | Хабр

ИИ Google Gemini Intelligence заработает лишь на считанных Android-смартфонах
19.05.2026 09:42:44 | ferra.ru

Авторизация в Go без боли: как Casbin заменяет километры if-проверок
19.05.2026 09:30:02 | Хабр

Почему в эпоху GPT, бизнесу важно конкурировать в поисковиках
19.05.2026 09:23:23 | Хабр

ИИ разработке нужны не спецификации, а полноценная трассировка требований
19.05.2026 09:17:32 | Хабр

Тихое присутствие вместо вымогательства: особенности национальных киберугроз в промышленности
19.05.2026 09:17:06 | Хабр

Нейросеть GPT Image 2: Как пользоваться в России + 20 промптов для генерации изображений и фото
19.05.2026 09:16:19 | Хабр

INFOSTART A&PM EVENT 2026 открыл прием заявок на доклады
19.05.2026 09:14:35 | Хабр

Великий парадокс VRAM: почему мы платим миллионы за память, чтобы делать всё, лишь бы ей не пользоваться
19.05.2026 09:04:27 | Хабр

Pollux: LLM-as-a-judge для русского
19.05.2026 09:00:56 | Хабр

YARL: как мы развиваем распределённый Rate Limiter
19.05.2026 09:00:54 | Хабр

М.Видео открыла предзаказ на ультратонкий планшет HUAWEI MatePad Mini
19.05.2026 09:00:47 | ferra.ru

Realme 16 5G с «зеркалом» рядом с камерами вышел в России
19.05.2026 09:00:44 | ferra.ru

Выгорание — главная IT-эпидемия нашей бытности
19.05.2026 09:00:32 | Хабр

Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow
19.05.2026 08:59:51 | Хабр

Почему 4 сеньёра могут быть эффективнее команды из 15 человек
19.05.2026 08:58:52 | Хабр

ИИ не разгружает сотрудников. Он просто повышает планку ожиданий
19.05.2026 08:55:58 | Хабр

«Норма» как закономерный результат закона о норме
19.05.2026 08:54:47 | Хабр

Устройства дополненной реальности в патентах на изобретения (в мире и в России)
19.05.2026 08:48:27 | Хабр

Не могла найти стильную одежду 60-го размера — и создала бренд с оборотом 1,7 млн рублей
19.05.2026 08:30:07 | Хабр

Тянем-потянем, вытянуть не можем. Или можем? ;-)
19.05.2026 08:24:32 | Хабр

Смотреть все

НОВОСТИ

В Курской области поврежденное ВСУ здание школы искусств внесут в "Белую книгу"
03.08.2026 13:02:53 | ТАСС

78-летний москвич дотронулся до полотенцесушителя в ванной и упал замертво
03.08.2026 13:01:55 | Life.ru

За день при подрывах на минах ВСУ пострадали шесть жителей Энергодара
03.08.2026 13:00:37 | Life.ru

МЖД изменит расписание пригородных поездов с 3 августа
03.08.2026 13:00:32 | ТАСС

Молдавский Милей, или Что зажимает в тиски новый кабмин
03.08.2026 13:00:01 | ТАСС

В Приангарье нашли уникальный древний элемент одежды из серебра
03.08.2026 12:59:26 | ТАСС

На заводе в Гусеве выпустили 30-миллионную ТВ-приставку
03.08.2026 12:59:03 | iXBT.com

У мотыльков нашли «нюх» в крыльях, и он помогает им выживать
03.08.2026 12:58:15 | Life.ru

В России появилась авиакомпания для коммерческих полетов на аэростате
03.08.2026 12:58:06 | Коммерсантъ

МО РФ назвало Белый Колодезь и Устиновка важными логистическими центрами ВСУ
03.08.2026 12:57:57 | ТАСС

Найдены уральские айдолы
03.08.2026 12:57:57 | Lenta.ru

Акции «Сегежи» подскочили на 25% на фоне развития связей с Китаем
03.08.2026 12:57:46 | РБК

ТАСС: силовики РФ убедили жителей Белого Колодезя покинуть поселок перед боем
03.08.2026 12:56:23 | ТАСС

Дима Билан обратился к раскритиковавшим его концерт фанатам
03.08.2026 12:56:14 | Lenta.ru

Раскрыта главная цель переговоров Трампа с Ираном
03.08.2026 12:56:03 | Lenta.ru

Синхронист Трофимов связал с усталостью и легкостью программы отсутствие медали в соло
03.08.2026 12:55:51 | ТАСС

Экс-начальник Казанского вокзала получил 8,5 лет колонии за взятку
03.08.2026 12:55:29 | РБК

На улице Кухмистерова в Москве обновили асфальт
03.08.2026 12:55:18 | ТАСС

Малофеев предупредил о риске технофашизма и цифрового концлагеря
03.08.2026 12:55:11 | Lenta.ru

Хабиров поручил передать "Защитникам Отечества" машины мэрии Уфы, возившие судей
03.08.2026 12:55:09 | ТАСС

На Украине оценили вероятность возвращения Федорова на должность министра обороны
03.08.2026 12:54:48 | Lenta.ru

«Снова бы убил»: Житель Южноуральска выкинул отца из окна 4-го этажа и не раскаялся
03.08.2026 12:53:58 | Life.ru

В Подмосковье задержали подозреваемого в нападении с ножом на двух мужчин
03.08.2026 12:53:18 | Life.ru

В Москве обновляют Ново-Екатерининский сквер
03.08.2026 12:53:08 | ТАСС

Умер победитель первых Игр доброй воли по боксу Руслан Тарамов
03.08.2026 12:53:00 | РБК

Взрыв газа во время подготовки к свадьбе. Что известно о ЧП в КЧР
03.08.2026 12:52:59 | ТАСС

На Украине назвали новую должность Умерова
03.08.2026 12:52:02 | РБК

Операторы начали блокировать массовые звонки без маркировки
03.08.2026 12:51:49 | РБК

Собянин: спортивные площадки благоустраивают во дворах Москвы
03.08.2026 12:51:45 | ТАСС

Стало известно о состоянии заразившейся ВИЧ и гепатитом С в больнице российской школьницы
03.08.2026 12:51:00 | Lenta.ru

РЖД ввели услугу по доставке багажа от "Сапсана" в любую точку Москвы
03.08.2026 12:50:22 | ТАСС

Евродепутат Делла Валле: поставки западного вооружения Киеву лишь отдаляют мир
03.08.2026 12:49:58 | ТАСС

«УАЗ» решил зарегистрировать легендарное прозвище машины как официальное название
03.08.2026 12:49:52 | Lenta.ru

В Чувашии после очистки канализации госпитализировали пятерых рабочих
03.08.2026 12:49:48 | ТАСС

В САФУ повысят точность анализа загрязнения болот продуктами распада ракетного топлива
03.08.2026 12:49:23 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro