Маленькая модель на 0.6B держит квантование лучше, чем «крупная» на 1B: измерил деградацию function-calling на 4 ГБ VRAM

07.07.2026 14:38:15 | Хабр

Хабы: Машинное обучение, Python, Open source, Высоконагруженные системы, DevOps

Как квантование ломает function-calling у LLM? Собрал бенчмарк QuantCall, протестировав модели на 4 ГБ VRAM. Главный инсайт: устойчивость к квантам зависит не от размера, а от семейства. Меньшая Qwen3-0.6B стабильно генерирует валидный JSON даже на Q4, а более крупная Llama-3.2-1B деградирует уже на Q8, путая типы данных. Также GBNF-грамматики не спасают от ошибок, но заметно замедляют инференс.

Подробнее

Читайте также

«Роскосмос» ввёл правила заказа и продажи спутниковых снимков Земли госорганам — раньше они получали их бесплатно
07.07.2026 14:36:28 | vc.ru

Лучшие нейросети для создания презентаций по тексту, выбираем ТОП-5 ИИ для создания и улучшение слайдов
07.07.2026 14:34:41 | Хабр

Гибридные команды и агентская память: как мы учимся усиливать людей, а не заменять их
07.07.2026 14:25:34 | Хабр

Samsung пожертвовала удобством ради плоского экрана в складном Galaxy Z Fold8
07.07.2026 14:17:08 | ferra.ru

Amazon закроет доступ новым клиентам к 20-летнему сервису MTurk
07.07.2026 14:05:46 | ferra.ru

GitFlic CI/CD: первый конвейер с нуля — от коммита до деплоя
07.07.2026 14:01:34 | Хабр

Куда делись мои токены?
07.07.2026 13:53:53 | Хабр

Геймификация в IT: как сделать так, чтобы она не бесила команду
07.07.2026 13:51:13 | Хабр

Технический долг — это не только legacy: как мы уменьшаем разброс решений между Go-сервисами
07.07.2026 13:32:53 | Хабр

Ни ИСУП, ни регламенты. Единственное, что делает проекты управляемыми
07.07.2026 13:31:56 | Хабр

Внедрение цифрового рубля: что протестировать уже сейчас, чтобы избежать сбоев и не напороться на штрафы
07.07.2026 13:21:51 | Хабр

Идеальный рецепт СУП для холдинга: опыт «Кузбассразрезугля»
07.07.2026 13:21:26 | Хабр

Две недели я делал народную карту заправок. Написать код оказалось самой скучной частью работы
07.07.2026 13:18:14 | Хабр

Мой бот назвали «очередным поделием с ИИ». Комментатор прав
07.07.2026 13:10:54 | Хабр

Как заставить ИИ соблюдать закон, не трогая веса. Выкладываем в открытый доступ внешний фильтр для LLM
07.07.2026 13:10:22 | Хабр

[Перевод] Когда ИИ-агент ошибается молча: 6 отказов, которые не видно по ответу
07.07.2026 13:10:22 | Хабр

Plumix: как я переписываю Flutter на C# — вместе с ИИ
07.07.2026 12:58:08 | Хабр

«Чёрный ящик» техподдержки: как мы делаем сервис прозрачным для клиентов
07.07.2026 12:48:27 | Хабр

Подводные камни Learned Motion Matching: опыт реализации
07.07.2026 12:43:50 | Хабр

Тренажер Юмора — приложения для обучения шуткам
07.07.2026 12:32:27 | Хабр

Я ускорял исследования с помощью ИИ — а оказалось, дело вообще не в скорости
07.07.2026 12:22:10 | Хабр

Angular против React: зарплаты, кризис в IT и почему корпорации остаются на Angular
07.07.2026 12:14:16 | Хабр

Власти Австралии предупредили врачей об опасности работы с ИИ-агентами
07.07.2026 12:05:47 | ferra.ru

Как развернуть ТГ-бота на хостинге не выходя из чата с нейронкой
07.07.2026 12:05:32 | Хабр

Эмулятор CD-ROM из Raspberry Pi Pico W, использующий образы из сети
07.07.2026 12:01:41 | Хабр

Параметризованные отчёты в CSV без таймаута
07.07.2026 11:58:26 | Хабр

Swift 6.2 против вашего оптимизатора: разбираемся с InlineArray, Span и strict memory safety на замерах
07.07.2026 11:53:08 | Хабр

Июль 2026: Минцифры, закон о БФМ и эстонские ID для агентов. Что происходит с регулированием ИИ?
07.07.2026 11:46:22 | Хабр

[Перевод] Аутентификация в MCP в 2026: как было, как есть и как будет
07.07.2026 11:41:02 | Хабр

Гибкая система авторизации на основе политик в php
07.07.2026 11:40:45 | Хабр

Великий китайский ИИ файрвол и защита Лобстеров
07.07.2026 11:38:09 | Хабр

Лучшие нейросети чтобы создать песню — выбрали ТОП-7 ИИ для генерации треков в 2026
07.07.2026 11:26:24 | Хабр

В ожидании новой Divinity. Новости об игре и краткое погружение в лор
07.07.2026 11:13:20 | Хабр

Может ли LLM создать заготовку Django-проекта?
07.07.2026 11:12:43 | Хабр

Как мы научили AI разбирать упавшие автотесты и заводить баги в Трекере
07.07.2026 10:43:27 | Хабр

Смотреть все

НОВОСТИ

Россияне бросились скупать дизельные машины с пробегом. Какие модели лидируют?
27.08.2026 10:20:00 | За рулем

В Кремле сделали заявление о проигрыше Украины
26.08.2026 12:53:06 | Lenta.ru

Новый владелец номера пропавшего в тайге Усольцева оказался реальным человеком
26.08.2026 12:52:32 | Life.ru

ФСБ показала видео задержания террористов в Адыгее и Кабардино-Балкарии
26.08.2026 12:52:28 | Life.ru

ВС России стали чаще сбивать вражеские БПЛА
26.08.2026 12:52:23 | Lenta.ru

Сын тренера БК «Химки» умер на тренировке из-за остановки сердца
26.08.2026 12:51:24 | Life.ru

В новом учебном году в России за парты сядут 18 млн школьников
26.08.2026 12:50:34 | Life.ru

Тренер объяснила отказ от занятий спортом в сентябре
26.08.2026 12:50:17 | Lenta.ru

Разбогатей или сдохни: 50 Cent попался на границе Закарпатье, продавая побег с Украины за $7000
26.08.2026 12:48:34 | Life.ru

В сети появилось редкое фото 79-летней Софии Ротару
26.08.2026 12:48:25 | Lenta.ru

Путин в разговоре с Шараа подтвердил поддержку единства Сирии
26.08.2026 12:48:00 | Российская Газета

В Германии 8-летняя девочка вызвала полицию из-за нетрезвой матери за рулем
26.08.2026 12:47:00 | Российская Газета

Тропический циклон в Атлантике назовут «Долли» — но не в честь умершей певицы
26.08.2026 12:46:04 | Life.ru

Цели накрыли в 141 районе: Что поразили российские войска на Украине за последние сутки
26.08.2026 12:45:37 | Life.ru

Бывший губернатор прифронтового региона обратился к Абхазии
26.08.2026 12:44:36 | Lenta.ru

Призывавшего убивать русских немецкого журналиста объявили в международный розыск
26.08.2026 12:44:32 | Lenta.ru

В России не смогли отказаться от иностранного оптоволокна
26.08.2026 12:43:54 | Lenta.ru

Песков назвал контакты спецслужб России и США позитивным процессом
26.08.2026 12:43:16 | Life.ru

В России не смогли отказаться от импортного оптоволокна
26.08.2026 12:43:00 | Lenta.ru

В больнице умерла 14-летняя девочка после удара ВСУ по Краснодару
26.08.2026 12:41:48 | Life.ru

Казначейство перечислило в бюджеты России ₽747 млрд за первое полугодие
26.08.2026 12:41:10 | Life.ru

В Кремле оценили влияние визита главы ЦРУ на отношения России и США
26.08.2026 12:40:22 | Lenta.ru

«Грузовик с отказавшими тормозами»: Израиль толкает США на войну с Ираном, а расплачивается Украина
26.08.2026 12:40:06 | Life.ru

Песков: В Армении проходят очень сложные внутриполитические процессы
26.08.2026 12:39:36 | Life.ru

Эрдоган заявил о переписывании истории на Ближнем Востоке
26.08.2026 12:39:34 | Lenta.ru

Названы причины роста мировых цен на хлопок
26.08.2026 12:38:59 | Lenta.ru

ЦБ оценил риски проблем с обслуживанием банковских вкладов россиян
26.08.2026 12:38:11 | Lenta.ru

В Кремле высказались о встрече Путина с главой ЦРУ
26.08.2026 12:37:10 | Lenta.ru

Леонтьев объяснил отказ от концертов в России
26.08.2026 12:36:41 | Lenta.ru

В Кремле заявили о «квазиполитической возне» в недрах киевского режима
26.08.2026 12:35:44 | Life.ru

Минобороны сделало заявление о летевших в сторону России сотнях БПЛА и ракетах «Фламинго»
26.08.2026 12:34:50 | Lenta.ru

Женщина две недели принимала ледяные ванны и удивилась результатам эксперимента
26.08.2026 12:34:30 | Lenta.ru

В России участились аварии лифтов из-за нехватки специалистов
26.08.2026 12:34:09 | Life.ru

«Разрушается изнутри»: Песков заявил о кризисе внутри Украины
26.08.2026 12:33:45 | Life.ru

ПВО России за сутки уничтожила 798 дронов и 12 авиабомб ВСУ в зоне СВО
26.08.2026 12:32:46 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro