Маленькая модель на 0.6B держит квантование лучше, чем «крупная» на 1B: измерил деградацию function-calling на 4 ГБ VRAM

07.07.2026 14:38:15 | Хабр

Хабы: Машинное обучение, Python, Open source, Высоконагруженные системы, DevOps

Как квантование ломает function-calling у LLM? Собрал бенчмарк QuantCall, протестировав модели на 4 ГБ VRAM. Главный инсайт: устойчивость к квантам зависит не от размера, а от семейства. Меньшая Qwen3-0.6B стабильно генерирует валидный JSON даже на Q4, а более крупная Llama-3.2-1B деградирует уже на Q8, путая типы данных. Также GBNF-грамматики не спасают от ошибок, но заметно замедляют инференс.

Подробнее

Читайте также

«Роскосмос» ввёл правила заказа и продажи спутниковых снимков Земли госорганам — раньше они получали их бесплатно
07.07.2026 14:36:28 | vc.ru

Лучшие нейросети для создания презентаций по тексту, выбираем ТОП-5 ИИ для создания и улучшение слайдов
07.07.2026 14:34:41 | Хабр

Гибридные команды и агентская память: как мы учимся усиливать людей, а не заменять их
07.07.2026 14:25:34 | Хабр

Samsung пожертвовала удобством ради плоского экрана в складном Galaxy Z Fold8
07.07.2026 14:17:08 | ferra.ru

Amazon закроет доступ новым клиентам к 20-летнему сервису MTurk
07.07.2026 14:05:46 | ferra.ru

GitFlic CI/CD: первый конвейер с нуля — от коммита до деплоя
07.07.2026 14:01:34 | Хабр

Куда делись мои токены?
07.07.2026 13:53:53 | Хабр

Геймификация в IT: как сделать так, чтобы она не бесила команду
07.07.2026 13:51:13 | Хабр

Технический долг — это не только legacy: как мы уменьшаем разброс решений между Go-сервисами
07.07.2026 13:32:53 | Хабр

Ни ИСУП, ни регламенты. Единственное, что делает проекты управляемыми
07.07.2026 13:31:56 | Хабр

Внедрение цифрового рубля: что протестировать уже сейчас, чтобы избежать сбоев и не напороться на штрафы
07.07.2026 13:21:51 | Хабр

Идеальный рецепт СУП для холдинга: опыт «Кузбассразрезугля»
07.07.2026 13:21:26 | Хабр

Две недели я делал народную карту заправок. Написать код оказалось самой скучной частью работы
07.07.2026 13:18:14 | Хабр

Мой бот назвали «очередным поделием с ИИ». Комментатор прав
07.07.2026 13:10:54 | Хабр

Как заставить ИИ соблюдать закон, не трогая веса. Выкладываем в открытый доступ внешний фильтр для LLM
07.07.2026 13:10:22 | Хабр

[Перевод] Когда ИИ-агент ошибается молча: 6 отказов, которые не видно по ответу
07.07.2026 13:10:22 | Хабр

Plumix: как я переписываю Flutter на C# — вместе с ИИ
07.07.2026 12:58:08 | Хабр

«Чёрный ящик» техподдержки: как мы делаем сервис прозрачным для клиентов
07.07.2026 12:48:27 | Хабр

Подводные камни Learned Motion Matching: опыт реализации
07.07.2026 12:43:50 | Хабр

Тренажер Юмора — приложения для обучения шуткам
07.07.2026 12:32:27 | Хабр

Я ускорял исследования с помощью ИИ — а оказалось, дело вообще не в скорости
07.07.2026 12:22:10 | Хабр

Angular против React: зарплаты, кризис в IT и почему корпорации остаются на Angular
07.07.2026 12:14:16 | Хабр

Власти Австралии предупредили врачей об опасности работы с ИИ-агентами
07.07.2026 12:05:47 | ferra.ru

Как развернуть ТГ-бота на хостинге не выходя из чата с нейронкой
07.07.2026 12:05:32 | Хабр

Эмулятор CD-ROM из Raspberry Pi Pico W, использующий образы из сети
07.07.2026 12:01:41 | Хабр

Параметризованные отчёты в CSV без таймаута
07.07.2026 11:58:26 | Хабр

Swift 6.2 против вашего оптимизатора: разбираемся с InlineArray, Span и strict memory safety на замерах
07.07.2026 11:53:08 | Хабр

Июль 2026: Минцифры, закон о БФМ и эстонские ID для агентов. Что происходит с регулированием ИИ?
07.07.2026 11:46:22 | Хабр

[Перевод] Аутентификация в MCP в 2026: как было, как есть и как будет
07.07.2026 11:41:02 | Хабр

Гибкая система авторизации на основе политик в php
07.07.2026 11:40:45 | Хабр

Великий китайский ИИ файрвол и защита Лобстеров
07.07.2026 11:38:09 | Хабр

Лучшие нейросети чтобы создать песню — выбрали ТОП-7 ИИ для генерации треков в 2026
07.07.2026 11:26:24 | Хабр

В ожидании новой Divinity. Новости об игре и краткое погружение в лор
07.07.2026 11:13:20 | Хабр

Может ли LLM создать заготовку Django-проекта?
07.07.2026 11:12:43 | Хабр

Как мы научили AI разбирать упавшие автотесты и заводить баги в Трекере
07.07.2026 10:43:27 | Хабр

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

Трамп обрушился с критикой на Зеленского
19.10.2026 22:39:11 | Lenta.ru

В Армении нашли тело 22-летнего россиянина в лесу недалеко от курорта
19.10.2026 22:38:28 | Life.ru

Суд в Воркуте остановил работы в двух блоках шахты «Комсомольская» на 90 суток
19.10.2026 22:35:40 | Life.ru

Трамп выступил за переименование штата Нью-Мексико в Нью-Америка
19.10.2026 22:35:01 | ТАСС

Молдавия направила Украине протест из-за погони пограничников за нарушителем
19.10.2026 22:34:00 | Российская Газета

В Чечне высказались о создании Адамом Кадыровым своего подразделения
19.10.2026 22:32:22 | Lenta.ru

Норвежский политик рассказал о новой победе Путина
19.10.2026 22:31:25 | Lenta.ru

Президент Кубы назвал "цирком" ордер на арест Рауля Кастро
19.10.2026 22:31:00 | Российская Газета

Трамп: Украине стоит выставить на мирные переговоры кого-то другого вместо Зеленского
19.10.2026 22:28:55 | ТАСС

В России обсудят предложения по налогу на сверхдоходы
19.10.2026 22:28:20 | Lenta.ru

Трамп заявил, что США активно ведут с РФ переговоры по Украине
19.10.2026 22:27:40 | ТАСС

Ли Чжэ Мён вновь заявил о необходимости сотрудничества с Россией по Севморпути
19.10.2026 22:26:00 | Российская Газета

Депутат Рады удивился отсутствию реакции Запада на поведение Зеленского в прямом эфире
19.10.2026 22:25:56 | Lenta.ru

Трамп: Зеленский не способствует мирному урегулированию на Украине
19.10.2026 22:25:43 | ТАСС

ТАСС: у берегов Анапы судно село на мель
19.10.2026 22:25:02 | ТАСС

В России объявили победителей второго сезона конкурса «Родная игрушка»
19.10.2026 22:24:40 | Life.ru

Трамп готов рассмотреть вариант встречи с Путиным и Си Цзиньпином
19.10.2026 22:24:02 | ТАСС

Президент Кубы назвал "жалким цирком" выдачу в США ордера на арест Рауля Кастро
19.10.2026 22:21:25 | ТАСС

Россия обеспокоена проникновением боевиков из Афганистана в Пакистан
19.10.2026 22:20:45 | ТАСС

Глава Заксобрания Запорожья: Зеленскому нужен не мир, а кровавый бизнес
19.10.2026 22:19:00 | ТАСС

Каллас: Евросоюз будет бороться с Россией и Китаем за Северный морской путь
19.10.2026 22:18:00 | Российская Газета

Украина заподозрила США в блокировке разведданных об атаках ВС России
19.10.2026 22:17:59 | Lenta.ru

В Белгородской области при атаках дронов пострадали четыре человека
19.10.2026 22:16:52 | ТАСС

Pravda: Украина станет новым "Афганистаном" для ЕС
19.10.2026 22:16:45 | ТАСС

В Сербии считают, что вступление в ЕС противоречит национальным интересам страны
19.10.2026 22:16:40 | ТАСС

Доктор Мясников рассказал о своем благосостоянии и вспомнил фразу российского олигарха
19.10.2026 22:15:21 | Lenta.ru

Капризов признан третьей звездой недели в НХЛ
19.10.2026 22:14:54 | Lenta.ru

Украинская теннисистка Свитолина объявила о разрыве с мужем-французом
19.10.2026 22:14:51 | Life.ru

Мирзиёев вручил Рубио государственную награду за развитие отношений США и Узбекистана
19.10.2026 22:13:12 | Life.ru

«Лацио» разгромил «Ювентус» в гостевом матче Серии А
19.10.2026 22:12:57 | Lenta.ru

От доски до бота: Российские учителя назвали цифровых помощников будущего
19.10.2026 22:12:04 | Life.ru

«Парма» примет «Торино» в седьмом туре Серии А
19.10.2026 22:11:54 | Lenta.ru

В Херсонской области из-за атаки БПЛА погибли женщина и ребенок
19.10.2026 22:10:58 | Lenta.ru

Серохвостов усомнился в допуске биатлонистов на Олимпиаду
19.10.2026 22:10:42 | Lenta.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro