Кронекером по Фишеру: как при сжатии LLM учесть кривизну второго порядка и не умереть

17.08.2026 10:21:13 | Хабр

Хабы: Блог компании AIRI, Математика, Машинное обучение, Искусственный интеллект, Natural Language Processing

Привет Хабр! На связи Вика Чекалина из команды «Мультимодальный ИИ» AIRI. Сегодня мы поговорим о том, как выкручиваться, когда вычислительных ресурсов мало и для деплоя необходимо сжать LLM, но так, чтобы потеря в качестве была минимальной. Логично, что нужно использовать дополнительную информацию — например, матрицу Фишера (FIM), которая содержит в себе информацию о важности и взаимодействии параметров модели.

Но FIM реальных LLM слоев просто огромные, и работать с ними напрямую вычислительно тяжело или просто невозможно. Люди придумывают различные упрощения: например, можно отталкиваться от предположения, что матрица Фишера диагональна — это сильно сокращает объём памяти, однако корреляция между различными параметрами слоя теряется навсегда. Мы решили не идти на такие компромиссы и придумали метод, который быстро и легко позволяет параметризировать полную недиагональную матрицу Фишера без потери информации о корреляции.

Подробнее

Читайте также

Оптимизируем код решения СЛАУ методом Гаусса под процессор Эльбрус‑8СВ
17.08.2026 10:17:13 | Хабр

Fill-in-the-Middle: как модель дописывает код в середине файла
17.08.2026 10:15:31 | Хабр

Банковские отделения исчезают с рекордной скоростью
17.08.2026 10:13:02 | it-world

Путеводитель по сертификациям DFIR-специалиста
17.08.2026 10:09:52 | Хабр

«Прикладные компетенции аналитика» на A&PM EVENT 2026: как действовать там, где нет готового шаблона
17.08.2026 10:04:33 | Хабр

Внутри Anthropic работает Model 2 — сильнее всего, что можно купить. Компания оставила ее себе
17.08.2026 10:02:12 | Хабр

Suno v.5.5 Custom Model
17.08.2026 10:01:00 | Хабр

Куда уходит сервер: что происходит с жизненным циклом западного ИТ-оборудования?
17.08.2026 10:00:46 | Хабр

Установка XPEnology на ESXi 8 с помощью загрузчика ARC
17.08.2026 09:59:42 | Хабр

Что мешает пройти аудит ИБ вовремя? Пять распространенных ошибок и способы их избежать
17.08.2026 09:53:05 | Хабр

[Перевод] Вместо того, чтобы укоротить рабочую неделю на день, внедрение ИИ только увеличило количество работы
17.08.2026 09:47:34 | Хабр

FinOps: С чего начать?
17.08.2026 09:45:52 | Хабр

Уменьшали как могли: сделали микроминиатюрный SOM на базе Linux (NAPI Slot) и промышленный шлюз на его основе
17.08.2026 09:38:04 | Хабр

Российскому ИИ готовят единый эталон качества
17.08.2026 09:34:33 | it-world

Учим небольшую LLM с нуля: гибридное внимание, XSA, доменные бленды и загадки роста онлайн-бенчмарков
17.08.2026 09:30:44 | Хабр

Count-Min Sketch: как посчитать частоту миллиарда событий в 10 килобайт
17.08.2026 09:10:42 | Хабр

Как полезная идея дофаминового голодания превратилась в цифровой аскетизм
17.08.2026 09:07:54 | Хабр

Как мы пошли строить агентскую разработку, а перестроили себя
17.08.2026 09:00:41 | Хабр

Почему мы запретили гуглить и перешли на Teamly AI
17.08.2026 08:18:51 | Хабр

Dart 3.13 — что нового в Dart?
17.08.2026 08:11:01 | Хабр

Как уронить базу данных
17.08.2026 08:09:59 | Хабр

ИИ пишет код, а разработчику остается архитектура: итоги шестого митапа MWS
17.08.2026 08:06:37 | Хабр

День 1636: онлайн-продажи одежды и обуви в России начали расти медленнее, Мосбиржа запустит «индекс спокойствия» для начинающих инвесторов
17.08.2026 08:06:30 | vc.ru

Масштабирование WebRTC потоков с пулингом движков на Go
17.08.2026 08:03:28 | Хабр

Безопасность как часть конвейера разработки
17.08.2026 08:00:37 | Хабр

Помочь нельзя потерять: что происходит с обсерваторией Swift и аппаратом-спасателем LINK
17.08.2026 08:00:36 | Хабр

Сравниваем LLM, 12 тестов для китайских флагманов: Kimi K3, GLM-5.2, DeepSeek V4 Pro и Qwen 3.8 Max
17.08.2026 07:55:13 | Хабр

Биомеханика против дипфейка: почему волосы не лгут
17.08.2026 07:50:41 | Хабр

Что изучить во второй половине августа: 39 открытых уроков для IT‑специалистов
17.08.2026 07:50:36 | Хабр

Патент в сфере ИТ: новый этап в развитии технологий или устаревшая формальность?
17.08.2026 07:45:32 | Хабр

Какие профессии создал ИИ: разбор с цифрами
17.08.2026 07:32:34 | Хабр

Распилил шеринговый повербанк Energo, за который заплатил «штраф за утерю». Что внутри и стоило ли оно денег
17.08.2026 07:30:55 | Хабр

Недельный геймдев: #291 — 16 августа, 2026
17.08.2026 07:30:03 | Хабр

CI — это не Jenkins. Зачем, как, чем — и цена отказа
17.08.2026 07:27:34 | Хабр

Loop Engineering: почему цикл легко собрать и трудно остановить
17.08.2026 07:00:31 | Хабр

Смотреть все

НОВОСТИ

Отсутствие конкретики по срокам визита Уиткоффа и Кушнера расстроило российский рынок
18.08.2026 16:23:25 | Lenta.ru

Зеленский внес в Раду кандидатов на посты глав Минобороны и МИД
18.08.2026 16:23:07 | ТАСС

На фронт за отцом: Студент московского вуза стал оператором-сапёром на СВО
18.08.2026 16:22:44 | Life.ru

Опубликовано новое видео с украинской баллистической ракетой FP-9
18.08.2026 16:22:25 | Life.ru

Журналистку Ксению Ларину внесли в реестр террористов и экстремистов
18.08.2026 16:21:53 | ТАСС

582 участника премии #МЫВМЕСТЕ вышли в полуфинал
18.08.2026 16:21:53 | Life.ru

Адыгея увеличит в школах с 1 сентября штат советников директоров почти на 40%
18.08.2026 16:21:50 | ТАСС

Мельникова рассказала о самом неожиданном поздравлении после победы на чемпионате Европы
18.08.2026 16:21:33 | Lenta.ru

США раскритиковали Израиль за авиаудары по сирийской базе Абу-эд-Духур
18.08.2026 16:21:00 | Российская Газета

Жительнице Запорожской области вручили поздравительное письмо от Путина
18.08.2026 16:20:34 | ТАСС

Канье Уэста «обезглавили» для съёмок клипа на песню OK
18.08.2026 16:20:24 | Life.ru

МАГАТЭ получило информацию об атаке дрона по автобусной остановке в Энергодаре
18.08.2026 16:20:21 | ТАСС

Заслуженная артистка РФ Наталия Бизева умерла после продолжительной болезни
18.08.2026 16:20:19 | ТАСС

Изрезавшая двух сестер ножом девушка-подросток наносила удары с большой силой
18.08.2026 16:19:00 | Lenta.ru

Ариана Гранде сделала с возлюбленным парное тату
18.08.2026 16:18:00 | Lenta.ru

Вин Дизель расплакался над сценарием финального «Форсажа» и назвал дату начала съёмок
18.08.2026 16:17:11 | Life.ru

Вдали от жён, но с детьми: В России набирают популярность «отцовские клубы»
18.08.2026 16:16:51 | Life.ru

Датских призывников впервые направили в Гренландию
18.08.2026 16:16:43 | ТАСС

Греческое судно в Черном море загорелось после попадания дрона
18.08.2026 16:16:00 | Lenta.ru

Сериал "Трудно быть богом" по повести Стругацких выйдет 3 сентября
18.08.2026 16:15:57 | ТАСС

В Жуковском в шестой раз пройдет детский авиационно-космический салон
18.08.2026 16:15:45 | ТАСС

Умер первый посол Абхазии в России Игорь Ахба
18.08.2026 16:15:05 | ТАСС

Эксперт Карасев: Зеленский боится реакции ЕС на визит Гросси на ЗАЭС
18.08.2026 16:14:07 | ТАСС

Посол КНР указал на рост доли расчетов в нацвалютах между Китаем и Россией
18.08.2026 16:13:52 | ТАСС

На Украине внесли кандидатов на должности глав МИД и Минобороны
18.08.2026 16:13:40 | Lenta.ru

Названы профессии с повышенным риском смерти от рака
18.08.2026 16:13:07 | Lenta.ru

Курс на истощение: что происходит на борту авианосца USS Abraham Lincoln
18.08.2026 16:13:00 | ТАСС

На западе Москвы при пожаре в квартире погибла женщина
18.08.2026 16:12:55 | ТАСС

Российские СМИ попросили Верховный суд защитить их от «фотоэкстремизма»
18.08.2026 16:12:53 | Life.ru

В Казахстане главреда издания "Орда" осудили на восемь лет
18.08.2026 16:12:50 | ТАСС

В Кремле прокомментировали данные о «тихой» дипломатии России и США
18.08.2026 16:12:09 | Lenta.ru

Трамп «захватил» Ормузский пролив
18.08.2026 16:12:04 | Life.ru

В России высказались о возможности удара ядерным оружием по Украине
18.08.2026 16:12:00 | Lenta.ru

В Пекине открылась круглосуточная роботизированная кофейня
18.08.2026 16:12:00 | Российская Газета

Суд в Египте оправдал россиянина по обвинению со стороны местной женщины
18.08.2026 16:11:40 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro