Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Контекст растёт, KV-кэш — нет: Qwen3.8-27B на ограниченной VRAM с CMF формате

09.09.2026 09:34:27 | Хабр

Хабы: Rust, Искусственный интеллект, Серверная оптимизация

Qwen3.8-27B в Q4TP занимает около 14,3 GB весов, но при длинном контексте упирается ещё и в KV-кэш. Для 16 full-attention слоёв этой гибридной модели FP16 KV-state растёт на 65 536 байт с каждым токеном: на 64K это около 4 ГиБ только для K/V.

В экспериментальном режиме O(1) рантайм CMF заменяет растущий KV-кэш этих 16 слоёв фиксированным состоянием: четыре sink-токена, точное окно последних 128 токенов и 32 опорных представлений для дальней части. В использованном профиле GPU-state attention составляет 44,1 МиБ, и не увеличивается с длиной контекста.

Читать далее

Подробнее

Читайте также

В Красноярске разработали углепластиковые рефлекторы для антенн
09.09.2026 09:30:35 | ferra.ru

Транспортная компания «Поволжье-Транс» сообщила о намерении подать в суд заявление о банкротстве ритейлера одежды «Твоё»
09.09.2026 09:29:19 | vc.ru

Матрешка из Base64 и ROT13: разбираем вредоносный .sh, который пришел за FreePBX
09.09.2026 08:56:49 | Хабр

Велосипед для покрытия: когда стандартные инструменты не справляются
09.09.2026 08:56:13 | Хабр

Маршрутизация электромобилей с учётом внешних условий и зарядных станций
09.09.2026 08:46:16 | Хабр

AI‑дайджест #4: закон об ИИ, кризис доверия и мнение коллег из Лаборатории искусственного интеллекта
09.09.2026 08:43:53 | Хабр

День 1659: индекс Мосбиржи не удержался выше 2300 пунктов — инвесторы стали фиксировать прибыль после двухнедельного ралли на фоне российско-американских переговоров
09.09.2026 08:30:14 | vc.ru

Что внутри КЕЙСОВ продуктовых и ux/ui-дизайнеров из Т-Банка, Яндекса, Альфы, РСХБ и Сбера?
09.09.2026 08:30:09 | Хабр

Внедрили систему управления проектами сразу всем — и получили саботаж. Как внутренний инструмент стал тиражным продуктом
09.09.2026 08:27:43 | Хабр

Обвязка решает
09.09.2026 08:25:00 | Хабр

Сервис, который пишет мне парсеры по ТЗ. Начиналось как тест на выходные
09.09.2026 08:11:13 | Хабр

Дистилляция по-пекински: новый отчёт о том, как китайский ИИ обучился на американском
09.09.2026 08:08:35 | Хабр

[Перевод] Почему оплата за токены — не лучшая модель монетизации для AI-стартапа
09.09.2026 08:08:21 | Хабр

Перформанс + блогеры + ИИ: как мы ускорили креативы и получили ROMI 141% и 1 млн просмотров
09.09.2026 07:56:46 | Хабр

Как рабочая задача с трансляциями превратилась в небольшую утилиту для VK Video
09.09.2026 07:49:41 | Хабр

Утечка данных сотрудников: 3 сценария, которые могут обойтись компании в миллионы
09.09.2026 07:46:35 | Хабр

Xiaomi представила 13,3-дюймовый планшет Pad 9 Pro Max с собственным процессором
09.09.2026 07:41:22 | ferra.ru

В фокусе RVD: трендовые уязвимости августа
09.09.2026 07:38:32 | Хабр

Fermi Explorer: отправляем зонд к Альфе Центавра всего за 15 млн долларов
09.09.2026 07:37:51 | Хабр

Как превратить базу знаний ретейла в учебник для новых сотрудников
09.09.2026 07:22:38 | Хабр

Два года, один человек, 66 контейнеров: как я построил AI‑платформу на железе под столом
09.09.2026 07:17:38 | Хабр

[Перевод] Зелёный Jenkins ещё ничего не значит: 12 ошибок, которые не ломают сборку
09.09.2026 07:16:38 | Хабр

Ваш характер — это не вы: как мозг получает настройки и можно ли их изменить
09.09.2026 07:12:57 | Хабр

Wi‑SUN — mesh для IoT на стероидах
09.09.2026 07:11:37 | Хабр

Умный текстиль: многоустойчивые структуры из пряжи
09.09.2026 07:00:43 | Хабр

Книги и деньги: финансовые уроки от классических авторов
09.09.2026 07:00:35 | Хабр

В письме нет ни ссылки, ни вложения, ни просьбы. Это уже атака
09.09.2026 07:00:34 | Хабр

Как оптимизировать выгрузку данных, когда не хватает вычислительных ресурсов
09.09.2026 06:55:31 | Хабр

Как можно плохо сделать маленький тест если ты — большая компания? А вот же :)
09.09.2026 06:47:51 | Хабр

Семь ИИ‑моделей получили по $300 и три дня, чтобы заработать. Выручка — $0
09.09.2026 06:43:08 | Хабр

Мы научили ИИ-агента забывать — и он стал помнить лучше
09.09.2026 06:41:33 | Хабр

От Конфигуратора к AI-агентам: как меняется инструментарий разработчика 1С
09.09.2026 06:39:31 | Хабр

AI-native разработка по-русски
09.09.2026 06:05:29 | Хабр

[Перевод] Роутинг NGINX на предикатах для обработки API-трафика без скриптов
09.09.2026 06:05:07 | Хабр

Шесть мест, где за два месяца в проде ломался LLM-конвейер над лентами закупок, и почти все вне промптов
09.09.2026 06:00:28 | Хабр

Смотреть все

НОВОСТИ

Будет ли новая Fabia? Есть мысли по этому поводу
09.09.2026 17:40:00 | За рулем

Силовики задержали убийцу ульяновского авторитета Хобота спустя 26 лет
09.09.2026 13:25:41 | Коммерсантъ

77-летняя россиянка выкупила у террористов британского морского офицера
09.09.2026 13:23:35 | Lenta.ru

Боец ВС РФ: российские военные уже работают за Красным Лиманом
09.09.2026 13:22:52 | ТАСС

Успели спрятаться за скалами: Новая лавина едва не накрыла спасателей в Безенгийском ущелье
09.09.2026 13:22:03 | Life.ru

С экс-солистки "Фабрики" взыскали 32 тыс. рублей
09.09.2026 13:21:07 | ТАСС

Вучич распустил парламент
09.09.2026 13:21:06 | Lenta.ru

Захарова: НАТО хочет добиться военного превосходства в Арктике
09.09.2026 13:20:29 | ТАСС

Захарова осудила высказывание президента Молдавии
09.09.2026 13:20:00 | Lenta.ru

Медики, снайперы и разведчицы: Латиноамериканок начали массово вербовать в ВСУ
09.09.2026 13:19:34 | Life.ru

Юра Борисов появился в первом тизере фильма о скандале в руководстве OpenAI
09.09.2026 13:19:08 | Life.ru

Фермеры постсоветской страны задумались над протестами из-за повышения налогов
09.09.2026 13:18:39 | Lenta.ru

Не новый и под контролем: Минздрав оценил устойчивый штамм туберкулёза EurA1.1
09.09.2026 13:18:34 | Life.ru

The Economist заявил о почти полном исчерпании запасов ракет для Patriot на Украине
09.09.2026 13:18:16 | ТАСС

В КБР выявили махинации энергоресурсной компании на 28 млн рублей
09.09.2026 13:17:01 | ТАСС

Алькарас проиграл Шелтону и не защитил титул
09.09.2026 13:17:00 | Lenta.ru

Чай лучше остудить: Учёные нашли связь слишком горячих напитков с раком
09.09.2026 13:16:47 | Life.ru

Юрист объяснил, когда «чистая» квартира может стать головной болью покупателя
09.09.2026 13:16:36 | Life.ru

В Казани у должника арестовали Mercedes за долги на 64 млн рублей
09.09.2026 13:16:29 | ТАСС

Захарова напомнила, что Зеленский в детстве любил играть с мясорубкой
09.09.2026 13:16:00 | Российская Газета

Костромские ювелиры изготовят 12 статуэток для премии "Бриллиантовая бабочка"
09.09.2026 13:15:48 | ТАСС

Белый дом убрал игру "Построй стену" со своего сайта
09.09.2026 13:15:48 | ТАСС

В Волгограде арестовали обвиняемого в теракте подростка
09.09.2026 13:14:03 | ТАСС

Саратовский нефтеперерабатывающий завод после атаки БПЛА 8 сентября: что известно о Саратовском НПЗ
09.09.2026 13:13:04 | Life.ru

Страх из-за рукопожатия. Как Украина подставляет своего футбольного судью
09.09.2026 13:12:52 | ТАСС

Вучич утвердил решения о роспуске парламента Сербии
09.09.2026 13:12:39 | ТАСС

Захарова: РФ не будет проявлять добрую волю, получая в ответ новые санкционные удары
09.09.2026 13:12:26 | ТАСС

Захарова: порт Гамбурга из-за русофобских мифов разрушил свое благосостояние
09.09.2026 13:12:09 | ТАСС

На гидроэлектростанции в Швейцарии произошел взрыв
09.09.2026 13:12:00 | Lenta.ru

В Чегемском районе КБР открыли первый агротехнокласс
09.09.2026 13:11:55 | ТАСС

В Швейцарии произошёл взрыв на гидроэлектростанции
09.09.2026 13:11:28 | Life.ru

Захарова: РФ готова применить весь спектр средств для купирования угроз от НАТО в Арктике
09.09.2026 13:11:21 | ТАСС

Илья Ремесло получил обвинительное заключение по делу о фейках об армии
09.09.2026 13:11:08 | ТАСС

В Далласе открывается промежуточный съезд Республиканской партии
09.09.2026 13:11:00 | Российская Газета

Мерц заявил о продолжении спорных реформ, несмотря на победу АдГ в Саксонии-Анхальте
09.09.2026 13:10:50 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro