Полез в исходники vLLM, чтобы понять, почему один символ убивает prompt caching

02.07.2026 07:00:52 | Хабр

Хабы: Искусственный интеллект, Машинное обучение, Open source, Программирование, Высоконагруженные системы

В первой части я вывел одно правило и предложил жить по нему: стабильное в начало, изменчивое в хвост, один символ в системном промпте обнуляет весь кэш. Правило рабочее, я сам собираю агента вокруг него. Но жить по закону, которого не понимаешь, неуютно.

vLLM и paged attention я руками не писал, зато исходники открыты, и я полез в них за байтовой причиной. Что физически лежит на GPU в момент попадания в кэш, как движок управляет этой памятью и почему хватает одного символа, чтобы всё посыпалось.

Подробнее

Читайте также

ИИ как часть инженерной культуры: исследуем глубину внедрения
02.07.2026 07:00:05 | Хабр

Плагины в Go-автотестах: как вынести инфраструктуру за пределы тестов
02.07.2026 06:50:51 | Хабр

(Не) безопасный дайджест: месть ИТ-специалиста, потерянные данные и секреты гигантов в открытом доступе
02.07.2026 06:43:04 | Хабр

Nothing подтвердила дату выхода недорогих наушников Ear (3a)
02.07.2026 06:30:13 | ferra.ru

Почему я выкинул MCP из AI-агента для CAD: граф API, ГОСТы, компилятор и live COM для KOMPAS-3D
02.07.2026 06:24:49 | Хабр

Применение методов детектирования объектов в задаче долгосрочного прогнозирования событий
02.07.2026 06:23:48 | Хабр

PID Toolkit — браузерный инструмент для настройки PID — регуляторов без установки
02.07.2026 06:09:29 | Хабр

Как начать программировать на C++: обзор бесплатной части курса
02.07.2026 06:06:46 | Хабр

Треть новых релизов на Яндекс Музыке – ИИ. Теперь точно
02.07.2026 05:47:41 | Хабр

Локальная большая лингвистическая модель на Windows 11: выбор среды, модели и пошаговое развёртывание
02.07.2026 04:01:35 | Хабр

Как мы делаем онлайн-режим для браузерной инди-игры, когда бюджет на сервера — $10 в месяц
02.07.2026 02:27:44 | Хабр

Российских школьников обучат 3D-печати деталей для авиационных двигателей
01.07.2026 23:37:01 | ferra.ru

В России разработали экологичные ПАВ для повышения нефтеотдачи
01.07.2026 23:06:48 | ferra.ru

В России предложили создать стандарт для ИИ в детских товарах
01.07.2026 22:57:29 | ferra.ru

DTO, schema, model, entity: почему в коде всё называется User
01.07.2026 21:57:54 | Хабр

В России утвердили первые стандарты для промышленной автоматизации
01.07.2026 21:36:11 | ferra.ru

Redmi выпустила свои первые полноразмерные наушники Headphones Neo
01.07.2026 21:30:12 | ferra.ru

Где искать обучающие материалы по FineBI: разбираем источники
01.07.2026 21:29:38 | Хабр

OSINT для ленивых: Приватность – новая роскошь. Часть 11
01.07.2026 21:11:23 | Хабр

В Нижегородской области ИИ начал выявлять незаконные свалки отходов
01.07.2026 21:03:57 | ferra.ru

Tecno Camon 50 Ultra: стильный влагозащищённый среднебюджетник
01.07.2026 20:43:37 | ferra.ru

Контент-план как база данных: первый слой собственной CMS для производства контента
01.07.2026 20:41:51 | Хабр

В России создали детектор изменений в телевизионных кадрах «Шелкопряд»
01.07.2026 20:10:00 | ferra.ru

В России предложили создать реестр отозванных научных статей
01.07.2026 20:05:08 | ferra.ru

В ЕС ввели сбор в размере €3 для недорогих товаров, импортируемых из Китая и других стран
01.07.2026 20:03:56 | vc.ru

Российские ученые нашли генетические маркеры ювенильной склеродермии
01.07.2026 19:39:04 | ferra.ru

Мощнейшая ИИ-модель Anthropic Claude Fable 5 вернулась после действий властей США
01.07.2026 19:30:10 | ferra.ru

В России в рамках пилота «Цифровая река» провели около 20 грузовых перевозок
01.07.2026 19:25:00 | ferra.ru

Худший язык программирования всех времён /s
01.07.2026 19:18:14 | Хабр

Java‑код скомпилировался — это ещё не значит, что он работает
01.07.2026 19:15:03 | Хабр

Российские ученые создали катализатор из орехов для получения водорода
01.07.2026 19:11:29 | ferra.ru

Аналог Plaud на iPhone: эксперименты с локальной транскрибацией ASR на iOS
01.07.2026 18:49:16 | Хабр

Хватит объяснять агенту проект в каждом чате: что появилось в Veai 5.14
01.07.2026 18:40:22 | Хабр

Учёные НГУ нашли в почвах Сибири следы демографической катастрофы XIII века
01.07.2026 18:40:00 | ferra.ru

Amazon просила сотрудников чаще использовать ИИ, но это ей влетит в копеечку
01.07.2026 18:32:30 | ferra.ru

Смотреть все

НОВОСТИ

Трамп в очередной раз похвастался разгромом Ирана
03.07.2026 03:07:00 | Life.ru

В МИД ответили на слова Сибиги, который хочет, чтобы РФ села за стол переговоров
03.07.2026 03:05:00 | Российская Газета

Сенатор Косачев считает, что Британию надо перестать называть великой
03.07.2026 03:04:23 | ТАСС

Разработчик: в СВО применяют мобильный комплекс "Пазл" для защиты от БПЛА
03.07.2026 03:04:18 | ТАСС

Марочко: ВСУ рискуют попасть в окружение под Славянском
03.07.2026 03:02:25 | ТАСС

Освобожденный курянин рассказал об отсутствии помощи международных организаций
03.07.2026 03:00:54 | ТАСС

Порномодель рассказала о преследующих ее страхах
03.07.2026 03:00:26 | Lenta.ru

Мужчина переехал к девушке и пришел в ужас из-за ее бытовых привычек
03.07.2026 03:00:23 | Lenta.ru

В Японии вышедший на пути медведь остановил скоростные поезда
03.07.2026 03:00:00 | Российская Газета

Нос в заложниках: Почему после огорода может пропадать обоняние и болеть голова
03.07.2026 03:00:00 | Life.ru

На Западе рассказали о случившейся с Зеленским катастрофе
03.07.2026 02:58:29 | Lenta.ru

"Известия": поставщикам продуктов могут временно отменить штрафы за задержки
03.07.2026 02:55:33 | ТАСС

В США осадили Мерца и Макрона после слов о поражении России
03.07.2026 02:49:00 | Lenta.ru

Economist узнал, что США обеспокоены риском эскалации из-за ракет НАТО
03.07.2026 02:45:28 | РБК

В Варшаве запад Украины назвали «Малопольшей»
03.07.2026 02:44:00 | Life.ru

На Украине пожаловались на новые сверхбыстрые российские дроны
03.07.2026 02:42:42 | Lenta.ru

АО "ГЛОНАСС": БПЛА смогут доставлять грузы на дистанцию до 1 тыс. км к 2030 году
03.07.2026 02:41:40 | ТАСС

"ГЛОНАСС": БПЛА смогут доставлять грузы на дистанцию до 1 тыс. км к 2030 году
03.07.2026 02:41:40 | ТАСС

В Китае сообщили, что врезавшийся в небоскреб пилот действовал умышленно
03.07.2026 02:40:42 | РБК

Отец семи дочерей изнасиловал трехлетнюю девочку и расправился с ней
03.07.2026 02:40:41 | Lenta.ru

Россиянам напомнили о праве на бесплатную медпомощь в отпуске внутри страны
03.07.2026 02:37:10 | ТАСС

Над Тульской областью силы ПВО сбили два украинских беспилотника
03.07.2026 02:33:00 | Life.ru

Следствие установило личность подозреваемой в покушении на Ермолаева украинки
03.07.2026 02:30:44 | Life.ru

Пограничник организовал схему побега мужчин из Украины
03.07.2026 02:29:44 | Lenta.ru

Силы ПВО уничтожили два беспилотника, направлявшихся на Москву
03.07.2026 02:29:39 | РБК

США уменьшили поддержку НАТО из-за России
03.07.2026 02:23:10 | Lenta.ru

Посольство в Гааге: В Нидерландах идет подготовка к конфликту с Россией
03.07.2026 02:21:00 | Российская Газета

В учебнике истории расскажут об убийстве СБУ Дугиной и покушении на Прилепина
03.07.2026 02:12:43 | ТАСС

Посольство РФ: Нидерланды активно готовятся к конфликту с Россией
03.07.2026 02:12:00 | Life.ru

В Госдуме предложили создать аналог "Артека" на Байкале
03.07.2026 02:09:01 | ТАСС

МАГАТЭ подтвердило наличие повреждений в Энергодаре
03.07.2026 02:09:00 | Lenta.ru

Три белорусские фуры пострадали при ударе беспилотника ВСУ в Брянске
03.07.2026 02:08:15 | Life.ru

Курс по русскому языку как государственному введут в вузах через год
03.07.2026 02:07:43 | ТАСС

В ОП предложили предоставлять дотацию на свадьбу впервые вступающим в брак
03.07.2026 02:07:06 | ТАСС

Два московских аэропорта перевели на режим полетов по согласованию
03.07.2026 02:06:13 | РБК

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro