Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Что значит развернуть LLM локально: два дня с vLLM, DGX Spark и настоящими ограничениями

11.09.2026 14:58:39 | Хабр

Хабы: Искусственный интеллект, Машинное обучение, Операционные системы, Серверное администрирование

Когда меня однажды спросили, что такое инференс и как выглядит локальное развёртывание модели, я ответил правильно, но слишком общо. Через несколько дней пришлось пройти этот путь целиком: поднять две LLM на NVIDIA DGX Spark, отдельную ASR-модель на AMD GPU и подключить всё к мультиагентной платформе. В статье — инженерный разбор того, почему файлы модели ещё не сервис, как длинный контекст конкурирует с KV-кэшем и параллелизмом, почему tokens/sec не описывают пользовательскую задержку и зачем иногда откатывать более быструю модель из-за качества.

Читать далее

Подробнее

Читайте также

Спиральный фрактал разработки ПО
11.09.2026 14:53:43 | Хабр

Шаблон игры «Автомойка» на Unity: Полное руководство по созданию детской игры по мытью автомобилей
11.09.2026 14:53:17 | Хабр

Framework вернёт деньги переплатившим за Laptop 13 Pro. Компания нашла память дешевле
11.09.2026 14:51:54 | ferra.ru

Как мы засунули геометрию квартиры в обычный PNG
11.09.2026 14:44:22 | Хабр

Как мы разрешили чтение с реплик PostgreSQL — и почему шесть лет говорили «нет»
11.09.2026 14:43:18 | Хабр

В Сибири создали первую в мире капсулу-биореактор для проверки биоматериалов
11.09.2026 14:40:12 | ferra.ru

МФО выдали заем мошеннику: кто должен отвечать за последствия
11.09.2026 14:27:40 | Хабр

Positive Technologies вошла в капитал CyberOK и усилила ставку на EASM
11.09.2026 14:21:21 | it-world

UART over radio на PlutoSDR: от serial monitor до неполноценного терминала Raspberry Pi
11.09.2026 14:15:05 | Хабр

Карта экосистемы информационной безопасности вокруг РЕД АДМ
11.09.2026 14:08:26 | Хабр

Что влияет на стоимость лида в диджитал-агентстве и как ее снизить
11.09.2026 14:07:32 | Хабр

Бэкап, из которого ни разу не восстанавливались — это не бэкап
11.09.2026 14:05:13 | Хабр

Как выбрать информационную систему управления проектами: возможный методологический подход
11.09.2026 13:50:12 | Хабр

DLP для LLM: как обезличивать запросы и не ломать поиск по сотрудникам
11.09.2026 13:38:47 | Хабр

ЦБ впервые с 2025 года сохранил ключевую ставку — 14% годовых
11.09.2026 13:32:39 | vc.ru

User flow. Как проектировать и зачем
11.09.2026 13:21:41 | Хабр

[Перевод] Реверс‑инжиниринг электроскутера и новая прошивка для него на Rust
11.09.2026 13:19:10 | Хабр

Коммерческий 5G впервые заработал в российских городах
11.09.2026 13:09:13 | it-world

Как ИИ меняет математику?
11.09.2026 13:02:54 | Хабр

[Перевод] Софт может деградировать бесконечно
11.09.2026 13:02:08 | Хабр

Zero-конфиг в TeamCity как цель
11.09.2026 12:57:38 | Хабр

Код будущего: Хабр и Сбер запускают новый сезон статей о роли ИИ в создании ПО
11.09.2026 12:54:13 | Хабр

Авторизация как код, но не в коде: ABAC для Spring Boot на Open Policy Agent
11.09.2026 12:52:17 | Хабр

Энтузиаст выпустит Android-порт GTA 5
11.09.2026 12:51:54 | ferra.ru

Готовы ли вы к платформенной инженерии: чек-лист из 10 задач
11.09.2026 12:47:49 | Хабр

Сознание в рамках Макро- и Микро-Систем (Первая статья в серии по моему проекту «Zero»)
11.09.2026 12:46:48 | Хабр

Как использовать фреймворк Perseus для решения задач
11.09.2026 12:45:05 | Хабр

[Перевод] Создан новый тип игральных костей, которые гарантируют отсутствие ничьей при определении победителя
11.09.2026 12:22:12 | Хабр

MCP без хаоса: как мы создали в корпоративном ландшафте централизованный шлюз для ИИ‑агентов
11.09.2026 12:22:05 | Хабр

Какая CRM лучше для бизнеса: Битрикс24, amoCRM или другая система?
11.09.2026 12:06:06 | Хабр

Беги за солнцем
11.09.2026 12:04:33 | Хабр

В России изучили черепа пещерных гиен из Хакасии с помощью томографии
11.09.2026 12:01:55 | ferra.ru

Как голосовой робот сам закрывает окна в расписании стоматологов
11.09.2026 12:00:04 | Хабр

Авторитаризм, увольнения, ИИ, падение выручки. IT 2026 — измеряем кризис
11.09.2026 11:26:16 | Хабр

GuardRate: метрики, бенчмарки и инсайты из первого аудита (часть 2)
11.09.2026 11:14:22 | Хабр

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

Медведев заявил, что ВС РФ комплектуются контрактниками даже активнее плана
11.09.2026 18:53:39 | Life.ru

Пурга и враньё: Медведев ответил на слухи о мобилизации в России
11.09.2026 18:52:57 | Life.ru

«Гёте — в Москве, Пушкин — в Берлине»: У посольства ФРГ выступили против закрытия Русского дома
11.09.2026 18:52:46 | Life.ru

Медведев: Некоторые подразделения ВСУ укомплектованы лишь на 20–30%
11.09.2026 18:52:03 | Life.ru

В Киеве в четвёртый раз за день прогремела серия взрывов
11.09.2026 18:50:41 | Life.ru

В Киеве четвертый раз за сутки произошли взрывы
11.09.2026 18:47:58 | ТАСС

Медведев прокомментировал слухи о нападении России на Европу
11.09.2026 18:47:40 | Lenta.ru

Решетников рассказал об инициативах России в рамках БРИКС
11.09.2026 18:46:57 | ТАСС

Вернувшегося в Россию фермера посадили на 12 лет
11.09.2026 18:46:45 | Lenta.ru

Медведев: Литва исчезнет с карты мира в случае военного конфликта
11.09.2026 18:46:27 | ТАСС

Лукашенко заявил о начале сноса правительства в одной из стран НАТО
11.09.2026 18:46:25 | Lenta.ru

ФИФА пожизненно отстранила бывших глав федераций Мальдив и Монтсеррата
11.09.2026 18:46:07 | ТАСС

Умер отец «Адского шефа» Константина Ивлева
11.09.2026 18:45:40 | Life.ru

Медведев: Литва напрасно думает о возможности размещения у себя ядерного оружия
11.09.2026 18:45:25 | ТАСС

Песков: Москва и Минск координируют проверку боеготовности армии Белоруссии
11.09.2026 18:44:21 | Life.ru

Набиуллина заявила о резком повышении капитала основного российского перестраховщика
11.09.2026 18:44:18 | Lenta.ru

Медведев: европейские политики утверждениями об угрозе РФ преследуют свои интересы
11.09.2026 18:44:17 | ТАСС

Китай и Россия создали международный альянс для борьбы с интернет-мошенниками
11.09.2026 18:44:00 | Российская Газета

Аллергики предупредили о новой опасности осенью
11.09.2026 18:43:28 | Lenta.ru

Медведев: Россия должна довести СВО до победного конца
11.09.2026 18:43:13 | ТАСС

ВЭБ.РФ представит пространство "Код Просвещения" на Международном фестивале молодежи
11.09.2026 18:43:10 | ТАСС

Медведев рассказал, зачем в Европе используют тему российской угрозы
11.09.2026 18:42:53 | ТАСС

«Зубры» на воздушной подушке отстрелялись в Балтийском море
11.09.2026 18:42:42 | Lenta.ru

В Петербург доставили ковчег с частицей мощей Дмитрия Донского
11.09.2026 18:42:28 | ТАСС

Медведев: Россия всегда исходила из того, что ей с Европой нечего делить
11.09.2026 18:42:11 | ТАСС

Умер первый уроженец Калининградской области Александр Дорофеев
11.09.2026 18:42:06 | Life.ru

Минобороны РФ сообщило о доставке срочных и точных «бамдеролей» на Украину
11.09.2026 18:42:04 | Life.ru

Медведев назвал "пургой" заявления, что Россия на пороге мобилизации
11.09.2026 18:42:03 | ТАСС

Бутылка стала последней каплей: Тренер «Фенербахче» подал в отставку после исторического успеха
11.09.2026 18:41:54 | Life.ru

В Новосибирске поставят мюзикл на стихи бойца СВО
11.09.2026 18:41:40 | Lenta.ru

Песков: запроса о покупке или производстве Aurus на территории Индии нет
11.09.2026 18:41:28 | ТАСС

Медведев: у РФ нет никакой необходимости в мобилизации
11.09.2026 18:41:16 | ТАСС

Медведев назвал бредом слухи о том, что Россия готовится напасть на Европу
11.09.2026 18:41:15 | ТАСС

Подарок Майкла Джексона маме продают за $49 тысяч: Что известно о редком Rolls-Royce
11.09.2026 18:41:06 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro