Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Что значит развернуть LLM локально: два дня с vLLM, DGX Spark и настоящими ограничениями

11.09.2026 14:58:39 | Хабр

Хабы: Искусственный интеллект, Машинное обучение, Операционные системы, Серверное администрирование

Когда меня однажды спросили, что такое инференс и как выглядит локальное развёртывание модели, я ответил правильно, но слишком общо. Через несколько дней пришлось пройти этот путь целиком: поднять две LLM на NVIDIA DGX Spark, отдельную ASR-модель на AMD GPU и подключить всё к мультиагентной платформе. В статье — инженерный разбор того, почему файлы модели ещё не сервис, как длинный контекст конкурирует с KV-кэшем и параллелизмом, почему tokens/sec не описывают пользовательскую задержку и зачем иногда откатывать более быструю модель из-за качества.

Читать далее

Подробнее

Читайте также

Спиральный фрактал разработки ПО
11.09.2026 14:53:43 | Хабр

[Перевод] Шаблон игры «Автомойка» на Unity: Полное руководство по созданию детской игры по мытью автомобилей
11.09.2026 14:53:17 | Хабр

Шаблон игры «Автомойка» на Unity: Полное руководство по созданию детской игры по мытью автомобилей
11.09.2026 14:53:17 | Хабр

Framework вернёт деньги переплатившим за Laptop 13 Pro. Компания нашла память дешевле
11.09.2026 14:51:54 | ferra.ru

Как мы засунули геометрию квартиры в обычный PNG
11.09.2026 14:44:22 | Хабр

Как мы разрешили чтение с реплик PostgreSQL — и почему шесть лет говорили «нет»
11.09.2026 14:43:18 | Хабр

В Сибири создали первую в мире капсулу-биореактор для проверки биоматериалов
11.09.2026 14:40:12 | ferra.ru

МФО выдали заем мошеннику: кто должен отвечать за последствия
11.09.2026 14:27:40 | Хабр

Positive Technologies вошла в капитал CyberOK и усилила ставку на EASM
11.09.2026 14:21:21 | it-world

UART over radio на PlutoSDR: от serial monitor до неполноценного терминала Raspberry Pi
11.09.2026 14:15:05 | Хабр

Карта экосистемы информационной безопасности вокруг РЕД АДМ
11.09.2026 14:08:26 | Хабр

Что влияет на стоимость лида в диджитал-агентстве и как ее снизить
11.09.2026 14:07:32 | Хабр

Бэкап, из которого ни разу не восстанавливались — это не бэкап
11.09.2026 14:05:13 | Хабр

Как выбрать информационную систему управления проектами: возможный методологический подход
11.09.2026 13:50:12 | Хабр

DLP для LLM: как обезличивать запросы и не ломать поиск по сотрудникам
11.09.2026 13:38:47 | Хабр

ЦБ впервые с 2025 года сохранил ключевую ставку — 14% годовых
11.09.2026 13:32:39 | vc.ru

User flow. Как проектировать и зачем
11.09.2026 13:21:41 | Хабр

[Перевод] Реверс‑инжиниринг электроскутера и новая прошивка для него на Rust
11.09.2026 13:19:10 | Хабр

Коммерческий 5G впервые заработал в российских городах
11.09.2026 13:09:13 | it-world

Как ИИ меняет математику?
11.09.2026 13:02:54 | Хабр

[Перевод] Софт может деградировать бесконечно
11.09.2026 13:02:08 | Хабр

Zero-конфиг в TeamCity как цель
11.09.2026 12:57:38 | Хабр

Код будущего: Хабр и Сбер запускают новый сезон статей о роли ИИ в создании ПО
11.09.2026 12:54:13 | Хабр

Авторизация как код, но не в коде: ABAC для Spring Boot на Open Policy Agent
11.09.2026 12:52:17 | Хабр

Энтузиаст выпустит Android-порт GTA 5
11.09.2026 12:51:54 | ferra.ru

Готовы ли вы к платформенной инженерии: чек-лист из 10 задач
11.09.2026 12:47:49 | Хабр

Сознание в рамках Макро- и Микро-Систем (Первая статья в серии по моему проекту «Zero»)
11.09.2026 12:46:48 | Хабр

Как использовать фреймворк Perseus для решения задач
11.09.2026 12:45:05 | Хабр

[Перевод] Создан новый тип игральных костей, которые гарантируют отсутствие ничьей при определении победителя
11.09.2026 12:22:12 | Хабр

MCP без хаоса: как мы создали в корпоративном ландшафте централизованный шлюз для ИИ‑агентов
11.09.2026 12:22:05 | Хабр

Какая CRM лучше для бизнеса: Битрикс24, amoCRM или другая система?
11.09.2026 12:06:06 | Хабр

Беги за солнцем
11.09.2026 12:04:33 | Хабр

В России изучили черепа пещерных гиен из Хакасии с помощью томографии
11.09.2026 12:01:55 | ferra.ru

Как голосовой робот сам закрывает окна в расписании стоматологов
11.09.2026 12:00:04 | Хабр

Авторитаризм, увольнения, ИИ, падение выручки. IT 2026 — измеряем кризис
11.09.2026 11:26:16 | Хабр

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

Российский гимнаст Маринов стал четвёртым в многоборье на ЧМ в Роттердаме
22.10.2026 23:41:39 | Life.ru

Xinhua: в Тибете при землетрясении погибли 16 человек
22.10.2026 23:38:18 | ТАСС

AP: умер сыгравший в "Чужом" американский актер Том Скеррит
22.10.2026 23:35:49 | ТАСС

Стало известно о конфликте Мерца с одним политиком
22.10.2026 23:30:53 | Lenta.ru

Трамп призвал Маска вернуть ВСУ доступ к Starshield. Как отключение системы навредило Украине?
22.10.2026 23:29:00 | Lenta.ru

Российские ватерполисты выступят на чемпионате мира-2027 в Будапеште
22.10.2026 23:26:00 | Российская Газета

Bild: Временный поверенный США в ФРГ устраивал пьянки с телохранителями
22.10.2026 23:25:00 | Российская Газета

Актёр Ефим Старцев погиб в зоне СВО
22.10.2026 23:24:38 | Life.ru

Мостовой назвал рановатым прозвище Батракова «русский князь»
22.10.2026 23:23:00 | Lenta.ru

Путин рассказал об участии украинских националистов в боевых действиях
22.10.2026 23:21:25 | Lenta.ru

Путин призвал противников России осознать, что с ней лучше жить дружно
22.10.2026 23:19:07 | Life.ru

Telegraph раскрыла кандидатов на роль переговорщика с РФ от Европы по Украине
22.10.2026 23:19:06 | ТАСС

Трамп заявил, что доступ Украины к Starshield восстановили
22.10.2026 23:18:51 | ТАСС

Российский актер погиб в зоне СВО
22.10.2026 23:17:04 | Lenta.ru

Сборные России квалифицировались на чемпионат мира по водному поло
22.10.2026 23:17:00 | Lenta.ru

В Запорожье перекрыли мост через Днепр после взрыва в городе
22.10.2026 23:16:05 | ТАСС

Уехавший из России комик назвал причину развода
22.10.2026 23:15:00 | Lenta.ru

Российскому театральному обществу 150 лет. История организации
22.10.2026 23:14:47 | ТАСС

В Полтаве после взрыва возник пожар
22.10.2026 23:14:25 | ТАСС

Умер актер из фильма "Солнцепек" Андрей Терентьев
22.10.2026 23:12:38 | ТАСС

Стало известно о дальнейших планах ПСЖ на российского вратаря Сафонова
22.10.2026 23:11:30 | Lenta.ru

Дмитриев назвал два важных шага к безопасной и процветающей Европе
22.10.2026 23:11:00 | Lenta.ru

Путин заявил, что Киев и Запад считают украинцев расходным материалом
22.10.2026 23:10:26 | Life.ru

Зеленский пожаловался, что Украину не зовут на саммит G20
22.10.2026 23:10:00 | Российская Газета

Фанаты PlayStation сделали выбор: трейлер Shrek 2 Remastered обошёл GTA VI по просмотрам на YouTube-канале PlayStation
22.10.2026 23:06:43 | PlayGround.ru

WP: Сотрудники Хегсета разбили исторический глобус Эйзенхауэра в Пентагоне
22.10.2026 23:04:57 | Life.ru

В Северной Осетии после взрыва газа двое детей находятся в реанимации
22.10.2026 23:04:44 | ТАСС

В Калининграде открыли пространство для поддержки молодых семей
22.10.2026 23:00:13 | ТАСС

Рубио: США ввели визовые ограничения против ряда граждан Колумбии и Боливии
22.10.2026 23:00:06 | ТАСС

В подконтрольном Киеву городе Запорожье произошел еще один взрыв
22.10.2026 22:58:40 | ТАСС

Российский гимнаст потерял шансы на медаль ЧМ, упав на последнем снаряде
22.10.2026 22:57:30 | РБК

Укринформ: в части Киева произошли массовые отключения света
22.10.2026 22:57:24 | ТАСС

Американский военный жестко ответил на слова Зеленского о территориях
22.10.2026 22:55:40 | Lenta.ru

Shadow of the Tomb Raider: Definitive Edition вышла на Nintendo Switch 2
22.10.2026 22:54:43 | PlayGround.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro