Собственная облачная LLM на 16 ГБ VRAM — часть 1: базовая сборка, tools и MCP

06.03.2026 08:00:23 | Хабр

Хабы: Блог компании Selectel, Python, Программирование, Искусственный интеллект, IT-инфраструктура

Привет, Хабр! На фоне ажиотажа вокруг нейросетей все чаще встает вполне приземленный вопрос — сколько стоит содержать собственную LLM.

Современные ИИ-агенты уровня Claude, ChatGPT и DeepSeek уже давно перестали быть «чатами для развлечения». Это сложные системы, которые перед тем как выдать ответ, тратят десятки тысяч токенов на внутренние рассуждения, вызывают внешние функции, взаимодействуют с MCP-серверами и даже работают напрямую с интерфейсом ОС.

В продакшене — особенно при использовании нескольких агентов, собственных инструментов и фоновых задач — потребление токенов растет лавинообразно. При плотной нагрузке счет за API легко превращается в постоянную и плохо прогнозируемую статью расходов, от которой уже сложно отмахнуться.

В статье я покажу практичный компромисс: как развернуть собственную облачную LLM, которая укладывается в 16 ГБ видеопамяти, поддерживает инструменты и вызов функций, интегрируется с MCP-серверами и может использоваться как полноценный API-сервис для бэкенд-задач.

Подробнее

Читайте также

Молочный пластик
06.03.2026 07:59:45 | Хабр

«Улучшили выполнение» не означает «улучшили обучение»: обзор доклада о парадоксах внедрения ИИ в сфере образования
06.03.2026 07:41:53 | Хабр

Обновления GigaIDE за февраль 2026
06.03.2026 07:36:17 | Хабр

[Перевод] Внутри Intel 1405: фото кристалла памяти на регистре сдвига (1970)
06.03.2026 07:12:28 | Хабр

Талант эксперта или скрытая угроза: История спасения СТМ от миллионных убытков
06.03.2026 07:04:21 | Хабр

Российский интеллектуальный силовой модуль для судовых преобразователей частоты. Часть 2
06.03.2026 06:48:00 | Хабр

PESTEL-анализ карьеры CPO в российском финтехе и трейдинге (2025–2026)
06.03.2026 06:43:14 | Хабр

Книги о женщинах, которые изменили мир
06.03.2026 06:41:49 | Хабр

«Ура, вас уволили!»: Я заставил 17 нейросетей сокращать людей и нашел нарушения Трудового кодекса в 65% случаев
06.03.2026 06:40:29 | Хабр

Суровый B2B: как мы увеличили конверсию сайта промышленной компании на 286%, перестав продавать «в лоб»
06.03.2026 06:29:24 | Хабр

Онлайн-магистратуры ИТМО и НИЯУ МИФИ в партнёрстве с Практикумом: как поступить в 2026 году
06.03.2026 06:08:19 | Хабр

Вы знали, что с помощью LLM можно вывести подход Architecture as Code на новый уровень?
06.03.2026 06:00:16 | Хабр

Методология статистического анализа производительности СУБД: опыт применения PG_EXPECTO v.7 на реальном инциденте
06.03.2026 05:30:41 | Хабр

Первый российский учебный дрон с ИИ попал в реестр Минпромторга
06.03.2026 02:30:52 | ferra.ru

ЦИК будет доставлять бюллетени в отдаленные села на беспилотниках
06.03.2026 02:02:31 | ferra.ru

В Москве нашли новый способ лечения редкого заболевания глаз у детей
06.03.2026 01:56:48 | ferra.ru

Учителей из Свердловской области научат распознавать тексты, написанные ИИ
06.03.2026 01:22:13 | ferra.ru

В Пензе научили ИИ предсказывать лесные пожары
06.03.2026 00:55:00 | ferra.ru

В России научили нейросеть находить рак молочной железы по КТ-снимкам за минуты
06.03.2026 00:31:15 | ferra.ru

В России разработали стандарт оценки алгоритмов распознавания лиц
06.03.2026 00:17:53 | ferra.ru

В Новосибирске создали неинвазивный глюкометр на графеновых сенсорах
05.03.2026 23:44:58 | ferra.ru

Российские физики впервые измерили свойства «муарового» графена
05.03.2026 23:14:47 | ferra.ru

В МАИ придумали, как сделать беспилотники легче без потери прочности
05.03.2026 22:57:36 | ferra.ru

В Новосибирске разработали ИИ-сервис для создания аудиокниг из научных текстов
05.03.2026 22:56:38 | ferra.ru

Эра тотальной русификации, предпочтения хакеров, и китайская экспансия
05.03.2026 22:52:25 | it-world

Российские биологи разгадали структуру белка при болезнях Альцгеймера
05.03.2026 22:38:32 | ferra.ru

Знакомьтесь, Ричард Джонс (цикл заметок о выдающихся питонистах)
05.03.2026 22:36:00 | Хабр

Путин призвал внедрять ИИ в образование без упрощения обучения
05.03.2026 22:12:40 | ferra.ru

В Сибири создали установку для безопасной утилизации ядерных отходов
05.03.2026 21:38:30 | ferra.ru

Простая АСУ ТП для вакуумной печи типа Tesla-PZ-810
05.03.2026 21:07:36 | Хабр

В Тольятти модернизировал линию контроля двигателей для Lada Niva
05.03.2026 21:05:24 | ferra.ru

WhatsApp* работает над запуском подписки с опциями кастомизации приложения — WABetaInfo
05.03.2026 20:26:34 | vc.ru

Судьба или заслуга??
05.03.2026 20:15:32 | Хабр

Exadata на Postgres, или старые архитектурные проблемы и их решение
05.03.2026 19:55:35 | Хабр

Exadata на Postgres, или старые архитектурные проблемы и их решение в МБД Tantor XData Gen3
05.03.2026 19:55:35 | Хабр

Смотреть все

НОВОСТИ

«So nice»: Майкл Джексон погладил Билана по лицу и назвал хорошеньким
10.06.2026 17:41:34 | Life.ru

Балицкий: ВСУ ударили по двору домов в Днепрорудном
10.06.2026 17:38:42 | ТАСС

Число сбитых с начала суток на подлете к Москве БПЛА достигло 27
10.06.2026 17:38:01 | ТАСС

Самолёт Зеленского вернулся в Польшу после поездок, совершённых в облёт страны
10.06.2026 17:37:35 | Life.ru

Свыше 700 специалистов примут участие в ежегодной конференции по ИИ от Т-Банка
10.06.2026 17:36:57 | ТАСС

Первый в России Музей традиционной культуры Китая открыли в Вологде
10.06.2026 17:36:30 | ТАСС

Смоленск примет федеральный День молодежи с 26 по 28 июня
10.06.2026 17:36:22 | ТАСС

Захарова: музей "Оборона Севастополя" восстановят
10.06.2026 17:36:16 | ТАСС

Россияне начали скупать две модели ушедшего из России автопроизводителя
10.06.2026 17:36:11 | Lenta.ru

Экс-ведущий Top Gear запустил аналог OnlyFans для фермеров
10.06.2026 17:36:10 | Life.ru

Политик Мема: в ФРГ набирают силу нацизм и враждебность по отношению к России
10.06.2026 17:36:09 | ТАСС

Путин поручил проработать предложения бизнеса к совещанию по экономическим вопросам
10.06.2026 17:36:04 | ТАСС

Кабмин Болгарии разрешил АЭС "Козлодуй" купить у РФ оборудование, несмотря на санкции
10.06.2026 17:35:55 | ТАСС

В Дагестане пострадавшие от паводков получили 1,5 млрд рублей
10.06.2026 17:35:54 | ТАСС

Диспансеризацию прошли более 400 бойцов СВО и членов их семей в Ярославской области
10.06.2026 17:35:49 | ТАСС

Фуд-блогер дал советы по выбору мяса для шашлыка
10.06.2026 17:35:32 | Lenta.ru

Путин: РФ ничего не делает искусственно по курсу валют
10.06.2026 17:35:21 | ТАСС

Механизм КРТ позволит застроить около 150 гектаров в Оренбургской области
10.06.2026 17:34:40 | ТАСС

Жалобу осужденной за убийство приемного ребенка на Урале не удовлетворили
10.06.2026 17:33:38 | ТАСС

Путин подписал закон об аресте имущества одной категории россиян
10.06.2026 17:33:00 | Lenta.ru

Футболист Сергеев пока не может оценить назначение Шварца в "Динамо"
10.06.2026 17:32:57 | ТАСС

ТАСС: совет управляющих МАГАТЭ принял антииранскую резолюцию
10.06.2026 17:32:13 | ТАСС

В Москве 13 июня гроза с ливнем предварит спад сильной жары
10.06.2026 17:32:10 | ТАСС

Путин: ситуация в экономике России - под контролем
10.06.2026 17:31:29 | ТАСС

Легойда прокомментировал инициативу о включении патриарха Кирилла в санкционный список ЕС
10.06.2026 17:31:17 | ТАСС

Путин заявил о снижении инфляции в России
10.06.2026 17:31:09 | ТАСС

Россиянам подсказали способы пережить жару на работе без стресса
10.06.2026 17:30:57 | Lenta.ru

Путин считает возможным снижение ключевой ставки
10.06.2026 17:30:54 | ТАСС

Политик Мема: Финляндия сошла с ума, позволив БПЛА Украины пролетать над страной
10.06.2026 17:30:49 | ТАСС

Развожаев: Украина ударом по Севастополю демонстрирует свои комплексы
10.06.2026 17:30:40 | ТАСС

Путин: в РФ есть "инвестиционная сдержанность" на фоне мер против инфляции
10.06.2026 17:30:33 | ТАСС

Путин: в России нет инвестиционной паузы, инвестиционный процесс продолжается
10.06.2026 17:30:02 | ТАСС

Онемение, слабость, проблемы со зрением: Когда ещё в жару нужно срочно вызывать скорую
10.06.2026 17:30:00 | Life.ru

В яичнике вырос зуб: В Татарстане врачи удалили у девушки страшную кисту
10.06.2026 17:29:59 | Life.ru

Путин: в РФ понимали, что меры против инфляции отразятся на темпах роста экономики
10.06.2026 17:29:44 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro