Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

[Перевод] Запускаем LLM локально на Windows: WSL2, Docker, CUDA и vLLM

06.10.2026 11:41:17 | Хабр

Хабы: Машинное обучение, DevOps, GPGPU, Linux, IT-инфраструктура

Большинство инструкций по локальному запуску LLM сводятся к одной-двум командам: вставьте их в терминал, дождитесь загрузки модели и готово. Такой подход работает ровно до первой ошибки. После этого становится непонятно, на каком из нескольких уровней возникла проблема: в Windows, WSL2, драйвере NVIDIA, Docker, CUDA или самом inference-сервере.

В этой статье развернем Qwen3-0.6B на обычной NVIDIA-видеокарте под Windows 11 с использованием WSL2, Docker, NVIDIA Container Toolkit и vLLM.

Читать далее

Подробнее

Читайте также

Как пройти трехминутный питч и выиграть грант: успешным опытом делится участница акселератора «Физтех. Идея+»
06.10.2026 11:22:37 | Хабр

Создаём Claymation-креативы для рекламы с помощью AI за 20 минут
06.10.2026 11:20:50 | Хабр

Как правильно сохранить кадровые документы. Варианты выбора полезного для компании продукта
06.10.2026 11:19:57 | Хабр

Как убедить людей в том, чего нет, или кризис свободы слова
06.10.2026 11:18:06 | Хабр

Доказательство бесконечности чисел-близнецов
06.10.2026 11:16:42 | Хабр

«Яндекс» выложил в открытый доступ YTsaurus Flow — технологию для непрерывной обработки больших потоков данных
06.10.2026 11:12:28 | vc.ru

Принципы создания надежной автоматизации
06.10.2026 11:00:52 | Хабр

Роутер, который чинит себя сам: OpenWrt + sing‑box, раздельная маршрутизация и сторож
06.10.2026 10:54:09 | Хабр

PKI-шторм: что делать, если Kubernetes одновременно запрашивает 100 тысяч сертификатов
06.10.2026 10:41:57 | Хабр

Трамп назначил главу нацразведки США на должность «ИИ-царя»
06.10.2026 10:35:14 | ferra.ru

Отверженные: медицинские термины английского языка, которым уже не рады
06.10.2026 10:27:16 | Хабр

Перед тем как переписывать резюме, разберите 20 вакансий
06.10.2026 10:25:09 | Хабр

Вклад системного аналитика оценивают не по качеству постановки задач разработчикам. А как тогда?
06.10.2026 10:22:39 | Хабр

Свой Kubernetes‑кластер в рюкзаке: частное облако на ARM64
06.10.2026 10:21:42 | Хабр

Очередное обновление Windows все сломало. Что говорит Microsoft
06.10.2026 10:19:52 | Хабр

Механизмы внимания в современных LLM
06.10.2026 10:16:03 | Хабр

Окно в свет: почему Windows названа Windows, а иконки — иконками
06.10.2026 10:10:11 | Хабр

Публичный видеосервис на VPS: как не открыть дверь в домашнюю сеть
06.10.2026 09:46:35 | Хабр

Дайте нормально поработать или я сделаю это сам
06.10.2026 09:45:08 | Хабр

Что проверить, если RDP не подключается к Astra Linux
06.10.2026 09:44:59 | Хабр

Тестирование до релиза и после: когда пора менять стратегию
06.10.2026 09:36:57 | Хабр

Боты, которые сами встают в очередь: как я добавил компаньонов в AzerothCore и что сломалось по дороге
06.10.2026 09:29:42 | Хабр

Параллельное (конкурентное) создание индексов на секционированных таблицах
06.10.2026 09:23:41 | Хабр

Как мы делали BLE-систему аур для ролевой игры
06.10.2026 09:21:41 | Хабр

Аниме‑плеер на лапках
06.10.2026 09:16:40 | Хабр

Как я добавил в QUAD 3 прямой выбор входов: реверс ARM-прошивки, бинарный патч и 64 байта здравого смысла
06.10.2026 09:12:40 | Хабр

От RTSP-камеры до истории событий: настраиваем видеоаналитику через JavaScript Viewer
06.10.2026 09:01:57 | Хабр

Долгосрочная память для медицинского AI-ассистента: почему мы не отдали управление памятью LLM
06.10.2026 08:55:45 | Хабр

Резервирование кластера Greengage DB. Часть 3
06.10.2026 08:52:16 | Хабр

Когда отключать рекламу в Telegram Ads без заявок и сколько данных нужно
06.10.2026 08:45:37 | Хабр

Созданы обои, которые превращают влажность воздуха в электричество
06.10.2026 08:35:12 | ferra.ru

[Перевод] Виртуальные потоки после JDK 24: что изменилось в Java
06.10.2026 08:30:36 | Хабр

1 PDF = 1 000 000 токенов = 200 рублей?! Что отправлять нейросети вместо PDF
06.10.2026 08:27:48 | Хабр

Книга: «Высоконагруженные приложения. Программирование, масштабирование, поддержка. 2-е изд»
06.10.2026 08:25:17 | Хабр

День 1686: на работу систем фильтрации трафика и блокировки сайтов в 2027-2029 годах выделят почти 60 млрд рублей
06.10.2026 08:24:04 | vc.ru

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

Почти 5 случаев в день: Guardian раскрыл масштаб секс-преступлений в школах Британии
06.10.2026 15:38:53 | Life.ru

«Одного возраста недостаточно»: Россиянам объяснили, как оформить досрочную пенсию
06.10.2026 15:38:51 | Life.ru

Координаты пришли изнутри: Удары на завод Fire Point с «‎Фламинго» наводили украинцы
06.10.2026 15:37:03 | Life.ru

Конец связи: Военный эксперт раскрыл последствия ударов по дата-центрам Украины
06.10.2026 15:36:57 | Life.ru

В Германии впервые член АдГ избран председателем земельного ландтага
06.10.2026 15:36:00 | Российская Газета

Доктор Мясников развеял популярный миф о красном мясе
06.10.2026 15:34:45 | Lenta.ru

Суд заочно арестовал документалиста Лошака* по делу об оправдании терроризма
06.10.2026 15:34:42 | Life.ru

Врач предупредил некоторых россиян о высоком риске рака желудка
06.10.2026 15:32:43 | Lenta.ru

Главу службы безопасности музея "Гараж" оштрафовали за пропаганду ЛГБТ
06.10.2026 15:31:44 | ТАСС

Во Владимирской области осудили сбившего инспектора ДПС подростка
06.10.2026 15:30:41 | ТАСС

Туск заявил об уважении к Польше «от Москвы до Вашингтона»
06.10.2026 15:30:31 | Lenta.ru

Dacia временно сокращает производство на заводе в Румынии из-за падения спроса
06.10.2026 15:29:56 | Life.ru

В Ижевске задержали подростка по делу об убийстве дедушки
06.10.2026 15:29:53 | ТАСС

Суд 12 октября огласит приговор Эльвире Смирновой по делу о некачественных сухпайках
06.10.2026 15:29:24 | ТАСС

Китай выступил против поставок истребителей США F-16V Тайваню
06.10.2026 15:29:14 | ТАСС

На российском руднике обрушилась горная порода
06.10.2026 15:27:44 | Lenta.ru

Рассмотрение дела Ильи Ремесло о фейках перенесли
06.10.2026 15:27:19 | ТАСС

Нетаньяху утверждает, что ХАМАС готовится напасть перед выборами
06.10.2026 15:26:47 | ТАСС

Более 1,5 тыс. человек претендуют на премии "Мы верим твердо в героев спорта"
06.10.2026 15:26:13 | ТАСС

В КНР посоветовали США быть осторожными с нарративом о "вторжении" на Тайвань
06.10.2026 15:25:56 | ТАСС

Не простоят и века? Архитектор раскрыл срок жизни современных домов
06.10.2026 15:25:47 | Life.ru

В регионе в 2500 километрах от Украины начнут вознаграждать за сбитый дрон
06.10.2026 15:25:43 | Lenta.ru

Рубио исключил вопрос членства Украины в НАТО из текущей повестки
06.10.2026 15:25:00 | Российская Газета

Рубио исключил членство Украины в НАТО из текущей повестки
06.10.2026 15:25:00 | Российская Газета

Росатом не исключил строительства гигафабрики по производству электробатарей
06.10.2026 15:24:46 | ТАСС

В РФ получат лицензию на производство препарата для лечения СМА в 2027 году
06.10.2026 15:24:22 | ТАСС

Два человека пострадали при обрушении надземного перехода на дорогу в Татарстане
06.10.2026 15:23:48 | Коммерсантъ

МГЕР подписала соглашение с Коммунистическим союзом молодежи Китая
06.10.2026 15:23:40 | ТАСС

На "Биопроме" представили гель для длительно незаживающих ран
06.10.2026 15:23:22 | ТАСС

AT5: открывшего стрельбу в кафе в Амстердаме арестовали на 90 дней
06.10.2026 15:22:51 | ТАСС

Медведь вышел к людям в Тюменской области, жителей просят сидеть по домам
06.10.2026 15:22:08 | Life.ru

С экс-подрядчика обхода Новосибирска снова отказались взыскать 2,5 млрд рублей
06.10.2026 15:22:00 | ТАСС

В Армении депутаты парламента снова подрались
06.10.2026 15:21:00 | Российская Газета

В Киеве возникли массовые пробки и сбои в работе метро после ударов ВС РФ
06.10.2026 15:20:55 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro