Запускаем LLM локально на майнинг ферме из 4 GPU

03.07.2026 10:14:43 | Хабр

Хабы: DevOps, DIY или Сделай сам, GPGPU, Natural Language Processing, Видеокарты

В последнее время становится все более популярным локальный запуск LLM. У каждогг свои причины, но основные это: проблемы с западными сервисами, нестабильный интернет и утечка данных в открытый доступ (преценденты уже были).

В этой статье я расскажу как запускал LLM локально на майнинговом железе, какие тонкости есть при запуске. Расскажу архитектуру моей сборки и примерную стоимость железа. Также протестирую скорость работы с некоторыми наиболее популярными MoE LLM, включая модели от гугла и ChatGPT. По поводу целесообразности подобных сборок решение каждый примет сам исходя из своих задач и финансовых ресурсов.

Подробнее

Читайте также

Сколько стоит электронный охранник?
03.07.2026 10:13:32 | it-world

Народная карта наличия бензина: честно про цифры, архитектуру и как PostGIS прод положил
03.07.2026 10:12:02 | Хабр

Быстрые и компактные структуры данных для RMQ
03.07.2026 10:01:00 | Хабр

В ожидании Black Flag Resynced: игры про море и корабли, которые вы (скорее всего) пропустили
03.07.2026 09:54:47 | Хабр

ИИ-компанию Anthropic обвинили в тайной слежке за пользователями из Китая
03.07.2026 09:52:26 | ferra.ru

Вступление в силу законопроекта о регулировании криптовалют в России отложили до 1 сентября 2026 года
03.07.2026 09:51:23 | vc.ru

Как оживлять фото нейросетью и заставить портрет двигаться — гайд, обзор сервисов, 15 промптов
03.07.2026 09:50:48 | Хабр

Как с 1 апреля оплачивать Apple: что изменилось, какие есть способы пополнить баланс
03.07.2026 09:48:47 | Хабр

Лучшие нейросети для анализа данных: Выбираем ИИ для аналитики, работы с документами, таблицами, текстом
03.07.2026 09:39:19 | Хабр

В борьбе обретешь ты право свое: стать синьором
03.07.2026 09:30:55 | Хабр

Agent Driven SDLC: как меняется разработка в эпоху ИИ
03.07.2026 09:27:57 | Хабр

CTF с нуля: что нужно знать, где тренироваться и как не бросить в первый месяц
03.07.2026 09:11:21 | Хабр

Новый глобальный рынок с потенциалом в триллионы долларов в год
03.07.2026 09:08:11 | Хабр

Практическое руководство по аудиту беспроводных сетей (Wi-Fi) на промышленных объектах и складах
03.07.2026 09:01:53 | Хабр

ИТ-льгота как мышеловка: почему «заход в Минцифры ради 5%» с 2026 года стал ловушкой
03.07.2026 09:00:53 | Хабр

T-Shaped специалист: эволюция или ловушка современного IT?
03.07.2026 09:00:04 | Хабр

gRPC в мире PHP: пошаговый гайд по сборке микросервиса на Symfony 7 и RoadRunner
03.07.2026 08:56:52 | Хабр

Почему продуктовые метрики не отвечают на главный вопрос руководителя продукта
03.07.2026 08:54:15 | Хабр

Дефицит электроэнергии закроют строительством новых АЭС
03.07.2026 08:51:11 | Хабр

Промышленный дизайн в эпоху автономного транспорта: как сочетается язык эстетики и технологичности
03.07.2026 08:49:28 | Хабр

Подвожу итоги: 3 млн рублей на моей детективной игре в Telegram
03.07.2026 08:43:04 | Хабр

Как оплатить App Store в России
03.07.2026 08:30:28 | Хабр

Выбираем нейросети для удаления фона с фото = 6 лучших ИИ, чтобы стереть обьекты с фото
03.07.2026 08:26:13 | Хабр

День 1591: продажи смартфонов в России в первой половине 2026 года упали на 7-10% в штуках и на 6-7% в деньгах
03.07.2026 08:23:59 | vc.ru

Потратить впустую 1,2 млн рублей из-за хотелок руководителя
03.07.2026 08:22:15 | Хабр

Почему мощных видеокарт недостаточно для ИИ
03.07.2026 08:00:48 | Хабр

Эффективное применение NuGet. Часть 2: свои пакеты и декомпозиция монореп
03.07.2026 07:54:07 | Хабр

Sony окончательно откажется от дисков с играми для PlayStation к 2028 году
03.07.2026 07:52:25 | ferra.ru

Мультиполярный ИИ: почему у каждой страны теперь свои модели
03.07.2026 07:43:02 | Хабр

Несколько слов о грузинском бизнесе: как потерять $20 000 на умных холодильниках
03.07.2026 07:38:46 | Хабр

Nano Banana в России: как пользоваться без VPN в 2026 году. Полная инструкция, обзор и промпты
03.07.2026 07:38:35 | Хабр

От Django-дневника к интеллектуальной системе поддержки диабета: математика, SPA и машинное обучение
03.07.2026 07:30:46 | Хабр

Почему интервью для разрабов — такое непроходимое говно, и что с этим делать?
03.07.2026 07:30:46 | Хабр

PowerHTML
03.07.2026 07:25:45 | Хабр

Решение проблемы шлакообразования в паяльных ваннах
03.07.2026 07:22:36 | Хабр

Смотреть все

НОВОСТИ

Пожар произошёл на Амурском ГХК, идёт эвакуация
25.08.2026 09:53:02 | Life.ru

Шлем исчез, $4000 пропали: Россиянин погиб на Бали при загадочных обстоятельствах
25.08.2026 09:52:46 | Life.ru

Стало известно о роли ПО Palantir в дальних ударах ВСУ по России
25.08.2026 09:49:25 | Lenta.ru

Раскрыто отношение молодежи к тренду на экстремальную худобу
25.08.2026 09:48:33 | Lenta.ru

Рахимич предсказал ЦСКА попадание в топ-3 РПЛ
25.08.2026 09:46:00 | Lenta.ru

Россия ударила по предназначенному для ВСУ сухогрузу
25.08.2026 09:44:39 | Lenta.ru

Мировые цены на нефть упали на фоне новых санкций США против Ирана
25.08.2026 09:43:51 | Lenta.ru

Генерал-майор ответил на слова Зеленского о русских
25.08.2026 09:43:08 | Lenta.ru

Армия России атаковала судно с ценным грузом для ВСУ в порту Южный
25.08.2026 09:42:03 | Life.ru

«Лента.ру» и Минтруд подготовили памятку для россиян с инвалидностью
25.08.2026 09:39:46 | Lenta.ru

Эксперт Степанов: ВСУ используют PRISMA для планирования ударов БПЛА вглубь РФ
25.08.2026 09:39:00 | Российская Газета

Главу получившего 1 млрд центра «ТулаДрон» арестовали за мошенничество
25.08.2026 09:38:32 | Life.ru

США исключили Сирию из списка государств - спонсоров терроризма
25.08.2026 09:37:00 | Российская Газета

Си Цзиньпин подчеркнул важность расширения кампании по верному представлению о результатах государственного управления
25.08.2026 09:37:00 | Российская Газета

В Италии будут наказывать пешеходов за использование смартфона на дороге
25.08.2026 09:37:00 | Российская Газета

В России заявили о военном взаимодействии ОДКБ с Арменией
25.08.2026 09:36:28 | Lenta.ru

Индия одобрила проект первого модуля орбитальной станции
25.08.2026 09:35:00 | Lenta.ru

"Убить надежду на мир": Соскин прокомментировал слова Стубба об ударах ВСУ по WB
25.08.2026 09:35:00 | Российская Газета

Назван привлекающий тараканов неочевидный предмет в доме
25.08.2026 09:32:24 | Lenta.ru

Сотрудник российского аэропорта решил проверить коллег и подложил им муляж бомбы
25.08.2026 09:31:24 | Lenta.ru

Два самолёта столкнулись в небе над виноградником в Австрии, есть жертвы
25.08.2026 09:31:05 | Life.ru

Марочко: ВС России разбили укрепрайоны ВСУ при освобождении Кучерова Яра
25.08.2026 09:30:25 | Life.ru

Батраков выступил с речью перед футболистами «Галатасарая»
25.08.2026 09:30:00 | Lenta.ru

Нетаньяху рассказал о попытке Ирана убить одного из его сыновей
25.08.2026 09:29:00 | Российская Газета

Драги и Макрон убеждали Шольца поддержать Украину с помощью вина
25.08.2026 09:27:29 | Lenta.ru

На Филиппинах зарегистрировали российские лекарства против рака
25.08.2026 09:27:00 | Российская Газета

Как гражданину Беларуси оформить российскую сим-карту
25.08.2026 09:27:00 | Российская Газета

ООН требует прекратить атаки на мирных жителей после убийства детей в Краснодаре
25.08.2026 09:26:57 | Life.ru

Бывшая жена Гуфа назвала Канье Уэста психически больным
25.08.2026 09:21:12 | Lenta.ru

В ООН прокомментировали удар ВСУ по Краснодару, где погибли трое детей
25.08.2026 09:17:00 | Российская Газета

Тревога из-за ракет и дронов прозвучала в 14 регионах России
25.08.2026 09:15:01 | Lenta.ru

На Западе поразились словам Стубба об ударах ВСУ по складам Wildberries
25.08.2026 09:12:41 | Lenta.ru

Медведев рассказал, как поступят с Зеленским после капитуляции
25.08.2026 09:11:36 | Life.ru

ВСУ бросили в Харьков полк наёмников с приказом не допустить окружения Волчанска
25.08.2026 09:09:19 | Life.ru

Авторы WARDOGS похвастались результатами бета-теста шутера и пообещали исправить технические проблемы
25.08.2026 09:09:18 | PlayGround.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro