Инференс LLM на кластере старых ноутбуков

04.08.2026 07:34:32 | Хабр

Хабы: Блог компании МТС, Машинное обучение, DIY или Сделай сам, Ноутбуки

Когда я взялся за этот небольшой эксперимент, мной двигало исключительно любопытство и желание ответить на вопрос — а что, если взять три моих старых ноутбука, объединить их вычислительные ресурсы и использовать их под инференс LLM? Идея запуска на них чего-то более-менее тяжелого выглядела заманчиво: три процессора, 52 ГБ оперативной памяти — в теории должно получиться быстрее, чем на любом из них по отдельности.

Спойлер: почти никогда не быстрее. Однако выяснение причины оказалось интереснее потенциальной истории успеха. Вылезли разные неочевидные вещи: старый процессор был не самым медленным, третий узел не особо помогал, а обработка промпта вела себя противоположно генерации токенов.

Сразу же оговорюсь — любой GPU средней ценовой категории сделает ту же самую работу в десятки раз быстрее. Но моя задача была увидеть узкие места в «естественной среде обитания». Приятного чтения.

Подробнее

Читайте также

AAA Движок для GTA San Andreas в браузере и переписывание ThreeJS
04.08.2026 07:27:12 | Хабр

Сердце облачной Java: проверяем Quarkus
04.08.2026 07:15:59 | Хабр

Прообраз современного металлоискателя — индукционный баланс Хьюза
04.08.2026 07:04:40 | Хабр

Девять жизней одного приложения: как менялся Word с развитием технологий
04.08.2026 07:01:39 | Хабр

1001 задача для счета в уме
04.08.2026 07:00:39 | Хабр

Индексируем диапазоны с помощью битовых масок, чтобы k8s не ломал индекс
04.08.2026 07:00:38 | Хабр

Трижды в топ‑3 финтеха: 6 потерь эффективности, которые мы устранили, чтобы быть среди лучших
04.08.2026 06:40:37 | Хабр

Ещё больше смартфонов Motorola получили доступ к Android 17
04.08.2026 06:26:37 | ferra.ru

Белемнитгромовая стрела / чёртов палец / рысий камень
04.08.2026 06:19:32 | Хабр

ИИ-контроль стройки по видеокамерам, чертеж в 3D-модель за минуту – и ещё 8 российских стартапов
04.08.2026 05:46:32 | Хабр

Создаём DSL на C#: Диагностика
04.08.2026 05:43:55 | Хабр

Spec Kit без тяжёлого CLI: как адаптировать Spec-Driven подход под свой проект в Cursor
04.08.2026 05:20:01 | Хабр

ФНС уже использует ИИ? Как автоматизацию выдают за искусственный интеллект
04.08.2026 05:01:29 | Хабр

Security Week 2632: массовый угон криптовалюты у пользователей кошельков COLDCARD
04.08.2026 03:26:05 | Хабр

Добавляем надежный recovery в Xiaomi Band 10 Pro
04.08.2026 03:16:22 | Хабр

Как приручить LLM
04.08.2026 01:25:28 | Хабр

Многоразовая одноразовость
04.08.2026 01:00:14 | Хабр

Насколько велики электромагнитные силы?
04.08.2026 00:26:08 | Хабр

Сайт ВТБ и его веб-приложение перестали открываться в иностранных браузерах из-за отзыва зарубежных SSL-сертификатов — РБК
03.08.2026 23:11:00 | vc.ru

Wiremokjs как я создавал свой скриптовый язык для wiremock
03.08.2026 23:09:13 | Хабр

Видеокарту RTX 5060 Ti удалось восстановить после того, как она согнулась пополам
03.08.2026 22:26:36 | ferra.ru

Любовь на языке Rust: ownership, borrowing и конечный автомат отношений
03.08.2026 22:08:55 | Хабр

Генератор M-последовательностей
03.08.2026 21:44:18 | Хабр

DocGen: как я сделал AI-ассистента для системного аналитика и не сошёл с ума
03.08.2026 21:43:51 | Хабр

Microsoft резко повысила цены на Xbox в Европе. Вплоть до 43%
03.08.2026 21:26:34 | ferra.ru

Прогулки по Казани. От водовоза до робота-доставщика
03.08.2026 21:24:47 | Хабр

«Я грохнула половину интерфейса, и этого никто не заметил»: как мы улучшили UX, чтобы отучить систему мешать работать
03.08.2026 20:58:58 | Хабр

«Я удалила половину интерфейса, и этого никто не заметил»: как мы улучшили UX, чтобы отучить систему мешать работать
03.08.2026 20:58:58 | Хабр

1С: Битва за периферию проиграна, но войну не проиграет
03.08.2026 20:29:47 | Хабр

Samsung начала тестировать One UI 9.5 для грядущих флагманов Galaxy S27 Ultra
03.08.2026 20:26:31 | ferra.ru

Claude Fable обошел GPT-5.6 в переписывании программ с нуля. Вот как ему это удалось
03.08.2026 19:55:11 | Хабр

Продакшен пал, Милорд
03.08.2026 19:50:52 | Хабр

Минцифры обсуждает с хостинг-провайдерами повышение эффективности контроля за IP-адресами легитимных VPN — РБК
03.08.2026 19:42:16 | vc.ru

VIM — великий и ужасный
03.08.2026 19:37:43 | Хабр

Вышла ИИ-модель Alibaba Qwen3.8-Max с 2,4 трлн параметров. Скоро станет открытой
03.08.2026 19:26:30 | ferra.ru

Смотреть все

НОВОСТИ

Один из пострадавших при атаке украинских БПЛА в Волгограде умер в больнице
04.08.2026 11:32:16 | Life.ru

Российской туристке в Стамбуле отключили свет и воду за плохой отзыв об отеле
04.08.2026 11:32:00 | Российская Газета

СК рассматривает три версии пропажи Cessna 182 в Приангарье
04.08.2026 11:31:47 | ТАСС

На складах в Ленобласти потушили открытое возгорание
04.08.2026 11:30:51 | ТАСС

"Автоваз" в сентябре расширит программу сервиса подписки на Lada Largus
04.08.2026 11:30:36 | ТАСС

Россия заработала на сухарях и гренках десятки миллионов долларов
04.08.2026 11:30:36 | Lenta.ru

Россиянин бесследно исчез после концерта группы «Мумий Тролль» в Черногории
04.08.2026 11:30:07 | Lenta.ru

Жара и засуха в Европе могут привести к новому росту цен на оливковое масло
04.08.2026 11:29:36 | Life.ru

Стартовал прием заявок на конкурс "Лучший школьный педагог-библиотекарь России"
04.08.2026 11:29:09 | ТАСС

Поражены завод, сухогрузы и портовый терминал. Новые удары ВС РФ по объектам на Украине
04.08.2026 11:28:59 | ТАСС

Reuters узнало о покупке Индией 2 млн баррелей нефти у Нигерии
04.08.2026 11:28:50 | ТАСС

У умершего хоккеиста Ханова в этом году не было выявлено отклонений по здоровью
04.08.2026 11:28:43 | ТАСС

«Продам за три дня»: Россиянам раскрыли, как вычислить надёжного риелтора и не потерять деньги
04.08.2026 11:28:38 | Life.ru

В Казахстане заявили об отсутствии компенсаторных мер для продавцов Wildberries
04.08.2026 11:28:07 | ТАСС

Живущая в США блогерша рассказала о насмешившей ее особенности американских супермаркетов
04.08.2026 11:27:54 | Lenta.ru

Суд в России признал Бандеру и Шухевича пособниками нацистской Германии
04.08.2026 11:27:49 | Life.ru

Сетям АЗС в четырех регионах выдали предупреждения из-за роста цен
04.08.2026 11:27:28 | Lenta.ru

Суд по иску ГП РФ признал Бандеру, Шухевича и ОУН пособниками нацистской Германии
04.08.2026 11:27:15 | ТАСС

Сосиски в банках и соленья в пакетах: Россиянка ощутила острую тоску по гречке в американском магизине
04.08.2026 11:26:40 | Life.ru

В Адыгее бизнесмена осудили за отравление 63 человек
04.08.2026 11:25:53 | ТАСС

«Фурри-мобили» из Китая: Зачем водители вешают пушистые хвосты на багажник
04.08.2026 11:25:33 | Life.ru

Бобры едва не затопили Калининградскую область, охотникам пришлось снести почти полсотни плотин
04.08.2026 11:24:19 | Life.ru

Минторговли Казахстана запросило у Wildberries данные об ущербе для продавцов
04.08.2026 11:24:13 | ТАСС

Озвучены две главные версии исчезновения в тайге семьи Усольцевых
04.08.2026 11:23:06 | Lenta.ru

Число пострадавших при атаке ВСУ на рынок в Каховке возросло до 13
04.08.2026 11:23:05 | ТАСС

В АСИ назвали число регионов РФ, чьи маршруты вошли в международные туркаталоги
04.08.2026 11:22:58 | ТАСС

12 сантиметров хруста: Роскачество научило выбирать лучшие огурцы и помидоры для засолки
04.08.2026 11:22:04 | Life.ru

Лантратова подключилась к проверке данных об издевательствах в рехабе Петербурга
04.08.2026 11:22:03 | ТАСС

ВЦИОМ: число россиян, удовлетворенных состоянием здоровья своей семьи, выросло
04.08.2026 11:21:32 | ТАСС

Военный в Севастополе открыл огонь по сослуживцам и мирным жителям. Четыре человека погибли, четверо ранены
04.08.2026 11:20:43 | Lenta.ru

Мизулина назвала SHAMAN скуфом
04.08.2026 11:19:59 | Lenta.ru

Раскрыт неожиданный фактор улучшения качества сна
04.08.2026 11:19:15 | Lenta.ru

Дрон атаковал склад «Ленты» в Ленинградской области, есть пострадавший
04.08.2026 11:17:55 | Life.ru

В российском аэропорту нашли школьные тетради с драгоценным сюрпризом
04.08.2026 11:17:54 | Lenta.ru

В Волгограде пострадавший при атаке БПЛА умер в больнице
04.08.2026 11:16:26 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro