Инференс LLM на кластере старых ноутбуков

04.08.2026 07:34:32 | Хабр

Хабы: Блог компании МТС, Машинное обучение, DIY или Сделай сам, Ноутбуки

Когда я взялся за этот небольшой эксперимент, мной двигало исключительно любопытство и желание ответить на вопрос — а что, если взять три моих старых ноутбука, объединить их вычислительные ресурсы и использовать их под инференс LLM? Идея запуска на них чего-то более-менее тяжелого выглядела заманчиво: три процессора, 52 ГБ оперативной памяти — в теории должно получиться быстрее, чем на любом из них по отдельности.

Спойлер: почти никогда не быстрее. Однако выяснение причины оказалось интереснее потенциальной истории успеха. Вылезли разные неочевидные вещи: старый процессор был не самым медленным, третий узел не особо помогал, а обработка промпта вела себя противоположно генерации токенов.

Сразу же оговорюсь — любой GPU средней ценовой категории сделает ту же самую работу в десятки раз быстрее. Но моя задача была увидеть узкие места в «естественной среде обитания». Приятного чтения.

Подробнее

Читайте также

AAA Движок для GTA San Andreas в браузере и переписывание ThreeJS
04.08.2026 07:27:12 | Хабр

Сердце облачной Java: проверяем Quarkus
04.08.2026 07:15:59 | Хабр

Прообраз современного металлоискателя — индукционный баланс Хьюза
04.08.2026 07:04:40 | Хабр

Девять жизней одного приложения: как менялся Word с развитием технологий
04.08.2026 07:01:39 | Хабр

1001 задача для счета в уме
04.08.2026 07:00:39 | Хабр

Индексируем диапазоны с помощью битовых масок, чтобы k8s не ломал индекс
04.08.2026 07:00:38 | Хабр

Трижды в топ‑3 финтеха: 6 потерь эффективности, которые мы устранили, чтобы быть среди лучших
04.08.2026 06:40:37 | Хабр

Ещё больше смартфонов Motorola получили доступ к Android 17
04.08.2026 06:26:37 | ferra.ru

Белемнитгромовая стрела / чёртов палец / рысий камень
04.08.2026 06:19:32 | Хабр

ИИ-контроль стройки по видеокамерам, чертеж в 3D-модель за минуту – и ещё 8 российских стартапов
04.08.2026 05:46:32 | Хабр

Создаём DSL на C#: Диагностика
04.08.2026 05:43:55 | Хабр

Spec Kit без тяжёлого CLI: как адаптировать Spec-Driven подход под свой проект в Cursor
04.08.2026 05:20:01 | Хабр

ФНС уже использует ИИ? Как автоматизацию выдают за искусственный интеллект
04.08.2026 05:01:29 | Хабр

Security Week 2632: массовый угон криптовалюты у пользователей кошельков COLDCARD
04.08.2026 03:26:05 | Хабр

Добавляем надежный recovery в Xiaomi Band 10 Pro
04.08.2026 03:16:22 | Хабр

Как приручить LLM
04.08.2026 01:25:28 | Хабр

Многоразовая одноразовость
04.08.2026 01:00:14 | Хабр

Насколько велики электромагнитные силы?
04.08.2026 00:26:08 | Хабр

Сайт ВТБ и его веб-приложение перестали открываться в иностранных браузерах из-за отзыва зарубежных SSL-сертификатов — РБК
03.08.2026 23:11:00 | vc.ru

Wiremokjs как я создавал свой скриптовый язык для wiremock
03.08.2026 23:09:13 | Хабр

Видеокарту RTX 5060 Ti удалось восстановить после того, как она согнулась пополам
03.08.2026 22:26:36 | ferra.ru

Любовь на языке Rust: ownership, borrowing и конечный автомат отношений
03.08.2026 22:08:55 | Хабр

Генератор M-последовательностей
03.08.2026 21:44:18 | Хабр

DocGen: как я сделал AI-ассистента для системного аналитика и не сошёл с ума
03.08.2026 21:43:51 | Хабр

Microsoft резко повысила цены на Xbox в Европе. Вплоть до 43%
03.08.2026 21:26:34 | ferra.ru

Прогулки по Казани. От водовоза до робота-доставщика
03.08.2026 21:24:47 | Хабр

«Я грохнула половину интерфейса, и этого никто не заметил»: как мы улучшили UX, чтобы отучить систему мешать работать
03.08.2026 20:58:58 | Хабр

«Я удалила половину интерфейса, и этого никто не заметил»: как мы улучшили UX, чтобы отучить систему мешать работать
03.08.2026 20:58:58 | Хабр

1С: Битва за периферию проиграна, но войну не проиграет
03.08.2026 20:29:47 | Хабр

Samsung начала тестировать One UI 9.5 для грядущих флагманов Galaxy S27 Ultra
03.08.2026 20:26:31 | ferra.ru

Claude Fable обошел GPT-5.6 в переписывании программ с нуля. Вот как ему это удалось
03.08.2026 19:55:11 | Хабр

Продакшен пал, Милорд
03.08.2026 19:50:52 | Хабр

Минцифры обсуждает с хостинг-провайдерами повышение эффективности контроля за IP-адресами легитимных VPN — РБК
03.08.2026 19:42:16 | vc.ru

VIM — великий и ужасный
03.08.2026 19:37:43 | Хабр

Вышла ИИ-модель Alibaba Qwen3.8-Max с 2,4 трлн параметров. Скоро станет открытой
03.08.2026 19:26:30 | ferra.ru

Смотреть все

НОВОСТИ

Гуру изнасиловал женщину во время религиозного ритуала
28.08.2026 03:32:00 | Lenta.ru

Тревел-блогерша побывала в Гватемале и сравнила жизнь там и в России
28.08.2026 03:32:00 | Lenta.ru

В МИД России назвали пиратством и разбоем задержание танкеров Францией
28.08.2026 03:28:36 | Lenta.ru

Погиб пилот-рекордсмен Боб Брэмли, который в 16 лет облетел территорию Австралии
28.08.2026 03:28:00 | Российская Газета

В Британии признали мощь российского подводного флота
28.08.2026 03:27:56 | Lenta.ru

В Севастополе отразили атаку украинских беспилотников
28.08.2026 03:22:19 | Lenta.ru

Посольство РФ в Сербии выразило соболезнования в связи со смертью Ратко Младича
28.08.2026 03:20:39 | Life.ru

В МИД обвинили Киев в использовании ИИ для ударов по автобусам
28.08.2026 03:19:44 | Lenta.ru

Названа альтернатива НАТО в Северной Европе
28.08.2026 03:15:00 | Lenta.ru

В Великобритании рассказали об альтернативе НАТО в Северной Европе
28.08.2026 03:15:00 | Lenta.ru

Салат айсберг из Мексики вызвал "взрывную" диарею в 40% штатов США
28.08.2026 03:13:00 | Российская Газета

Воздушная тревога вызвала транспортный коллапс в Киеве
28.08.2026 03:11:28 | Life.ru

В России с начала года открыли семь месторождений углеводородов
28.08.2026 03:08:48 | Life.ru

Обстановку в Сеуте на фоне миграционного кризиса оценили
28.08.2026 03:07:07 | Lenta.ru

Врач перечислил тревожные причины потери эрекции
28.08.2026 03:01:35 | Lenta.ru

Главком ВМС Британии признал мощь подводного флота России
28.08.2026 03:01:00 | Российская Газета

Молодой питбайкер сбил 70-летнего велосипедиста в Тверской области, оба погибли
28.08.2026 03:00:09 | Life.ru

WSJ узнала, что Трамп лично отправил главу ЦРУ в тайную поездку в Москву
28.08.2026 02:56:42 | РБК

28 августа Википедия перестала открываться на территории Российской Федерации
28.08.2026 02:54:09 | Life.ru

В России порассуждали об ответе на попытку Европы конфисковать замороженные активы
28.08.2026 02:50:56 | Lenta.ru

Россиянка рассказала о спасении от наводнения в Непале
28.08.2026 02:48:38 | Lenta.ru

Почти полное лунное затмение закроет сезон затмений 2026 года
28.08.2026 02:47:06 | Life.ru

Хакеры похитили данные миллионов пассажиров аэропортов Великобритании
28.08.2026 02:46:00 | Lenta.ru

Стали известны все участники еврокубков сезона 2026/27
28.08.2026 02:40:08 | РБК

Массовка одного фильма: Профессор объяснил, почему персональные рекомендации унифицируют одежду
28.08.2026 02:40:08 | Life.ru

Косиняк-Камыш опроверг слова зама о нежелании размещать ядерное оружие в Польше
28.08.2026 02:40:00 | Российская Газета

Швейцария разъяснила политику по санкциям при ужесточении нейтралитета
28.08.2026 02:39:00 | РБК

43 человека погибли в России с начала года при атаках ВСУ на автобусы
28.08.2026 02:29:37 | Коммерсантъ

Петербургского миллиардера Трабера освободили из СИЗО
28.08.2026 02:28:25 | Lenta.ru

Экс-генпрокурор объяснил желание Европы конфисковать замороженные российские активы
28.08.2026 02:26:50 | Lenta.ru

В МИД РФ высказались о Франции, которая начала задерживать танкеры в море
28.08.2026 02:22:00 | Российская Газета

В страховщики не занимать // Количество вакансий в страховой отрасли снизилось на 25%
28.08.2026 02:17:12 | Коммерсантъ

Бывший адмирал США заявил об обнаружении возможного района Атлантиды
28.08.2026 02:15:00 | Lenta.ru

Кулеба допустил снижение мобилизационного возраста на Украине
28.08.2026 02:12:46 | Life.ru

Дмитриев: Европейцы распространяют ложные нарративы, чтобы продлить конфликт
28.08.2026 02:09:00 | Российская Газета

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro