Допиливаем InferSim для собственных нужд моделирования загрузки промышленных GPU

24.04.2026 07:35:43 | Хабр

Хабы: Компьютерное железо, Искусственный интеллект

Привет, Хабр! Меня зовут Дмитрий, я занимаюсь развитием продукта LLMaaS и сегодня хочу поделиться своим опытом моделирования загрузки оборудования для ML-инференса. Перед нами встала классическая задача: понять, сколько и какого железа закупать под большие языковые модели в условиях нашего сурового российского рынка. Ошибаться нельзя — цены на ускорители сегодня таковы, что одна незапланированная «стройка» может оставить команду без зарплаты. Решили не изобретать велосипед с нуля, а допилить открытый симулятор InferSim от Alibaba. О том, что у нас получилось, и пойдёт речь.

Подробнее

Читайте также

Когда Java-разработка — это не только Spring
24.04.2026 07:33:58 | Хабр

Хакеры украли личные данные граждан Франции из базы госоргана
24.04.2026 07:23:15 | ferra.ru

Ch4IR: мой 4х канальный видеорекордер на Android который не умеет делать запись
24.04.2026 07:00:06 | Хабр

Что нужно знать про 3D-принтеры, если вы провели 30 лет в коме
24.04.2026 06:50:02 | Хабр

Как мы считаем досрочное погашение кредита: что реально работает в коде
24.04.2026 06:30:55 | Хабр

Видеть невидимое: как создаётся независимость Поднебесной в космосе
24.04.2026 06:28:42 | Хабр

Paging 3 хорош. Пока вам не понадобится что-то ещё
24.04.2026 06:16:40 | Хабр

Ищем бесплатную альтернативу Телеграм и WhatsApp*. Тестим мессенджер в Битрикс24 в издательстве настольных игр
24.04.2026 06:00:36 | Хабр

Арбитражный процесс без юриста: правовая структура выбора и системный анализ рисков
24.04.2026 06:00:33 | Хабр

Реактивные серверы, или как перестать писать JavaScript и начать жить
24.04.2026 05:48:12 | Хабр

Ремонт техники без иллюзий: сложные ремонты, свой сервис и техноблог — интервью с Сергеем Павленко
24.04.2026 05:47:04 | Хабр

Я изучил популярные диеты — и понял, почему большинство из них не работает
24.04.2026 05:30:28 | Хабр

Моделирование резьбы для 3D печати
24.04.2026 05:20:21 | Хабр

OpenAI Privacy Filter: красивая архитектура в суровых условиях русского бенчмарка
24.04.2026 05:03:18 | Хабр

Бегущий чайник
24.04.2026 05:01:10 | Хабр

Поиск видеоконтента: сравнение Hikvision и СпецЛаб
24.04.2026 05:00:11 | Хабр

Как мы заставили vLLM «лениться» под нагрузкой и спасли Time-to-First-Token
24.04.2026 04:19:58 | Хабр

«Трубы» зовут — вспоминаем историю скринсейверов
24.04.2026 00:33:54 | Хабр

В России создали систему защиты электросетей от магнитных бурь
23.04.2026 23:32:02 | ferra.ru

В России разработали фотопленки для быстрых сенсоров
23.04.2026 23:21:26 | ferra.ru

Нейросеть для презентаций Gamma App — что умеет и как оплатить из России
23.04.2026 23:19:56 | Хабр

Microsoft предложит более 8000 сотрудников добровольно уйти на пенсию, чтобы не прибегать к массовым сокращениям и при этом снизить расходы — СМИ
23.04.2026 23:19:49 | vc.ru

Кинематическая задача из олимпиады «Росатом» за 2020/21 учебный год
23.04.2026 23:10:33 | Хабр

В России создадут спутники для прямой связи с обычными телефонами
23.04.2026 23:07:45 | ferra.ru

В Петербурге создали модульную архитектуру для систем промышленной автоматики
23.04.2026 23:04:59 | ferra.ru

Росстандарт подтвердил соответствие измерительных приборов НПП «Эталон»
23.04.2026 22:58:33 | ferra.ru

ИИ помог устранить 250 тысяч нарушений в Подмосковье
23.04.2026 22:55:42 | ferra.ru

Затратный драйвер роста, зачистка поляны для операторов связи, и просьбы АРПП
23.04.2026 22:49:13 | it-world

В России создали мобильного ИИ-помощника для анализа видео
23.04.2026 22:45:58 | ferra.ru

Шестибитный процессор с робкими картинками
23.04.2026 22:44:18 | Хабр

Apple закрыла уязвимость, через которую ФБР читала переписки
23.04.2026 22:27:42 | ferra.ru

Выжать больше из локальных LLM. Ollama медленнее llama.cpp в 3 раза. UD_Q4_K_XL лучше чем Q4_K_M, а вес тот же и т.д
23.04.2026 22:13:46 | Хабр

Meta* сократит примерно 8000 человек и не будет нанимать специалистов на 6000 открытых позиций
23.04.2026 22:00:41 | vc.ru

В России научились печатать железнодорожные колёса на 3D-принтере
23.04.2026 21:46:00 | ferra.ru

В Новосибирске изучили древние черепа с помощью КТ
23.04.2026 21:38:28 | ferra.ru

Смотреть все

НОВОСТИ

В Новосибирской области отменили беспилотную опасность
06.07.2026 19:53:47 | ТАСС

В СК Армении представили детали по задержанию оппозиционера Царукяна
06.07.2026 19:53:23 | ТАСС

ЦАХАЛ пресек попытку нескольких израильтян проникнуть в Сирию у горы Хермон
06.07.2026 19:51:19 | ТАСС

Львова-Белова обсудила с женщинами Чукотки меры поддержки семей с детьми
06.07.2026 19:49:42 | ТАСС

ВСУ стали системно минировать и обстреливать подъездную к Энергодару дорогу
06.07.2026 19:47:22 | ТАСС

В аэропорту Новосибирска сняли временные ограничения
06.07.2026 19:45:36 | ТАСС

The Guardian: Швеция готовит остров Готланд к «российскому вторжению»
06.07.2026 19:45:33 | Life.ru

В Новосибирске четыре рейса перенаправили на запасной аэродром
06.07.2026 19:44:29 | ТАСС

Военный суд вынес приговор четырем участникам вторжения ВСУ в Курскую область
06.07.2026 19:43:47 | ТАСС

Трамп заявил о визите Си Цзиньпина в США в конце сентября
06.07.2026 19:43:24 | ТАСС

Боксер Гассиев на турнире в Москве проведет бой против немца Кадиру
06.07.2026 19:41:27 | ТАСС

В России изменятся правила авиаперелетов для семей с детьми
06.07.2026 19:41:13 | Lenta.ru

Трампа «по-дьявольски» забросали камнями в Иране
06.07.2026 19:40:11 | Lenta.ru

Зендея показала полуобнаженную грудь на презентации «Одиссеи»
06.07.2026 19:40:06 | Lenta.ru

Раскрыты подробности нападения на российского посла
06.07.2026 19:39:27 | Lenta.ru

В Пензе мошенники украли у пенсионерки 23 млн рублей и валюту
06.07.2026 19:39:22 | ТАСС

Россиянам посоветовали просить прибавку при возвращении на прошлую работу
06.07.2026 19:38:16 | Lenta.ru

На Ямале отменили беспилотную опасность
06.07.2026 19:37:47 | ТАСС

Зендая не смогла говорить на съёмках «Одиссеи» из-за мороза в Исландии
06.07.2026 19:37:25 | Life.ru

Эксперты: атаки на НПЗ и вероятность ужесточения политики ЦБ ударили по индексу Мосбиржи
06.07.2026 19:36:53 | ТАСС

Названы самые опасные электрические приборы в доме
06.07.2026 19:36:27 | Lenta.ru

На Ставрополье направят 17 тыс тонн топлива для стабилизации ситуации с АЗС
06.07.2026 19:36:07 | Life.ru

В Ставрополье направят более 17 тыс тонн топлива для стабилизации ситуации с АЗС
06.07.2026 19:36:07 | Life.ru

Названа еще одна версия пропажи семьи Усольцевых
06.07.2026 19:35:34 | Lenta.ru

В Тюменской области завели дело о краже топлива
06.07.2026 19:34:18 | ТАСС

Роскомнадзор опроверг ограничение доступа к Amazon CloudFront
06.07.2026 19:33:44 | Life.ru

Зачем президент Южной Кореи приехал на саммит НАТО
06.07.2026 19:33:00 | Российская Газета

Куренков: обеспечение безопасности Калининградской области требует внимания
06.07.2026 19:32:52 | ТАСС

Посольство РФ разместило в Washington Times поздравления с Днем независимости США
06.07.2026 19:31:04 | ТАСС

В Воронежской области ребенок погиб после падения с четвертого этажа
06.07.2026 19:30:43 | ТАСС

В Нижегородской области протестируют продажу бензина по QR-кодам
06.07.2026 19:30:22 | ТАСС

Акции ВТБ на Мосбирже снижались более чем на 10%
06.07.2026 19:29:17 | ТАСС

Сенатор из Парагвая оскорбила Мбаппе
06.07.2026 19:29:10 | Lenta.ru

Учёные обнаружили ДНК древних людей прямо на наскальной живописи в пещерах
06.07.2026 19:28:52 | Life.ru

СК установит обстоятельства атаки ВСУ на автобус в Белгородской области
06.07.2026 19:28:45 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro