Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

[Перевод] Почему MoE-модель тормозит? Чек-лист из трех шагов

26.08.2026 13:55:35 | Хабр

Хабы: Искусственный интеллект, Linux, Open source

Вы запускаете большую MoE‑модель (например, Qwen, DeepSeek, Mixtral) на локальной машине через llama.cpp / llama-server, но скорость генерации токенов в разы ниже ожидаемой. Статья — для Linux-пользователей с гибридными процессорами Intel 12-го поколения и новее и видеокартами NVIDIA (CUDA). Конфигурация: RTX 4070 (12 ГБ), i5-12600K, 32 ГБ DDR5-6000.

Статья написана по мотивам публикации "Local LLM Inference Optimization: The Complete Guide" и является частью цикла статьей по траблшутингу и оптимизации работы языковой модели на локальных машинах.

Открыть чек-лист

Подробнее

Читайте также

Зачем сетевику может понадобиться язык «C»
26.08.2026 13:42:21 | Хабр

В России выяснили, как оползни влияли на судьбу поселений Поволжья
26.08.2026 13:32:47 | ferra.ru

Wildberries запустил мессенджер WB Chat — с группами, каналами и расшифровкой голосовых сообщений
26.08.2026 13:23:55 | vc.ru

Ежедневный индекс спроса на новостройки из Wordstat: как устроен сбор и где цифры нельзя читать в лоб
26.08.2026 13:21:51 | Хабр

Проверка паролей по базам утечек: как это устроено и почему пароль при этом не уходит наружу
26.08.2026 13:19:03 | Хабр

Многоразовые тяжелые ракеты — новая норма: как Китай подхватил эстафету SpaceX
26.08.2026 13:18:32 | Хабр

Мы искали волшебную кнопку для презентаций. Нашли две, и разница между ними оказалась поучительной
26.08.2026 13:09:31 | Хабр

[Перевод] Структуры данных на практике. Глава 20: Исследование бенчмарков
26.08.2026 13:07:29 | Хабр

Первому Quake — 30 лет. И он до сих пор актуален. Но почему?
26.08.2026 13:02:31 | Хабр

От чата вместо форм до разработки без конфигуратора: что меняется в экосистеме 1С
26.08.2026 13:00:30 | Хабр

Замазал чёрным прямоугольником — и отправил: что на самом деле уезжает вместе с файлом
26.08.2026 12:59:05 | Хабр

Почему у клиента «зависли» деньги на карте: как работает холдирование средств
26.08.2026 12:56:43 | Хабр

Почему ML-модель получает неправильные признаки: Event Time, Watermarks и Apache Flink
26.08.2026 12:52:45 | Хабр

[Перевод] Как перенести сертификаты и значки Databricks при смене работодателя
26.08.2026 12:50:22 | Хабр

От автозапчастей до котят: как пересечения интересов помогают находить аудиторию
26.08.2026 12:43:14 | Хабр

853 команды ИИ‑агенту за 16 дней. Защита сработала один раз
26.08.2026 12:40:47 | Хабр

[Перевод] Технический обзор S3-совместимого общего ресурса на СХД QSAN
26.08.2026 12:40:07 | Хабр

Учебник Банка России и МГУ превращает экономику в увлекательный квест
26.08.2026 12:39:30 | it-world

Как архитектору решений получить работу мечты? Открыт предзаказ книги «Solutions Architect интервью»
26.08.2026 12:37:21 | Хабр

DTaaS: фреймворк цифровой трансформации как сервис
26.08.2026 12:35:46 | Хабр

В Сети заметили, что умеющий проигрывать DVD GameCube сейчас стоит до $2000
26.08.2026 12:35:03 | ferra.ru

Российские ученые нашли способ повысить выживаемость кораллов
26.08.2026 12:15:11 | ferra.ru

«Я родился!» или Первые CSPU-релизы Axiom JDK и Axiom NIK Pro
26.08.2026 12:00:26 | Хабр

Тестируем модульный ПК Khadas Mind 2 с RTX 5060 Ti: игры в 4K и монтаж 8K-видео
26.08.2026 12:00:26 | Хабр

Вы сменили пароль, а он всё ещё внутри: что остаётся у атакующего после «я всё поменял»
26.08.2026 11:54:47 | Хабр

Работа с HTTP-заголовками запроса и ответа
26.08.2026 11:31:13 | Хабр

Принципы умной оптимизации: как HRD адаптироваться к требованиям бизнеса в 2026 году
26.08.2026 11:28:37 | Хабр

Граф переписки: как поймать поддельного контрагента, когда все проверки письма проходят
26.08.2026 11:23:51 | Хабр

Из Java во Flutter: я написала мобильное MVP и вот что поняла
26.08.2026 11:21:55 | Хабр

Как сохранить историю сварного шва на 60 лет, не построив ещё одно озеро данных
26.08.2026 11:21:51 | Хабр

Новый GIGABYTE GAMING A16 с видеокартами RTX 50
26.08.2026 11:21:18 | it-world

США приостановили рассмотрение заявлений на иммиграционные визы — туристических виз это не касается
26.08.2026 11:20:02 | vc.ru

Revolut объявил о запуске привязанного к евро стейблкоина EURR
26.08.2026 11:13:11 | vc.ru

Как и сколько зарабатывают в Базе знаний Инфостарт: кейсы реальных авторов
26.08.2026 10:57:20 | Хабр

Кто зашёл на огонёк. Что мониторят люди в бесплатном сервисе
26.08.2026 10:51:01 | Хабр

Смотреть все

НОВОСТИ

В России появится новый стандарт для пива
30.08.2026 10:04:40 | Lenta.ru

Андреева сохранила третье место в чемпионской гонке WTA
30.08.2026 10:03:54 | Lenta.ru

Запорожская АЭС 11-е сутки работает на дизель-генераторах
30.08.2026 10:03:29 | Коммерсантъ

В Ахтубинске третий день продолжают охлаждать загоревшуюся цистерну с газом
30.08.2026 10:02:41 | Life.ru

Обломки дронов упали у школы и в парке в Киришах
30.08.2026 10:01:01 | Life.ru

Путин поздравил Лукашенко с днем рождения
30.08.2026 10:01:00 | Российская Газета

На ЗАЭС опровергли утверждение о полном обесточивании через десять дней
30.08.2026 10:00:03 | РБК

Забудьте про чак-чак: 7 блюд Татарстана, которые взорвут вкусовые рецепторы
30.08.2026 10:00:00 | Life.ru

Как советская Волга обошла западные аналоги
30.08.2026 10:00:00 | За рулем

91,8% игроков MGS4 на ПК первым делом оторвали интимную часть статуи - достижение стало хитом после релиза
30.08.2026 09:57:23 | PlayGround.ru

Пиратские гавани и королевская угроза: Градострой Corsair Cove получит крупное обновление Armada
30.08.2026 09:56:26 | PlayGround.ru

Масштаб пожара после детонации военного склада под Киевом показали на видео
30.08.2026 09:54:53 | Lenta.ru

СК завёл дело о гибели 6 людей в автобусе Грузия — Москва, Бастрыкин ждёт доклад
30.08.2026 09:53:51 | Life.ru

Проведение выборов на Украине сравнили в политической казнью Зеленского
30.08.2026 09:53:46 | Lenta.ru

СК возбудил уголовное дело после ДТП с автобусом в Ставропольском крае
30.08.2026 09:52:50 | Lenta.ru

Энтузиасты запустили DLSS 5 с нейросетевым рендерингом и генерацией кадров в эмуляторе Nintendo Switch
30.08.2026 09:52:38 | PlayGround.ru

Названы регионы России с самыми высокими пенсиями
30.08.2026 09:48:52 | Life.ru

В странах ШОС запустили трансляцию любимых крылатых выражений лидера КНР
30.08.2026 09:48:00 | Российская Газета

Не собирайте «коктейль» наугад! Названы самые опасные сочетания БАДов и лекарств
30.08.2026 09:46:26 | Life.ru

Редкий факт. Нетаньяху раскритиковал израильских поселенцев после нападений на Западном берегу
30.08.2026 09:46:00 | Российская Газета

«Страсбур» обыграл «Ланс» в Лиге 1
30.08.2026 09:45:35 | Lenta.ru

Оценки за поведение начнут ставить ученикам в 10 школах Нижнего Новгорода
30.08.2026 09:45:20 | Life.ru

Водителей предупредили о «подводных камнях» в ремонте китайских машин
30.08.2026 09:45:00 | За рулем

С 1 сентября в силу вступает закон об отзыве сотрудников из отпуска
30.08.2026 09:43:11 | РБК

Путешествия во времени и восстание в Древнем Израиле: Представлен боевой трейлер экшена Gate Zero
30.08.2026 09:41:05 | PlayGround.ru

Взорвали в «буханке»: Эльф вытащила с того света четырёх истекающих кровью бойцов СВО
30.08.2026 09:40:17 | Life.ru

Первый смартфон почти без рамки и с новым уникальным экраном. Oppo анонсировала серию камерофонов Find X10 c технологией ProXDR нового поколения
30.08.2026 09:35:59 | iXBT.com

Минобороны сообщило об уничтожении 494 украинских дронов за ночь
30.08.2026 09:35:55 | РБК

Кабмин ввёл особые правила газоснабжения в трёх приграничных регионах
30.08.2026 09:35:45 | Life.ru

Над Новгородской областью за ночь уничтожили семь украинских дронов
30.08.2026 09:34:40 | Life.ru

WSJ рассказала, как GTA VI приведет к «блэкауту работы»
30.08.2026 09:33:35 | РБК

Число погибших в ДТП с автобусом в Ставропольском крае увеличилось
30.08.2026 09:33:25 | Lenta.ru

Немецкий модульный мини-ПК, похожий на внешний аккумулятор. Представлен MNT Station
30.08.2026 09:32:21 | iXBT.com

Обломки 19 дронов повредили дома и машины в Смоленской области
30.08.2026 09:32:04 | Life.ru

Как покупать золото на бирже: пошаговое руководство от эксперта
30.08.2026 09:30:35 | РБК

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro