Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Полтора месяца ускорял MoE на GTX 1660 SUPER: выиграл штатный флаг llama.cpp

09.10.2026 11:30:08 | Хабр

Хабы: Искусственный интеллект, Машинное обучение, Компьютерное железо, Видеокарты, Open source

Я тепломеханик, начальник отдела в проектной организации, не программист. С августа ковыряю форк llama.cpp: хочу, чтобы большие MoE‑модели нормально шли на обычном домашнем ящике, где видеокарта на 6 ГБ, 24 ГБ памяти и SATA‑диск. Полигоном была gpt‑oss-20b. Итог пока обидный: выиграл штатный флаг ‑fit, на длинном запросе он в 2,44 раза быстрее привычного ‑ngl 99, а мои ускорения поверх него не дали ничего. Зато по дороге я собрал неплохую коллекцию способов, которыми замер скорости врет, и пару настроек, которые пригодятся любому владельцу небольшой видеокарты.

Читать далее

Подробнее

Читайте также

RAG по 11 000 файлов: почему семантический поиск не находит по артикулу
09.10.2026 11:23:33 | Хабр

Хеш-функции. Часть 1: Основы
09.10.2026 11:22:43 | Хабр

Использование нейронок и ботов в мошеннических схемах. Как я ломала бота-мошенника в дейтинг приложении
09.10.2026 11:18:25 | Хабр

Рейтинг нейросетей для видео: сравнил 12 моделей на одном промпте (октябрь 2026)
09.10.2026 11:17:35 | Хабр

SpaceX купила частоты в диапазоне 800 МГц для запуска мобильной связи в США
09.10.2026 11:01:44 | vc.ru

Как делят GPU в докладах KubeCon Japan 2026 и у нас в Авито
09.10.2026 11:01:10 | Хабр

Аналитик и ИИ: три инструмента, которые превращают хаос в требования
09.10.2026 11:00:19 | Хабр

«Яндекс» рассказал, что после атаки беспилотников пострадала часть инфраструктуры его дата-центра в Калуге
09.10.2026 10:52:45 | vc.ru

[Перевод] Kotlin получил почти настоящие статики
09.10.2026 10:50:35 | Хабр

Создано VR-кресло, которое работает без шлема
09.10.2026 10:40:29 | ferra.ru

Открытие шоурума Bambu Lab в Москве и аналитика рынка 3D-печати в России
09.10.2026 10:15:01 | it-world

Что внутри мини-ПК Ninkear L20? Разборка и тест компактного компьютера на базе Core Ultra 5 226V
09.10.2026 10:11:43 | Хабр

MCP‑сервер 2ГИС: как мы учили LLM не выдумывать адреса
09.10.2026 10:08:50 | Хабр

Как мы сделали простой офлайн‑разметчик для YOLO и COCO с семантической и panoptic‑сегментацией
09.10.2026 10:01:40 | Хабр

Централизуем использование ИИ при помощи Agentgateway
09.10.2026 09:59:01 | Хабр

Своя модель решений на русском за вечер аренды GPU: что она умеет, сколько стоит и где проигрывает
09.10.2026 09:58:29 | Хабр

От «Чистого кода» до «Кибердзюцу»: что читают разработчики RWB
09.10.2026 09:48:50 | Хабр

Провисание видеокарты. Что сломается первым, слот или сама карта
09.10.2026 09:43:56 | Хабр

Практическое руководство по проведению User Day в команде разработки продукта
09.10.2026 09:41:14 | Хабр

Фонд оплаты труда: что собственнику контролировать, чтобы не переплачивать и не попасть на проверку
09.10.2026 09:30:54 | Хабр

Я написал свитчер раскладки для Mac вместе с ИИ-агентом. Через три месяца он всё ещё портил мне русские слова
09.10.2026 09:30:44 | Хабр

Минцифры запланировало ввести для провайдеров требование по минимальной скорости домашнего интернета в 1 Гбит/с — на его исполнение дадут десять лет
09.10.2026 09:30:28 | vc.ru

У вас есть 14 саммари с созвонов. И ни одного ответа на вопрос, что происходит с проектом
09.10.2026 09:18:51 | Хабр

Реализация интерфейса HDA Link на RP2040
09.10.2026 09:16:17 | Хабр

dature: type‑safe‑конфигурация через dataclasses
09.10.2026 09:08:54 | Хабр

Шадаев предупредил о масштабной перестройке российского телекома
09.10.2026 09:08:51 | it-world

ИИ не отменит психолога. Но его рабочий день к 2028 году будет другим
09.10.2026 08:54:57 | Хабр

Ставишь пробелы вместо табов? Вероятно, ты зарабатываешь больше
09.10.2026 08:52:08 | Хабр

ChatGPT «для подростков» оказался не таким безопасным, как его рекламировали
09.10.2026 08:40:28 | ferra.ru

От RISC-V до pull request в open source: что сделали участники летней школы СПбГУ за месяц
09.10.2026 08:38:50 | Хабр

Вайбкодим плагины для open-source видеоредактора
09.10.2026 08:30:56 | Хабр

День 1689: больше трети российских компаний отказались от выплаты годовой премии сотрудникам в 2026 году
09.10.2026 08:26:57 | vc.ru

SSD как кэш, HDD как постоянное хранилище: экспериментируем с кэшированием в bcachefs
09.10.2026 08:12:48 | Хабр

Я несколько месяцев изучал теорию категорий. Вот зачем она оказалась нужна мне как программисту
09.10.2026 08:10:28 | Хабр

Сага о Дельта‑методе, часть 1: как оценивать ratio метрики?
09.10.2026 08:07:08 | Хабр

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

Без света, воды и канализации: Кулеба назвал самый страшный сценарий для городов Украины
11.10.2026 18:42:10 | Life.ru

Очевидец рассказал, как жители Лисичанска спасали подростка после атаки ВСУ
11.10.2026 18:41:32 | ТАСС

Андрей Есипенко впервые стал чемпионом России по шахматам
11.10.2026 18:41:00 | ТАСС

Российская футболистка Буткевич считает положительным сбор команды в Индии
11.10.2026 18:40:37 | ТАСС

Щель с карандаш — уже вход: Как не пустить мышей в дом с наступлением холодов
11.10.2026 18:39:42 | Life.ru

FIS запросила у Большунова новые документы после протестов европейских федераций
11.10.2026 18:39:14 | Life.ru

Площадки, коворкинг и шезлонги: Как изменились два квартала в Вешняках
11.10.2026 18:39:00 | Life.ru

Очевидец заявил, что ВСУ били по жителям Лисичанска после первой атаки
11.10.2026 18:37:45 | ТАСС

У берегов Папуа — Новой Гвинеи произошло землетрясение магнитудой 6,2
11.10.2026 18:37:33 | Life.ru

Миркович: Бунт лицеистов станет спусковым крючком для более массовых выступлений
11.10.2026 18:37:00 | Российская Газета

Во Владимирской области без света остаются около 1,6 тыс. абонентов
11.10.2026 18:35:24 | ТАСС

Бессент указал на циничность заявлений из Европы о российском дизеле
11.10.2026 18:34:31 | ТАСС

ЦСКА стал лидером РПЛ
11.10.2026 18:33:39 | Lenta.ru

Во Владимире восстановили отопление и водоснабжение после атаки БПЛА
11.10.2026 18:32:50 | ТАСС

Ферстаппен впервые в карьере выиграл Гран-при Сингапура «Формулы-1»
11.10.2026 18:32:42 | Life.ru

Житель Лисичанска рассказал, что ВСУ прицельно били по частному сектору
11.10.2026 18:32:11 | ТАСС

На Украине ужесточат правила отсрочки от призыва для родственников инвалидов
11.10.2026 18:30:42 | Life.ru

«Выйди, выйди!»: Житель Дагестана решил проверить утечку газа зажигалкой и устроил огненное шоу
11.10.2026 18:28:35 | Life.ru

ЦСКА разгромил "Родину" и вышел на первое место в чемпионате России
11.10.2026 18:25:54 | ТАСС

Пассажирский терминал аэропорта в Саудовской Аравии подвергся новому удару
11.10.2026 18:24:00 | Lenta.ru

Бессент: Санкции не запрещают США импортировать российский дизель
11.10.2026 18:22:50 | Life.ru

Консерватория Модены и Карпи будет названа в честь Лучано Паваротти
11.10.2026 18:22:00 | Российская Газета

Власти Пакистана вводят войска в провинцию Хайбер-Пахтунхва на фоне протестов
11.10.2026 18:21:58 | Life.ru

Лихачёв заявил о необходимости срочного ремонта оборудования для питания ЗАЭС
11.10.2026 18:19:46 | Life.ru

Сборная России выиграла шесть медалей на чемпионате мира по дзюдо
11.10.2026 18:18:43 | ТАСС

Зеленский оказался не в курсе объявленного Трампом «энергетического перемирия»
11.10.2026 18:17:33 | Lenta.ru

Сервисы «Яндекса» начали возвращаться к работе после сбоя
11.10.2026 18:17:03 | Lenta.ru

Суд приговорил жителя Эстонии за надпись "Слава России" на флаге Украины
11.10.2026 18:17:00 | Российская Газета

Сборная России выиграла серебро командного турнира на ЧМ по дзюдо
11.10.2026 18:16:43 | ТАСС

В терминале аэропорта Эр-Рияда начался пожар после попадания снаряда
11.10.2026 18:16:36 | Life.ru

Очередь на Крымский мост выросла до 900 автомобилей
11.10.2026 18:12:33 | ТАСС

Россиянин заболел лихорадкой денге во Вьетнаме после укуса комара
11.10.2026 18:11:09 | Life.ru

ЦАХАЛ заявил о ликвидации в Газе командира взвода элитных сил ХАМАС
11.10.2026 18:10:40 | ТАСС

СhatGPT 3 года сражался с британским судом из-за несправедливого штрафа за парковку
11.10.2026 18:08:53 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro