Выжать больше из локальных LLM. Ollama медленнее llama.cpp в 3 раза. UD_Q4_K_XL лучше чем Q4_K_M, а вес тот же и т.д

23.04.2026 22:13:46 | Хабр

Хабы: Искусственный интеллект

Самый просто способ запустить локальную LLM - это установить ollama или LM Studio. Это быстро и просто, но вы теряете и в скорости, и в качестве. Почему UD_Q4_K_XL лучше при том же размере, почему квант Q3 может быть медленнее чем Q4. Хорошая ли идея взять REAP для вырезания ненужных экспертов из MoE. Кто быстрее, Linux или Windows. В общем как выжать больше из локальных LLM на домашнем железе.

Подробнее

Читайте также

Meta* сократит примерно 8000 человек и не будет нанимать специалистов на 6000 открытых позиций
23.04.2026 22:00:41 | vc.ru

В России научились печатать железнодорожные колёса на 3D-принтере
23.04.2026 21:46:00 | ferra.ru

В Новосибирске изучили древние черепа с помощью КТ
23.04.2026 21:38:28 | ferra.ru

Google подтвердила проблему с Bluetooth на Pixel, но исправления пока не будет
23.04.2026 21:23:12 | ferra.ru

Корабль «Прогресс МС-34» доставит на МКС новый скафандр и VR-очки
23.04.2026 21:20:26 | ferra.ru

Модель транспортного полета пчелы
23.04.2026 21:08:15 | Хабр

Telegram-бот за вечер через Spec Kit: что AI-ассистированная разработка сделала с моим инженерным процессом
23.04.2026 20:31:08 | Хабр

В Екатеринбурге начали тестировать новые светофоры от «Швабе»
23.04.2026 20:26:35 | ferra.ru

Волшебный Koog. Пишем Kotlin-агент широкого профиля KMP
23.04.2026 20:21:55 | Хабр

«Атом» открыл предпродажи своих электромобилей — забронировать машину можно за 150 тысяч рублей
23.04.2026 20:07:54 | vc.ru

Российские ученые создадут систему «умного» света для растений
23.04.2026 19:54:44 | ferra.ru

СМИ: iPhone с камерой на 200 Мп выйдет не раньше 2028 года
23.04.2026 19:49:21 | ferra.ru

Восстановленные складные смартфоны Samsung оказались дороже новых
23.04.2026 19:23:11 | ferra.ru

Эволюция данных: генетический алгоритм в задаче классификации текстов
23.04.2026 19:05:42 | Хабр

ЕС введут санкции против «WB Банка», банка «Русский стандарт» и «Почта Банка»
23.04.2026 19:03:07 | vc.ru

[Перевод] Gemma 4: что это такое и какую модель выбрать?
23.04.2026 18:52:50 | Хабр

Kotlin vs Java: что выбрать для бэкенда?
23.04.2026 18:51:18 | Хабр

Когда внутренние ИТ-решения становятся драйвером роста корпорации
23.04.2026 18:00:00 | it-world

Как внутренние ИТ-решения становятся драйвером роста корпорации
23.04.2026 18:00:00 | it-world

Оформление сборок в Revit. Вращение видов, начало сборки
23.04.2026 17:53:01 | Хабр

Как оплатить Сlaude pro из России: рабочие способы в 2026 году
23.04.2026 17:51:53 | Хабр

Google научила умный дом поддерживать естественный диалог
23.04.2026 17:49:24 | ferra.ru

VR-тренировки улучшили физическое состояние российских студентов
23.04.2026 17:39:55 | ferra.ru

Я строю AI-бот для самопознания. Вот спек, архитектура и почему LLM — это периферия, а не ядро
23.04.2026 17:37:29 | Хабр

GIGABYTE считает 18’’ экрана новым стандартом
23.04.2026 17:35:29 | it-world

GIGABYTE считает 18’’ экрана, новым тонким и мобильным стандартом
23.04.2026 17:35:29 | it-world

[Перевод] Как OpenAI убила DALL-E?
23.04.2026 17:29:23 | Хабр

В США предупредили о риске финансового кризиса из-за ИИ
23.04.2026 17:23:08 | ferra.ru

Логика как основа Мироздания
23.04.2026 17:22:52 | Хабр

Nintendo судится с США, а геймеры — с самой Nintendo. И всё из-за налогов
23.04.2026 17:14:52 | ferra.ru

[Перевод] Астрономы измерили характеристики «танцующих джетов» у первой из обнаруженных чёрных дыр
23.04.2026 17:01:53 | Хабр

Шаблоны документов из Интернета: добьют бизнес окончательно или реально помогут сэкономить на штрафах
23.04.2026 17:00:06 | Хабр

Иркутские ученые нашли редкий апатит для калибровки геологических приборов
23.04.2026 16:59:40 | ferra.ru

Kling AI нейросеть на русском: обзор функций c примерами и креативные способы применения
23.04.2026 16:52:36 | Хабр

Runway нейросеть на русском: как оживить фото и монтировать видео с помощью Ранвей ИИ
23.04.2026 16:48:11 | Хабр

Смотреть все

НОВОСТИ

Технологии роста // ИТ-отрасль увеличилась до 14 трлн рублей
27.05.2026 08:00:00 | Коммерсантъ

Над Севастополем сбили уже семь украинских БПЛА
27.05.2026 00:54:28 | Life.ru

Футболисты "Кристал Пэлас" и "Райо Вальекано" разыграют трофей Лиги конференций
27.05.2026 00:52:15 | ТАСС

Число погибших при пожаре в жилом доме в Липецке увеличилось до двух
27.05.2026 00:51:45 | Lenta.ru

В Липецке при пожаре в доме погибли два человека
27.05.2026 00:48:48 | ТАСС

Беглов передал орден "За доблестный труд" коллективу Дворца творчества юных
27.05.2026 00:47:38 | ТАСС

Прогноз цен на стройматериалы с 1 июня. Как изменится стоимость товаров для ремонта
27.05.2026 00:45:00 | Life.ru

В Госдуме назвали циничными слова Кулебы о «кукухе» украинцев
27.05.2026 00:44:00 | Life.ru

Экс-премьер Греции Ципрас объявил о создании новой партии
27.05.2026 00:41:15 | ТАСС

Эксперт Кориненко: Брюссель установил полный контроль над действиями Санду
27.05.2026 00:37:56 | ТАСС

Посол РФ: Россия и Венесуэла прорабатывают возможность запуска чартерных рейсов
27.05.2026 00:37:50 | ТАСС

Бывший супруг «золотой судьи» попытался вывести активы на миллиард рублей
27.05.2026 00:33:39 | Lenta.ru

Над Севастополем сбили четыре украинских беспилотника
27.05.2026 00:32:05 | Life.ru

Щенок родился с пенисом на лапе
27.05.2026 00:30:29 | Lenta.ru

Назван усиливающий работу иммунных клеток простой продукт
27.05.2026 00:30:24 | Lenta.ru

Уверенная победа. "Югра" стала чемпионом страны, обыграв "Химик" в плей-офф ВХЛ
27.05.2026 00:28:57 | ТАСС

Раскрыто число освобожденных населенных пунктов в зоне СВО с начала года
27.05.2026 00:28:25 | Lenta.ru

ВТБ прогнозирует прибыль банковского сектора РФ на уровне 3,6-3,9 трлн рублей
27.05.2026 00:26:39 | ТАСС

Спустя 16 лет. Олег Сиенко в среду снова возглавит российский велоспорт
27.05.2026 00:24:37 | ТАСС

Чемпионат Европы по художественной гимнастике стартует в Варне
27.05.2026 00:24:14 | ТАСС

Захарова: Гутерришу стоит беспокоиться об убитых Киевом детях
27.05.2026 00:23:00 | Life.ru

Родригес объявила о реорганизации правительства Венесуэлы
27.05.2026 00:22:57 | ТАСС

В Ульяновске концерт Юлии Пересильд открыл кинофестиваль "От всей души"
27.05.2026 00:22:23 | ТАСС

Считали Киев русским и не хотели там лежать: Бандеру с Мельником свозят в пантеон против их воли
27.05.2026 00:20:00 | Life.ru

В Марий Эл в ДТП погибли два человека
27.05.2026 00:19:31 | ТАСС

В Рязани нашли мёртвой 15-летнюю девушку, в убийстве подозревают старшего брата
27.05.2026 00:15:05 | Life.ru

Польша не будет эвакуировать посольство из Киева
27.05.2026 00:14:27 | ТАСС

Сикорский: Польша не будет эвакуировать посольство из Киева
27.05.2026 00:14:27 | ТАСС

В России вступил в силу обновленный перечень товаров для параллельного импорта
27.05.2026 00:12:29 | ТАСС

"Т-бизнес": интерес к ИП в I квартале вырос на 10%
27.05.2026 00:12:10 | ТАСС

Счетная палата вынесла замечания Эрмитажу по строительству фондохранилища
27.05.2026 00:11:33 | ТАСС

Минкультуры исполнило расходы на уровне 99,6% в 2025 году
27.05.2026 00:11:16 | ТАСС

Силуанов назвал амбициозной задачей удвоение капитализации фондового рынка
27.05.2026 00:10:56 | ТАСС

Фон дер Ляйен предрекла Европе проблемы в области безопасности
27.05.2026 00:10:50 | Lenta.ru

В подмосковных Люберцах подросток на электросамокате сбил ребёнка
27.05.2026 00:09:34 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro