Калькулятор VRAM для локальных LLM: Какие модели ИИ запустятся у вас на компьютере?

16.05.2026 09:04:21 | Хабр

Хабы: Машинное обучение, Open source, Видеокарты

Когда я начал ковыряться с локальными LLM, главная боль была не в установке моделей, а в понимании, что вообще влезет в моё железо. Документация Hugging Face говорит “Llama 3.1 8B” — что это значит для моей видеокарты с 16 GB? А если хочу 32k контекст? А с Q4_K_M? Несколько недель назад мне попался open-source калькулятор whatmodelscanirun.ru. Прогнал его на трёх своих сетапах (4060 Ti, 3090, M2 Pro), сравнил предсказания с реальными запусками через llama.cpp и разобрался, как работает математика внутри. Спойлер: алгоритм правильный, но систематически переоценивает скорость на 15-25%.

Подробнее

Читайте также

GameDev-календарь: все крупные игровые мероприятия лета 2026
16.05.2026 09:01:20 | Хабр

Почему не взлетели дирижабли? Часть 21: последние дирижабли СССР и самая необычная доставка молока в райцентр
16.05.2026 09:01:19 | Хабр

Слои и модели данных: какие бывают, как и кто с ними работает
16.05.2026 08:30:13 | Хабр

Глава РАН заявил, что ИИ не заменит ученых
16.05.2026 08:20:30 | ferra.ru

В Орловской области появится аграрный научный кластер
16.05.2026 08:15:24 | ferra.ru

[Перевод] Учёные начинают возвращать клетки человека в «молодое» состояние
16.05.2026 08:13:06 | Хабр

«Дешевая» желтая ретро-консоль: как собрать почти полноценную игровую приставку своими руками
16.05.2026 08:05:04 | Хабр

5 современных цифровых печатных машинок для тех, кто не хочет отвлекаться
16.05.2026 08:00:51 | Хабр

Нейросеть — не второй программист. Как правильно разделить работу. Помощь для начинающих
16.05.2026 07:24:05 | Хабр

Почему технологии не сделали нас счастливее: ищем ответ в антиутопиях Стругацких
16.05.2026 07:10:59 | Хабр

ИИ Anthropic помог взломать систему безопасности macOS
16.05.2026 07:06:30 | ferra.ru

[Перевод] Шаттлы, бомбардировщики, космические лаборатории: история аэрокосмических компьютеров IBM 4 Pi, часть вторая
16.05.2026 07:00:58 | Хабр

Как я работаю с психологом — идея стартапа
16.05.2026 07:00:56 | Хабр

manage.py migrate в пятницу в 17:30 на проде с 3K RPS и таблицей 200М строк
16.05.2026 06:44:27 | Хабр

PLC-Tracer — новый взгляд на Ladder логику
16.05.2026 06:19:40 | Хабр

Безопасное внедрение ИИ в корпорации: 3 архитектурных подхода и опыт Alpina Digital
16.05.2026 06:00:35 | Хабр

Менеджеры тратили 500 часов в год на бесполезные задачи. Вот как мы это исправили
16.05.2026 06:00:33 | Хабр

Ловушка экспертности: почему мозг деградирует именно тогда, когда вы наконец всего достигли
16.05.2026 05:44:27 | Хабр

Фишинг с подменой URI: или как один хитрый редирект может угнать ваши пароли
16.05.2026 05:18:21 | Хабр

Harness вокруг LLM: что я понял за год ежедневной работы
16.05.2026 05:13:38 | Хабр

Как запихнуть килограмм LLM в телеграм-бота и не сойти с ума
16.05.2026 04:21:07 | Хабр

Ученые РАН выявили новый закон разрушения горных пород
15.05.2026 23:57:34 | ferra.ru

AI API ключ для нейросетей: единый доступ к ИИ-моделям через один интерфейс
15.05.2026 23:54:37 | Хабр

Возвращение блудного программиста (ч. 4)
15.05.2026 23:43:52 | Хабр

Мини-парад планет увидят жители России 12 июня
15.05.2026 23:40:16 | ferra.ru

В России разработали недорогую установку для производства печатных плат
15.05.2026 22:31:31 | ferra.ru

Складной Samsung Galaxy Z Fold Wide получит камеру скромнее старшей модели
15.05.2026 22:08:00 | ferra.ru

В базе IMEI нашли смартфоны Vivo V80 и S2
15.05.2026 22:06:29 | ferra.ru

Детектор WiFi излучения
15.05.2026 22:02:28 | Хабр

Я заставил LLM писать Rust полгода. Вот что они стабильно ломают
15.05.2026 21:13:02 | Хабр

Легализация p2p-обмена цифровой валюты на наличные и поднятие лимита покупки для «неквалов»: в Госдуме предложили поправки к законопроекту о регулировании криптовалют — «Интерфакс»
15.05.2026 20:52:13 | vc.ru

В Петербурге появился центр разработки электротехники нового поколения
15.05.2026 20:22:33 | ferra.ru

В Новосибирске создали катализатор для топлива из пластиковых отходов
15.05.2026 20:19:57 | ferra.ru

В России научились в реальном времени отслеживать влагу в коже
15.05.2026 20:18:04 | ferra.ru

Инженерный подход к MLOps: как принципы расчётной механики ложатся в архитектуру AutoML
15.05.2026 20:09:15 | Хабр

Смотреть все

НОВОСТИ

«Я был в полном шоке»: Случайный «Удачный выбор» принёс строителю 196 млн рублей
16.05.2026 13:43:30 | Life.ru

В Измаиле цыганская община устроила погоню за микроавтобусом с ТЦКшниками
16.05.2026 13:43:15 | Life.ru

На заправке в российском городе произошел мощный взрыв
16.05.2026 13:41:01 | Lenta.ru

Подмосковье предупредили о появлении опасных пауков
16.05.2026 13:40:43 | Lenta.ru

«Деньги — это зеркало»: 3 ритуала, чтобы притянуть богатство
16.05.2026 13:40:43 | Life.ru

Два человека пострадали при взрыве на газовой автозаправке в Пятигорске
16.05.2026 13:39:01 | Life.ru

Взрыв газовоза и пожар на АЗС. Главное о ЧП в Пятигорске
16.05.2026 13:38:52 | ТАСС

Указ Путина об упрощенном гражданстве для жителей Приднестровья назвали ответом Молдавии
16.05.2026 13:38:12 | Lenta.ru

В Пятигорске произошел взрыв при разгрузке газовоза
16.05.2026 13:35:57 | Коммерсантъ

В Госдуме предложили заморозить «мусорную реформу»
16.05.2026 13:35:41 | Lenta.ru

Глава МИД Бразилии уверен, что страны БРИКС преодолеют разногласия к саммиту
16.05.2026 13:34:46 | ТАСС

Дептранс Москвы опроверг информацию о камерах для фиксации перехода на красный свет
16.05.2026 13:34:27 | ТАСС

«50 минут меня не было»: Витас выложил странное видео из больницы и удалил его
16.05.2026 13:33:23 | Life.ru

Экспорт нефти из Ирака через Ормузский пролив рухнул в 9 раз
16.05.2026 13:32:43 | Life.ru

Эрдоган: Турция остается верна идее евроинтеграции
16.05.2026 13:31:45 | ТАСС

Проехавшийся в метро блогер раскрыл секрет своей туфли и рассмешил публику
16.05.2026 13:30:33 | Lenta.ru

Мерина Ван Хельсинга арестовали в Приморье из-за лягающейся соседки по конюшне
16.05.2026 13:29:39 | Life.ru

Игровая фантастика из России захватывает весь мир: litRPG бьёт рекорды
16.05.2026 13:29:30 | Life.ru

Эрдоган назвал провокации Израиля одной из причин иранского конфликта
16.05.2026 13:29:18 | ТАСС

На заправке в Пятигорске при разгрузке газовоза произошли взрыв и пожар
16.05.2026 13:28:42 | Life.ru

В Пятигорске при разгрузке газовоза произошли взрыв и пожар
16.05.2026 13:28:42 | Life.ru

В Пятигорске при взрыве на АЗС пострадали два человека
16.05.2026 13:28:16 | ТАСС

Strategic Culture Foundation: Упадок США очевиден для всего мира
16.05.2026 13:27:00 | Российская Газета

В Ростовской области отразили атаку БПЛА в двух районах
16.05.2026 13:26:13 | Коммерсантъ

Купил машину и забыл про ГАИ: Сколько можно ездить без номеров законно
16.05.2026 13:25:38 | Life.ru

В Австралии из-за нападения акулы погиб человек
16.05.2026 13:24:47 | ТАСС

Эрдоган: Турция надеется на урегулирование с США вопроса с F-35
16.05.2026 13:24:45 | ТАСС

Сухопутные войска ВСУ отказались расследовать убийство отца пятерых детей в ТЦК
16.05.2026 13:23:49 | Life.ru

Названа возможная причина взрыва при разгрузке газовоза в Пятигорске
16.05.2026 13:22:56 | ТАСС

Компании в Петербурге грозит штраф в 5,2 млн за работников-нелегалов
16.05.2026 13:19:37 | Life.ru

В Дагестане при пожаре в гараже пострадали четыре человека
16.05.2026 13:18:40 | ТАСС

Стали известны новые сроки возобновления поисков пропавшей семьи Усольцевых
16.05.2026 13:16:29 | Life.ru

В Пятигорске при разгрузке газовоза произошел взрыв с последующим возгоранием
16.05.2026 13:16:26 | ТАСС

Продажа бизнеса и кредиты: В исчезновении предпринимателя из Рассохи всплыли странности
16.05.2026 13:15:13 | Life.ru

Саммит КНР и США в Пекине: попытка избежать "ловушки Фукидида"
16.05.2026 13:15:00 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro