Калькулятор VRAM для локальных LLM: Какие модели ИИ запустятся у вас на компьютере?

16.05.2026 09:04:21 | Хабр

Хабы: Машинное обучение, Open source, Видеокарты

Когда я начал ковыряться с локальными LLM, главная боль была не в установке моделей, а в понимании, что вообще влезет в моё железо. Документация Hugging Face говорит “Llama 3.1 8B” — что это значит для моей видеокарты с 16 GB? А если хочу 32k контекст? А с Q4_K_M? Несколько недель назад мне попался open-source калькулятор whatmodelscanirun.ru. Прогнал его на трёх своих сетапах (4060 Ti, 3090, M2 Pro), сравнил предсказания с реальными запусками через llama.cpp и разобрался, как работает математика внутри. Спойлер: алгоритм правильный, но систематически переоценивает скорость на 15-25%.

Подробнее

Читайте также

GameDev-календарь: все крупные игровые мероприятия лета 2026
16.05.2026 09:01:20 | Хабр

Почему не взлетели дирижабли? Часть 21: последние дирижабли СССР и самая необычная доставка молока в райцентр
16.05.2026 09:01:19 | Хабр

Слои и модели данных: какие бывают, как и кто с ними работает
16.05.2026 08:30:13 | Хабр

Глава РАН заявил, что ИИ не заменит ученых
16.05.2026 08:20:30 | ferra.ru

В Орловской области появится аграрный научный кластер
16.05.2026 08:15:24 | ferra.ru

[Перевод] Учёные начинают возвращать клетки человека в «молодое» состояние
16.05.2026 08:13:06 | Хабр

«Дешевая» желтая ретро-консоль: как собрать почти полноценную игровую приставку своими руками
16.05.2026 08:05:04 | Хабр

5 современных цифровых печатных машинок для тех, кто не хочет отвлекаться
16.05.2026 08:00:51 | Хабр

Нейросеть — не второй программист. Как правильно разделить работу. Помощь для начинающих
16.05.2026 07:24:05 | Хабр

Почему технологии не сделали нас счастливее: ищем ответ в антиутопиях Стругацких
16.05.2026 07:10:59 | Хабр

ИИ Anthropic помог взломать систему безопасности macOS
16.05.2026 07:06:30 | ferra.ru

[Перевод] Шаттлы, бомбардировщики, космические лаборатории: история аэрокосмических компьютеров IBM 4 Pi, часть вторая
16.05.2026 07:00:58 | Хабр

Как я работаю с психологом — идея стартапа
16.05.2026 07:00:56 | Хабр

manage.py migrate в пятницу в 17:30 на проде с 3K RPS и таблицей 200М строк
16.05.2026 06:44:27 | Хабр

PLC-Tracer — новый взгляд на Ladder логику
16.05.2026 06:19:40 | Хабр

Безопасное внедрение ИИ в корпорации: 3 архитектурных подхода и опыт Alpina Digital
16.05.2026 06:00:35 | Хабр

Менеджеры тратили 500 часов в год на бесполезные задачи. Вот как мы это исправили
16.05.2026 06:00:33 | Хабр

Ловушка экспертности: почему мозг деградирует именно тогда, когда вы наконец всего достигли
16.05.2026 05:44:27 | Хабр

Фишинг с подменой URI: или как один хитрый редирект может угнать ваши пароли
16.05.2026 05:18:21 | Хабр

Harness вокруг LLM: что я понял за год ежедневной работы
16.05.2026 05:13:38 | Хабр

Как запихнуть килограмм LLM в телеграм-бота и не сойти с ума
16.05.2026 04:21:07 | Хабр

Ученые РАН выявили новый закон разрушения горных пород
15.05.2026 23:57:34 | ferra.ru

AI API ключ для нейросетей: единый доступ к ИИ-моделям через один интерфейс
15.05.2026 23:54:37 | Хабр

Возвращение блудного программиста (ч. 4)
15.05.2026 23:43:52 | Хабр

Мини-парад планет увидят жители России 12 июня
15.05.2026 23:40:16 | ferra.ru

В России разработали недорогую установку для производства печатных плат
15.05.2026 22:31:31 | ferra.ru

Складной Samsung Galaxy Z Fold Wide получит камеру скромнее старшей модели
15.05.2026 22:08:00 | ferra.ru

В базе IMEI нашли смартфоны Vivo V80 и S2
15.05.2026 22:06:29 | ferra.ru

Детектор WiFi излучения
15.05.2026 22:02:28 | Хабр

Я заставил LLM писать Rust полгода. Вот что они стабильно ломают
15.05.2026 21:13:02 | Хабр

Легализация p2p-обмена цифровой валюты на наличные и поднятие лимита покупки для «неквалов»: в Госдуме предложили поправки к законопроекту о регулировании криптовалют — «Интерфакс»
15.05.2026 20:52:13 | vc.ru

В Петербурге появился центр разработки электротехники нового поколения
15.05.2026 20:22:33 | ferra.ru

В Новосибирске создали катализатор для топлива из пластиковых отходов
15.05.2026 20:19:57 | ferra.ru

В России научились в реальном времени отслеживать влагу в коже
15.05.2026 20:18:04 | ferra.ru

Инженерный подход к MLOps: как принципы расчётной механики ложатся в архитектуру AutoML
15.05.2026 20:09:15 | Хабр

Смотреть все

НОВОСТИ

«Рейс любви» и шатры в горах: сколько Ида Галич потратила на «маленькую кавказскую свадьбу»
13.07.2026 16:39:18 | Life.ru

Эксперт Дудчак: суть режима в Киеве не поменяется после смены правительства
13.07.2026 16:38:49 | ТАСС

В Кривом Роге ТЦК перевернули туалет, чтобы «вытрясти» из него призывника
13.07.2026 16:38:42 | Life.ru

Британия внесла КСИР в список террористических организаций
13.07.2026 16:38:00 | Российская Газета

От светового шоу до собственного репортажа: Какие бесплатные кружки есть в парках Москвы
13.07.2026 16:37:40 | Life.ru

Километры дорожек, десятки зон отдыха и море зелени: Как преображают парки Москвы
13.07.2026 16:36:51 | Life.ru

Аксёнов предупредил о сохранении напряжения с топливом и светом в Крыму
13.07.2026 16:36:49 | Life.ru

Путин осмотрел выставку достижений Народного фронта
13.07.2026 16:36:42 | ТАСС

Управление гражданской авиации Йемена распорядилось закрыть все аэропорты страны
13.07.2026 16:36:15 | ТАСС

Мальчик из Рязани вдохнул свисток прямо в бронхи во время игры
13.07.2026 16:35:08 | Life.ru

Звёздные войны отменяются: Глава NASA высказался о вероятности конфронтации в космосе
13.07.2026 16:34:48 | Life.ru

На Западе спрогнозировали выпуск Су-57 до уровня Су-34
13.07.2026 16:34:31 | Lenta.ru

В Севастополе 6 членов ОПГ осудили за хищения из квартир 51 пенсионера
13.07.2026 16:33:29 | ТАСС

Почему летом сложнее худеть: 5 летних привычек, которые никогда не дадут вам скинуть вес
13.07.2026 16:33:11 | Life.ru

Путин: Россия ответит на удары ВСУ зеркально и в разы сокрушительнее
13.07.2026 16:33:09 | Life.ru

Минпросвещения опровергло информацию о рекомендациях цвету одежды для детей
13.07.2026 16:32:22 | ТАСС

Путин: Народный фронт напрямую работает над самым важным в России
13.07.2026 16:31:03 | Life.ru

Булаев: около 30% счетов кандидатов на выборах открыты дистанционно
13.07.2026 16:30:43 | ТАСС

Лукашенко призвал настойчиво переходить на отопление древесными гранулами
13.07.2026 16:30:36 | Lenta.ru

Случаи аномальной жары в Европе. Хронология погодных катаклизмов с начала XXI века
13.07.2026 16:30:28 | ТАСС

Врач предупредил о проблемах из-за окрошки и арбуза
13.07.2026 16:30:10 | Lenta.ru

Intel вложится в ирландский завод на фоне подскочившего спроса на чипы для ИИ
13.07.2026 16:30:09 | Lenta.ru

СК установил 11 человек, занимавшихся телефонным мошенничеством в Москве
13.07.2026 16:30:07 | ТАСС

"Король Севера" на Даунинг-стрит: кто станет новым премьером Великобритании
13.07.2026 16:30:00 | ТАСС

Макрон призвал Францию готовиться к предстоящим войнам
13.07.2026 16:30:00 | Российская Газета

Гагаузия инициирует консультации перед внесением поправок в закон о своем особом статусе
13.07.2026 16:29:23 | ТАСС

Арбитр, отстраненный перед стартом ЧМ-2026 из-за домогательств, умер в 38 лет
13.07.2026 16:29:21 | ТАСС

Львова-Белова рассказала о буллинге украинских детей в европейских школах
13.07.2026 16:28:41 | ТАСС

В Солнечногорске открыли пункт временного размещения для пострадавших во время атаки БПЛА
13.07.2026 16:28:26 | ТАСС

Дрон ВСУ догнал и атаковал машину запорожского министра на трассе, он ранен
13.07.2026 16:27:05 | Life.ru

В Солнечногорске из-за ночной атаки БПЛА пострадали двое детей
13.07.2026 16:27:04 | ТАСС

В Тульской области сбили еще пять украинских БПЛА
13.07.2026 16:26:50 | ТАСС

Жители российского города увидели необычное явление
13.07.2026 16:26:12 | Lenta.ru

В Перми два человека пострадали в ДТП с автобусом и трамваем
13.07.2026 16:25:43 | ТАСС

Глава NASA назвал космос местом кооперации и партнерства
13.07.2026 16:25:41 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro