Руководство по сборке локального AI-стека. Часть 6. Конвертация моделей Hugging Face в GGUF

26.10.2026 12:11:37 | Хабр

Хабы: Linux, DIY или Сделай сам, Искусственный интеллект

Не все модели существуют в готовом .gguf-формате. Иногда нужна модель, которую сообщество ещё не квантовало, или хочется получить конкретный квант (Q4_K_M, Q5_K_M, Q8_0), которого нет в готовых сборках. В таких случаях её нужно сконвертировать самостоятельно: из «сырых» весов Hugging Face (.safetensors) в GGUF, а затем — в нужный квант.

Скрипт convert_to_gguf.sh автоматизирует весь процесс: от установки зависимостей до финального файла .gguf, с очисткой промежуточных данных.

Подробнее

Читайте также

Руководство по сборке локального AI-стека. Часть 5. Open WebUI поверх llama.cpp
26.10.2026 12:03:42 | Хабр

Карта рискованности фондовых рынков: почему Швейцария оказалась рискованнее Турции
26.10.2026 12:00:00 | Хабр

[Перевод] Загадка римских додекаэдров: мы нашли 134 экземпляра, но до сих пор не знаем, для чего они
26.10.2026 11:45:28 | Хабр

Нулевой цикл: как в Setl Group создают 3D модели котлованов жилых зданий при помощи nanoCAD GeoniCS
26.10.2026 11:38:31 | Хабр

Пиранези против ИИ: фотография или гравюра?
26.10.2026 11:34:15 | Хабр

Руководство по сборке локального AI-стека. Часть 4. Запуск сервера генерации изображений
26.10.2026 11:30:27 | Хабр

Мультитенантность в VictoriaMetrics, VictoriaLogs и Grafana: как мы изолируем клиентов и что ломается
26.10.2026 11:22:53 | Хабр

Руководство по сборке локального AI-стека. Часть 3. Наполнение моделями
26.10.2026 11:09:19 | Хабр

«Троянский конь» блока H7: побег из тюрьмы Мэйз
26.10.2026 11:09:08 | Хабр

Слабый (Artificial Narrow Intelligence, ANI) и сильный (Artificial General Intelligence, AGI) искусственный интеллект
26.10.2026 11:07:47 | Хабр

Ускорение и автоматизация разработки legacy-прошивки контроллера чистых помещений фармацевтического производства
26.10.2026 11:07:22 | Хабр

Руководство по сборке локального AI-стека. Часть 2. Запуск llama-cpp
26.10.2026 10:55:34 | Хабр

CI/CD для low-code: как мы вытащили ELMA 365 из браузера в репозиторий
26.10.2026 10:46:57 | Хабр

35 файлов и одна кнопка, или как вытащить проект из веб-чата нейросети
26.10.2026 10:44:02 | Хабр

Руководство по сборке локального AI-стека. Часть 1
26.10.2026 10:42:58 | Хабр

Kafka и ребалансинг: что можно сделать до возникновения проблемы
26.10.2026 10:28:23 | Хабр

С Karma на Vitest: как мы обновляли unit-тесты Angular и починили Allure
26.10.2026 10:24:44 | Хабр

[Перевод] Топ-10 ИИ-гаджетов: умные кулоны, кольца и карманные ассистенты
26.10.2026 10:20:42 | Хабр

[Перевод] От Apache 1.3 до Cloudflare: эволюция самого известного домена в интернете
26.10.2026 10:11:37 | Хабр

Критерии приемки AI/ML-проекта: как определить качество результата и что закрепить в договоре
26.10.2026 10:08:12 | Хабр

Как вайбкодинг доводит до депрессии, как потом лечиться
26.10.2026 10:02:12 | Хабр

Камера и стиль в нейросетях для видео: полный гайд на 20 примерах в Kling, Hailuo и Omni Flash
26.10.2026 09:59:40 | Хабр

Первые 5 минут инцидента: чек-лист дежурного
26.10.2026 09:57:04 | Хабр

Банки попросили сделать обязательной предустановку сертификатов Минцифры на смартфоны в России
26.10.2026 09:56:35 | vc.ru

Два порта Godot-игры за неделю: сборка под Linux и запуск на карманной консоли R36S через PortMaster
26.10.2026 09:52:08 | Хабр

Тест падает раз в 30 прогонов, и только в CI. Где искать причину?
26.10.2026 09:51:32 | Хабр

Что у советских граждан было вместо интернета?
26.10.2026 09:41:27 | Хабр

Загрузка образов в Kubernetes без паролей с Artifact Keeper
26.10.2026 09:38:42 | Хабр

Smart Forms Pro: 10 преимуществ нового инструмента для подготовки отчетности
26.10.2026 09:24:20 | Хабр

М.Видео запустила пилотный проект по выводу новых категорий маркетплейса в розницу
26.10.2026 09:19:04 | Хабр

Иерархия контекстов в Spring. High CVE в Axelix
26.10.2026 09:13:23 | Хабр

День 1706: больше четверти заявок ОКВЭД не совпали с фактической деятельностью компаний
26.10.2026 09:03:19 | vc.ru

Разбор инцидента LiteLLM 1.107.0: как увели релизный конвейер и почему подпись не помогла
26.10.2026 08:51:24 | Хабр

Нарезка Twitch-VOD по киллам: читаем игровой текст с кадра через Tesseract и собираем вертикальные клипы на ffmpeg
26.10.2026 08:50:27 | Хабр

Как ИИ меняет разработку на 1С: практические эксперименты, ошибки и неожиданные результаты
26.10.2026 08:47:54 | Хабр

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

В Geely раскрыли будущее бензиновых двигателей
04.12.2026 05:45:00 | За рулем

Минздрав: около 40% лекарств от орфанных заболеваний являются отечественными
26.10.2026 16:32:13 | ТАСС

В Анапе произошло землетрясение
26.10.2026 16:32:02 | ТАСС

ВСУ заявили, что Киеву приходится просить по несколько ракет для ПВО у партнеров
26.10.2026 16:31:59 | ТАСС

Трусова является одной из любимых фигуристок гимнастки Рощиной
26.10.2026 16:31:31 | ТАСС

Anthropic подала документы для IPO
26.10.2026 16:30:34 | ТАСС

США продлили санкции против авиакомпании Mahan Air
26.10.2026 16:30:27 | ТАСС

Тест: Слабо узнать 8 книг по первой строчке? Докажите, что пятёрки по литературе вам ставили за дело
26.10.2026 16:30:00 | Life.ru

Завещание XXI века: Мать из ОАЭ поручила ChatGPT воспитание сына после своей смерти
26.10.2026 16:29:33 | Life.ru

МО РФ: ВСУ дистанционно минируют дороги к Алёшкам, чтобы сорвать эвакуацию людей
26.10.2026 16:29:18 | Life.ru

Адвокаты Самойловой высказалась о лишении Джигана родительских прав
26.10.2026 16:29:08 | Lenta.ru

В Волгоградской области возбудили дело за наезд на сотрудника ДПС
26.10.2026 16:28:33 | ТАСС

Медведь пытался ворваться в дом с двумя детьми в Туве
26.10.2026 16:28:28 | Life.ru

Похоронщица из Москвы пошутила о гробах для бойцов СВО и резко ответила критикам
26.10.2026 16:28:22 | Lenta.ru

На М-11 «Нева» в Новгородской области установили световозвращающие силуэты лосей
26.10.2026 16:28:21 | Life.ru

Акционеры "Акрона" утвердили дивиденды из расчета 146 рублей на акцию
26.10.2026 16:28:04 | ТАСС

В бюджет Сириуса взыскали средства за незаконное строительство
26.10.2026 16:27:53 | ТАСС

Космос начинается в куполе: Студенты восьми стран поселятся на условном Марсе
26.10.2026 16:27:15 | Life.ru

В Индии спрогнозировали падение спроса на российскую нефть
26.10.2026 16:26:49 | Lenta.ru

Не понравилось, как поют? Канье Уэст семь раз заставил целый стадион начинать песню заново
26.10.2026 16:25:50 | Life.ru

На вооружении Африканского корпуса заметили «Тигр» с «Арбалетом»
26.10.2026 16:25:08 | Lenta.ru

Фальков отметил готовность РФ к сотрудничеству со Словакией по атомной энергии
26.10.2026 16:25:05 | ТАСС

Вратарь ЦСКА Бориско считает, что отлично сыграл против "Спартака"
26.10.2026 16:24:23 | ТАСС

Внутри облака из пыли и газа у белых карликов впервые обнаружили остатки планет
26.10.2026 16:24:22 | ТАСС

Умер настоятель воинского храма Александра Невского протоиерей Олег Тэор
26.10.2026 16:23:58 | ТАСС

Россиянам разъяснили ситуацию со скидками на машины в конце года
26.10.2026 16:23:00 | Lenta.ru

«Придут с фронта — мало не покажется»: Экс-депутат Рады предрёк гражданскую войну на Украине
26.10.2026 16:22:41 | Life.ru

Бывших хозяев российского агрохолдинга признали виновными в рэкете
26.10.2026 16:22:25 | Lenta.ru

Сотрудники ТЦК мобилизовали студентов из-за неправильных ответов
26.10.2026 16:21:45 | ТАСС

Зеленский раскритиковал министра войны США
26.10.2026 16:21:16 | Lenta.ru

Титов предложил, как решить вопрос нехватки денег на цели устойчивого развития
26.10.2026 16:21:14 | ТАСС

«Создаёшь нам трудности»: Мелони отчиталa своего зама за требование перестать вооружать Киев
26.10.2026 16:20:52 | Life.ru

Недостроенный спорткомплекс в Новосибирске изъяли по иску властей
26.10.2026 16:20:35 | ТАСС

Лидеру ЧВК «Ястреб» Алексею Марущенко утвердили 18-летний приговор
26.10.2026 16:20:26 | Коммерсантъ

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro