Как мы запустили 35B LLM на видеокарте за $500: внутри ZINC inference engine

08.04.2026 08:27:49 | Хабр

Хабы: Машинное обучение, Высоконагруженные системы, Программирование, Open source, Системное программирование

Год назад запуск модели на 35 миллиардов параметров подразумевал облако, очередь на GPU, и счёт от провайдера в конце месяца. Сегодня я покажу, как мы сделали это на одной потребительской видеокарте AMD за $500 — без ROCm, без CUDA, без MLX, одним бинарником на Zig.

Это пост про ZINC — inference engine, который мы строим с нуля под железо, которое люди реально покупают. Не как proof of concept, а как рабочий инструмент с OpenAI-совместимым API, потоковой генерацией и встроенным чатом.

Погрузиться

Подробнее

Читайте также

Cruzo — минималистичный UI-фреймворк без лишней сложности
08.04.2026 08:20:43 | Хабр

Делаем шасси для модели ретроавто
08.04.2026 08:05:34 | Хабр

Push-уведомления в Linux не работают: история одного багрепорта
08.04.2026 08:01:51 | Хабр

Собираем pod с учетом зависимостей в Podman
08.04.2026 08:00:31 | Хабр

Что даёт воспроизводимая среда разработки и как развернуть контейнеры на VPS
08.04.2026 08:00:28 | Хабр

Так выглядит портативная консоль GameMT с отсоединяемым экраном
08.04.2026 07:47:23 | ferra.ru

И всё-таки она вертится…
08.04.2026 07:29:17 | Хабр

Что нам стоит UX настроить? Или как мы искали способы проверки интерфейсов Smart TV без разработки
08.04.2026 07:22:07 | Хабр

Как подготовить сайт ИТ-компании к аккредитации в 2026 году: полный гайд по новым требованиям
08.04.2026 07:19:45 | Хабр

TTF-DOOM: как я запустил 3D-рейкастер внутри TrueType-шрифта
08.04.2026 07:16:09 | Хабр

Облачная виртуализация: почему мы переработали интерфейс и что из этого вышло
08.04.2026 07:14:52 | Хабр

Рецензия на книгу «Искусство визуализации в бизнесе. Как представить сложную информацию простыми способами»
08.04.2026 07:14:05 | Хабр

Как более 100 000 специалистов оказались на рынке труда всего за один месяц
08.04.2026 07:13:30 | Хабр

Стриминг ответов в Telegram-боте: новый API и 100 строк Python
08.04.2026 07:11:03 | Хабр

3 архитектурные ошибки в C#, из-за которых проект становится неуправляемым
08.04.2026 07:00:48 | Хабр

Квантовый аккумулятор
08.04.2026 07:00:19 | Хабр

Четыре тактики перехода для уровня 9+ млн/год. Тактика третья: “Растем с руководителем”
08.04.2026 06:55:27 | Хабр

Создание и тестирование пенсионных инвестиционных стратегий с помощью Okama
08.04.2026 06:50:43 | Хабр

Как мы перестроили тестирование релизов 1С и сократили цикл выпуска вдвое
08.04.2026 06:42:16 | Хабр

Как учиться? (большая статья, основанная на личном опыте)
08.04.2026 06:16:28 | Хабр

Tokenmaxxing: Новый тренд в бигтехах в 2026 году
08.04.2026 06:10:29 | Хабр

[Перевод] 60% падение трафика, коллапс моделей и однообразие: что ИИ делает с интернетом
08.04.2026 06:09:17 | Хабр

Как я сделал скилл для AI-ревью плана и кода — и зачем мне две модели
08.04.2026 06:00:24 | Хабр

Антипаттерны вайбкодинга для начинающих: 10 способов сломать себе карьерный старт
08.04.2026 06:00:23 | Хабр

Как найти работу с помощью нейросети в 2026: 7 промптов, которые реально помогают пройти собеседование
08.04.2026 05:54:25 | Хабр

Графическая утилита для очистки кэша 1С (с возможностью выбора базы) для ОС Linux
08.04.2026 05:51:19 | Хабр

Как проектировать бизнес‑логику в микросервисах: 3 правила агрегатов, которые работают
08.04.2026 05:46:15 | Хабр

Как проектируют приложения и системы, которые не падают под нагрузкой на примере бега, медитации и чая
08.04.2026 05:16:08 | Хабр

Телефонный звонок → структурированный JSON: строим STT + LLM пайплайн на Python
08.04.2026 05:16:00 | Хабр

Не все RPS одинаково полезны: уроки нагрузочного тестирования core-системы
08.04.2026 05:07:57 | Хабр

Укрощаем рыночный хаос: Пишем Liquid Neural Network (LNN) на PyTorch для алготрейдинга
08.04.2026 05:03:10 | Хабр

Краткий справочник про внимания (self-attention, cross-attention, multi-head attention)
08.04.2026 04:15:48 | Хабр

Почему чужой бизнес эффективнее моей жизни?
08.04.2026 04:05:45 | Хабр

Game Boy вместо модуляра: секвенции и синтез
08.04.2026 04:00:23 | Хабр

[Перевод] Аугментация ограничивающих боксов в детекции: форматы, `BboxParams` и типичные ошибки
08.04.2026 02:56:37 | Хабр

Смотреть все

НОВОСТИ

Женатый мужчина завел трех любовниц и выманил у них 90 миллионов рублей
13.06.2026 16:30:43 | Lenta.ru

«Дополнительная нагрузка»: Названа неочевидная причина быстрой разрядки смартфона
13.06.2026 16:30:31 | Life.ru

ВС России уничтожили пункты дислокации ВСУ в Сумах
13.06.2026 16:28:07 | Lenta.ru

В День России в Москве прошёл концерт классической музыки с «ожившими» картинами
13.06.2026 16:26:45 | Life.ru

На Украине рассказали о масштабных изменениях в армии
13.06.2026 16:26:41 | Lenta.ru

Директор женского "Спартака" Терехова назвала исторической победу в cуперкубке
13.06.2026 16:26:37 | ТАСС

Половину украинских штурмовиков захотели набрать из наемников-иностранцев
13.06.2026 16:26:00 | Lenta.ru

Цивилева заявила о важности поддержки действующих военнослужащих с инвалидностью
13.06.2026 16:24:01 | ТАСС

Мелони нашла переговорщика по Украине с Россией
13.06.2026 16:24:00 | Lenta.ru

Сергей Лавров встретится в Беларуси с Лукашенко и Рыженковым
13.06.2026 16:24:00 | Российская Газета

Кремль, Гагарин и медведь: Мурал-рекордсмен о России появился на школе в Уругвае
13.06.2026 16:21:04 | Life.ru

Голикова: в Донбассе и Новороссии 1,9 млн человек проходят диспансеризацию
13.06.2026 16:19:17 | ТАСС

Иностранные авиакомпании стали больше заправляться в аэропортах России
13.06.2026 16:18:24 | ТАСС

Голикова: в Донбассе и Новороссии в три раза выросла доступность медпомощи
13.06.2026 16:16:42 | ТАСС

ВСУ вновь атаковали транспортный цех ЗАЭС: сгорели два авто, повреждены колонки
13.06.2026 16:15:52 | Life.ru

«Герани» поразили цеха по производству беспилотников ВСУ в Харьковской области
13.06.2026 16:15:52 | Life.ru

Россиянка Миронова в 16-й раз выиграла чемпионат мира по бильярду
13.06.2026 16:15:11 | ТАСС

Число пострадавших в ДТП с грузовиком и маршруткой в Подмосковье выросло до 14
13.06.2026 16:11:56 | ТАСС

Число пострадавших в ДТП с грузовиком и маршруткой в Подмосковье увеличилось до 14
13.06.2026 16:11:56 | ТАСС

В Башкирии 14-летнего подростка зарезали ради пакета с продуктами
13.06.2026 16:10:59 | Коммерсантъ

Общий щит от рестрикций: Москва и Минск готовят ответ Западу
13.06.2026 16:08:53 | Life.ru

В Херсонской области пять компаний получили статус социального предприятия
13.06.2026 16:08:35 | ТАСС

Турция выделит $10 млрд частных инвестиций на проекты внедрения ИИ
13.06.2026 16:08:33 | ТАСС

В Красноярском крае двухлетний ребёнок утонул в септике на участке
13.06.2026 16:08:25 | Life.ru

США сократят в Европе количество бомбардировщиков и ударных БПЛА
13.06.2026 16:08:00 | Российская Газета

Euronews: Никто в Евросоюзе не готов сказать ничего хорошего про Каллас
13.06.2026 16:07:00 | Российская Газета

В Херсонской области из-за ударов ВСУ пострадали два человека
13.06.2026 16:06:01 | ТАСС

Один человек погиб и 12 пострадали в ДТП с КамАЗом и маршруткой в Подмосковье
13.06.2026 16:05:11 | Life.ru

AMD заменила повреждённый процессор Ryzen 9 7950X3D после вмешательства блогеров - но только после скандала
13.06.2026 16:03:21 | PlayGround.ru

В Дагестане спасли двух человек на сапбордах в Каспийском море
13.06.2026 16:00:24 | ТАСС

Миклухо-Маклай-младший вернул собранные предком останки папуасов на родину
13.06.2026 16:00:00 | Российская Газета

МИД Ирана: подписание меморандума с США 14 июня не состоится
13.06.2026 15:59:29 | ТАСС

МИД Ирана: подписание меморандума об урегулировании конфликта с США не произойдет 14 июня
13.06.2026 15:59:29 | ТАСС

13 человек пострадали в ДТП под Москвой
13.06.2026 15:57:59 | Lenta.ru

Босая девушка вместо президента: Шейнбаум отдала билет на ЧМ юной футболистке и устроила народный праздник
13.06.2026 15:57:58 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro