Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Запуск и оптимизация локальной LLM с llama.cpp

10.07.2026 12:31:32 | Хабр

Хабы: Искусственный интеллект, Linux, Python, Open source

В статье разберём фреймворк llama.cpp для запуска локальной LLM на выделенном облачном GPU, а также практический подход к оптимизации производительности. Мы поднимем REST API, выполним запрос, проведем бенчмаркинг и подберем оптимальные параметры под конкретную видеокарту.

Читать далее

Подробнее

Читайте также

Ускорение в 200 раз — не предел
10.07.2026 12:22:21 | Хабр

«Мы начали принимать стратегические решения на основе данных»: интервью c АО «Полиэкс» и GlowByte о внедрении PIX BI
10.07.2026 12:09:14 | Хабр

От хаоса к системе: как мы выстроили процесс Discovery (часть 2)
10.07.2026 11:50:19 | Хабр

Как русский математик 19 века придумал робототехнику
10.07.2026 11:48:58 | Хабр

Пятикратный рост и пилотный тупик: что стоит за цифрами российского рынка ИИ?
10.07.2026 11:47:34 | it-world

Кто выгрузил платежи, или Пример расследования инцидента на аудите в Postgres Pro Enterprise
10.07.2026 11:46:56 | Хабр

Digital Q.DataBase 18.2: новая архитектура, расширение совместимости и новые инструменты миграции
10.07.2026 11:41:05 | Хабр

Китай провёл испытания многоразовой ракеты Long March-10B — её успешно посадили на морскую платформу
10.07.2026 11:40:41 | vc.ru

Внедрили Scrum, но Agile так и не случился. Почему?
10.07.2026 11:36:10 | Хабр

Первые впечатления о Grok 4.5 и ChatGPT 5.6 — Sol, Terra, Luna
10.07.2026 11:27:11 | Хабр

Код — это только 14% техдолга. Откуда берется все остальное?
10.07.2026 11:16:04 | Хабр

ИИ в Google Photos научился делать «клипы» из обычных видео
10.07.2026 11:11:31 | ferra.ru

Когда конкуренты демпингуют: как нейросети помогают ПМ-у сокращать Time-to-Market
10.07.2026 11:02:40 | Хабр

GIGABYTE радует геймеров новым WOLED-монитором
10.07.2026 11:00:43 | it-world

Как мы ускорили разметку видеопоиска в десятки раз и не потеряли качество: опыт внедрения VLM-асессора
10.07.2026 10:56:02 | Хабр

О Raspberry Pi Pico, RP2040 и Baremetal
10.07.2026 10:47:25 | Хабр

Мобильные игры по лицензии бренда — как это работает
10.07.2026 10:32:20 | Хабр

Как ИИ изменил разработку в Content AI: от эксперимента к новой реальности
10.07.2026 10:31:34 | Хабр

Как Windows 11 будет работать на ПК из 2000 года
10.07.2026 10:28:48 | Хабр

Как научить LLM-агента спрашивать Яндекс Метрику: разбираем протокол MCP и OAuth-авторизацию без секрета
10.07.2026 10:26:28 | Хабр

Пять новых решений для 1С: дубли, загрузка данных, интеграции и ИИ
10.07.2026 10:06:15 | Хабр

Переломный момент «кругосветки»
10.07.2026 10:00:26 | Хабр

Мне было лень учиться, и я навайбкодил себе платформу для обучения
10.07.2026 09:57:25 | Хабр

Цифровой рубль, ИИ и налоговая реформа: как меняются мобильные банки для бизнеса
10.07.2026 09:49:31 | Хабр

Российские SaaS-сервисы для бизнеса: чем заменить зарубежные инструменты
10.07.2026 09:49:22 | Хабр

Google начнёт помечать рекламу, созданную с помощью ИИ
10.07.2026 09:44:52 | vc.ru

Издательство Питер. Колонка редактора, июль 26 г
10.07.2026 09:39:10 | Хабр

[Перевод] TypeScript 7.0 — самое радикальное обновление за 10 лет
10.07.2026 09:38:26 | Хабр

Нейросеть для создания видео: Как сделать оживлять фото — обзор Kling и Seedance, промпты, тесты, доступ без VPN
10.07.2026 09:35:12 | Хабр

Apple выпустила Mac с багом в ПЗУ. 35 лет его спасала некорректно закодированная инструкция 68030
10.07.2026 09:35:11 | Хабр

Производитель чипов SK Hynix привлёк $26,5 млрд после листинга на Nasdaq — размещение стало одним из крупнейших в 2026 году после IPO SpaceX
10.07.2026 09:33:21 | vc.ru

От рутинных операций к интеллектуальным инструментам: видеокурс по API nanoCAD BIM Строительство
10.07.2026 09:31:36 | Хабр

Походка за двадцать минут и миллион рублей: что RL сделал с двуногими роботами и во что упёрся их «мозг»
10.07.2026 09:26:29 | Хабр

ChatGPT научился говорить «как человек»: слушает и общается одновременно
10.07.2026 09:11:38 | ferra.ru

Сколько Shadow API спрятано в ваших продуктах и как вывести их из тени
10.07.2026 09:00:26 | Хабр

Смотреть все

НОВОСТИ

Сигал назвал Путина величайшим лидером в мире
11.07.2026 09:17:27 | ТАСС

Роспотребнадзор начал расследование после отравления 19 человек в Зарайске
11.07.2026 09:16:25 | Life.ru

Сестра Гуцул заявила, что в Гагаузии остались патриоты, которые отстоят автономию
11.07.2026 09:15:53 | ТАСС

В Татарстане назвали возможную причину съезда автобуса в кювет
11.07.2026 09:14:01 | ТАСС

Кенийский бегун побил державшийся 27 лет мировой рекорд
11.07.2026 09:10:36 | Lenta.ru

После ДТП с автобусом в Татарстане возбуждено уголовное дело
11.07.2026 09:10:17 | Коммерсантъ

Прятали в дорожной сумке: Беженка рассказала, как в Константиновке скрывали детей от ВСУ
11.07.2026 09:09:00 | Life.ru

Через пункт пропуска Кани-Курган въехал первый иностранец по электронной визе
11.07.2026 09:06:00 | Российская Газета

Пушилин заявил, что ВСУ долгие годы создавали в Константиновке укрепрайон
11.07.2026 09:02:04 | ТАСС

В Москве при взрыве пиротехники в жилом доме погиб человек
11.07.2026 09:01:33 | Life.ru

В МВД России назвали признаки "опасного" банкомата
11.07.2026 09:01:04 | ТАСС

Доходность 60% на падающем рынке: 10 лучших акций с начала 2026 года
11.07.2026 09:00:21 | РБК

У Венеры туберкулёз, у Давида — грыжа: Какие болезни мы не замечали в шедеврах мирового искусства
11.07.2026 09:00:00 | Life.ru

Кристофер Нолан посвятил "Одиссею" Дэвиду Кили - специалисту по IMAX, с которым он проработал более 20 лет
11.07.2026 08:58:09 | PlayGround.ru

В Белгородской области при атаке БПЛА пострадали два человека
11.07.2026 08:57:40 | Коммерсантъ

Под Белгородом при атаке дрона ВСУ на автомобиль пострадали два человека
11.07.2026 08:56:30 | ТАСС

Косачев заявил, что конфликт на Украине закончится переговорами
11.07.2026 08:55:41 | ТАСС

В Сочи спрос на квартиры снизился почти на 80% за семь лет
11.07.2026 08:53:09 | ТАСС

Военкор Стешин заявил об угрозе автономных дронов с искусственным интеллектом
11.07.2026 08:51:31 | Life.ru

Финляндия захотела продлить закон о выдворении беженцев до конца 2028 года
11.07.2026 08:48:52 | Life.ru

Над Россией сбили 178 беспилотников за ночь
11.07.2026 08:47:41 | РБК

На Багамах при крушении легкомоторного самолета погибли 10 человек
11.07.2026 08:45:57 | ТАСС

"Купол Донбасса" за сутки сбил 31 беспилотник над ДНР
11.07.2026 08:45:29 | ТАСС

Названо число сбитых за ночь над территорией России беспилотников
11.07.2026 08:45:07 | Lenta.ru

Пол Фиг признался, что спустя 10 лет его продолжают травить из-за "Охотников за привидениями"
11.07.2026 08:44:48 | PlayGround.ru

ВТБ: покупатели вернулись на рынок акций РФ к пятнице
11.07.2026 08:43:09 | ТАСС

В Кызыле началось прощание с утонувшими в Енисее девочками
11.07.2026 08:42:14 | Life.ru

CNN назвал условие США для окончательной сделки с Ираном
11.07.2026 08:41:32 | РБК

В Ассоциации автомотуризма назвали стоимость покупки автодома в 2026 году
11.07.2026 08:41:10 | ТАСС

Маркетплейсы обяжут проверять продавцов и владельцев ПВЗ с 1 октября
11.07.2026 08:38:27 | Ведомости

Эвакуированным при атаке БПЛА жителям Таганрога разрешили вернуться домой
11.07.2026 08:36:56 | РБК

В Пермском крае женщина пропала в потоках воды из-за дождевого паводка
11.07.2026 08:35:48 | ТАСС

Силы ПВО за ночь сбили над Россией 178 БПЛА
11.07.2026 08:35:20 | Коммерсантъ

ТАСС: ВСУ укрывают под Черниговом офицеров, причастных к убийствам подчиненных
11.07.2026 08:34:00 | Российская Газета

Гендиректор "Вкусно - и точка" считает маловероятным возвращение McDonald"s в РФ
11.07.2026 08:33:54 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro