Ускоряем инференс в Python с ONNX

10.02.2026 17:30:35 | Хабр

Хабы: Блог компании OTUS, Программирование, Машинное обучение, Python

Привет! Если у вас когда‑либо был опыт деплоя нейросетки, вы знаете, что обучение — это полдела, а вот добиться шустрого инференса — целое искусство. Часто обученная в PyTorch модель дает замечательные метрики, но стоит попытаться запустить её в приложении начинаются всякие проблемки.

Одно из решений, которое часто выручает — ONNX и ONNX Runtime. Если эти буквы для вас пока ничего не значат — не беда, сейчас разберёмся что к чему. А если вы уже слышали про ONNX, то, возможно, задавались вопросом: «А реально ли ускорить инференс, заморочившись с этой технологией?» Еще как!

Ускорить инференс

Подробнее

Читайте также

Событийный цикл в asyncio: как Python-код работает поверх механизмов Linux
10.02.2026 17:18:53 | Хабр

Как в PHP узнать определенна ли переменная (для версии PHP 7.4 и выше)
10.02.2026 17:13:12 | Хабр

Как купить World of Warcraft: Midnight в России в 2026 году — рабочие способы предзаказа
10.02.2026 16:58:58 | Хабр

Whoosh решил отозвать ходатайство о потенциальном объединении с «Юрент», но рассмотрит возможность направить новое
10.02.2026 16:48:25 | vc.ru

Использование ИИ в образовании: помощь студенту или читинг — где проходит граница
10.02.2026 16:38:43 | Хабр

Учёные создали антенну для будущих сетей 6G
10.02.2026 16:36:55 | ferra.ru

МТС намекнул на скорый запуск 5G в России
10.02.2026 16:28:57 | ferra.ru

C Django Rest Framework мы все дальше от Бога
10.02.2026 16:23:51 | Хабр

Как купить криптовалюту за рубли: пошаговый гайд для новичков (с картинками)
10.02.2026 16:00:59 | Хабр

Госдума поддержала в первом чтении второй пакет мер по защите от мошенников — он включает ограничения по количеству банковских карт на человека
10.02.2026 15:56:17 | vc.ru

РКН рассказал, при каких условиях снимут ограничения с Telegram
10.02.2026 15:37:54 | ferra.ru

Отчёт Spotify: в четвёртом квартале 2025 года компания привлекла рекордное количество пользователей — 38 млн человек
10.02.2026 15:32:23 | vc.ru

Российский бренд Tenet анонсировал новую модель автомобиля — Tenet Plus
10.02.2026 14:59:33 | vc.ru

Грядущий бюджетный iPad получит поддержку ИИ Apple
10.02.2026 14:36:56 | ferra.ru

Language Dove: как я транскрибирую и перевожу фильмы
10.02.2026 14:36:31 | Хабр

Роскомнадзор решил «притормозить» Telegram, но не работает МАХ
10.02.2026 14:28:58 | it-world

Роскомнадзор «тормозит» Telegram, но не работает МАХ
10.02.2026 14:28:58 | it-world

Вопросы через боль: как посчитать облако и не сойти с ума?
10.02.2026 14:23:12 | Хабр

[Перевод] AI-пузырь лопается: как NVIDIA потеряла $500 млрд и при чём здесь Oracle
10.02.2026 14:13:49 | Хабр

Firefox vs Chrome DevTools: Где что удобнее?
10.02.2026 14:05:09 | Хабр

Chrome DevTools — не панацея. Что умеет Firefox
10.02.2026 14:05:09 | Хабр

Новогодний переполох X Яндекс Доставка
10.02.2026 14:04:54 | Хабр

Qtek S200: современный взгляд на коммуникатор эпохи Windows Mobile
10.02.2026 14:00:07 | Хабр

В соцсетях новый ИИ-тренд — делиться карикатурами, которые ChatGPT создаёт по истории переписок
10.02.2026 13:59:23 | vc.ru

Метрики ИТ и CIO. Что есть хорошо, а что не очень
10.02.2026 13:47:37 | Хабр

XDP + Jenkins: высокоскоростной фильтр по TLS-отпечаткам
10.02.2026 13:45:35 | Хабр

Словарь терминов для новичков в GPU-вычислениях (2026)
10.02.2026 13:39:39 | Хабр

От «мы устранили уязвимость» к «мы контролируем ситуацию»: эволюция языка ИБ-коммуникаций
10.02.2026 13:25:26 | Хабр

РБК: в России начали замедлять Telegram
10.02.2026 13:16:08 | ferra.ru

Как ежедневно привлекать в тг-канал +10-20 подписчиков: подробная инструкция с лайфхаками
10.02.2026 13:13:52 | Хабр

Повышаем стабильность Telegram: поднимаем партизанский MTProxy с Fake TLS
10.02.2026 13:10:10 | Хабр

Компенсационные ревью в IT: как проводить калибровку, когда все считают себя выше рынка
10.02.2026 13:07:56 | Хабр

«ВКонтакте» запустил возможность покупать товары из видео
10.02.2026 13:05:57 | vc.ru

Интерактивная поздравительная открытка на JavaScript
10.02.2026 13:01:54 | Хабр

Прощай, Ingress. Здравствуй, Gateway API
10.02.2026 13:00:52 | Хабр

Смотреть все

НОВОСТИ

Побои и двойная жизнь: Россянка на суде узнала о давней любовнице мужа
09.05.2026 17:24:08 | Life.ru

На севере Франции прошла церемония в память о русских и советских солдатах
09.05.2026 17:22:08 | ТАСС

Politico: амбиции Зеленского серьезно подорвали отношения ЕС и Киева
09.05.2026 17:20:41 | ТАСС

В Киеве у Вечного огня женщине не дали включить песню "День Победы"
09.05.2026 17:20:17 | ТАСС

Reuters: выявлены два новых заболевших с симптомами хантавируса
09.05.2026 17:19:32 | ТАСС

Более 60 сотрудников ЦЭНКИ добровольцами ушли на СВО
09.05.2026 17:18:39 | Life.ru

Ушаков: Путин готов встретиться с Зеленским в Москве
09.05.2026 17:18:00 | Российская Газета

Полиция под Киевом ищет молодых людей, спевших песню "Матушка-земля"
09.05.2026 17:18:00 | Российская Газета

В Вене стартовало шествие "Бессмертного полка"
09.05.2026 17:17:37 | ТАСС

Миллионы за «воздух»: в Нижнем Новгороде замдиректора стал жертвой автосхемы
09.05.2026 17:15:11 | Life.ru

В ДНР морпехи группировки "Центр" возложили цветы к памятникам и мемориалам
09.05.2026 17:14:53 | ТАСС

Bild: Бундесрат заблокировал выплату премий рабочим в ФРГ
09.05.2026 17:14:17 | ТАСС

Щукин возглавил шествие "Бессмертного полка" в Махачкале
09.05.2026 17:11:55 | ТАСС

10 лет ада: Самая безжалостная мать из Дивеево получила срок за истязание 4-х детей
09.05.2026 17:11:13 | Life.ru

Sky: Британия готова направить эсминец для обеспечения судоходства в Ормузе
09.05.2026 17:10:55 | ТАСС

Путин и президент Лаоса Сисулит начали переговоры в Кремле
09.05.2026 17:10:42 | Life.ru

Вероятность встречи Путина с Трампом в Китае оценили
09.05.2026 17:10:40 | Lenta.ru

Путин: отношения России и Лаоса строятся на основе дружбы и взаимоуважения
09.05.2026 17:10:27 | ТАСС

Литва взяла кредит в €6,4 млрд на размещение бригады НАТО
09.05.2026 17:09:21 | Life.ru

В Кремле высказались о позиции по встрече Путина и Зеленского
09.05.2026 17:09:00 | Lenta.ru

В Москве заявили об увеличении объемов высокотехнологичной медпомощи
09.05.2026 17:08:55 | ТАСС

Курсант из Петербурга под троекратное «Ура!» попросил руки любимой в День Победы
09.05.2026 17:08:28 | Life.ru

ВОЗ сообщила о шести случаях хантавируса на круизном лайнере
09.05.2026 17:07:10 | Life.ru

В Бухаресте прошло возложение венков по случаю 81-й годовщины Победы
09.05.2026 17:06:48 | ТАСС

Путин встретился с президентом Лаоса
09.05.2026 17:06:00 | Lenta.ru

На Новгородчине десятки тысяч человек присоединились онлайн к "Бессмертному полку"
09.05.2026 17:05:28 | ТАСС

Ушаков: США и Россия два дня вели переговоры о перемирии в честь 9 Мая
09.05.2026 17:05:27 | Life.ru

В Грозном открыли институт исламских наук имени матери Гуцериева
09.05.2026 17:05:08 | ТАСС

«Огромный долг перед родителями»: Президент Болгарии приняла участие в церемонии 9 Мая
09.05.2026 17:04:36 | Life.ru

В центре Москвы прошел флешмоб в честь Дня Победы
09.05.2026 17:04:14 | Lenta.ru

В Кремле раскрыли деталь подготовки к перемирию
09.05.2026 17:01:58 | Lenta.ru

Четвероногие солдаты Победы: Как животные спасали жизни на фронтах Великой Отечественной
09.05.2026 17:00:00 | Life.ru

Оренбуржец, прорвавшийся к губернатору Паслеру, стал звездой на родине
09.05.2026 16:59:46 | Life.ru

«Она не одобрила план и уплыла»: Волонтёры помогли дельфину у скалы Киселёва
09.05.2026 16:59:42 | Life.ru

По центру Ярославля прошли участники "Бессмертного полка"
09.05.2026 16:58:55 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro