Какой трансформер в океане плавает быстрее всех? Тестируем скорость нейросетей для видео-энкодеров

info@vsetut.pro

О проекте

Вернуться

16.07.2024 07:19:27 | Хабр

Хабы: Обработка изображений, Машинное обучение, Искусственный интеллект

Одно из направлений работы нашей команды компьютерного зрения Vision RnD в SberDevices — распознавание жестового языка. Об этой задаче и о том, как мы ее решаем, мы уже писали на Хабре тут и тут (а еще тут и тут). Некоторое время назад перед нами встал вопрос выбора архитектуры нейросети для быстрой и качественной обработки изображений (видео-энкодера). Хотя сама задача распознавания жестового языка предполагает обработку видео, в качестве первого этапа нужна нейросеть, обрабатывающая изображения на отдельных кадрах. Причем делающая это достаточно быстро, чтобы обеспечить работу всей конструкции в реальном времени. Безусловно, за последний десяток лет человечеству стало известно немало архитектур нейросетей для обработки изображений. Однако, сопоставить их по критерию ~~цена-качество~~ точность-производительность и выбрать лидера не так просто. Мы решили собрать несколько популярных решений-претендентов на звание чемпиона и провести ~~состязание в славном городе Гамбурге~~ тестирование в идентичных условиях. Результатами этого исследования делимся под катом.

Подробнее