Как Яндекс создавал новую end2end-модель генерации коротких видео

info@vsetut.pro

О проекте

Вернуться

04.09.2024 09:00:45 | Хабр

Хабы: Блог компании Яндекс, Работа с видео, Обработка изображений, Машинное обучение, Искусственный интеллект

Приложение Шедеврум начало использовать новую end2end-модель YandexART (Vi). Она позволяет создавать видео по текстовому запросу и учитывает взаимосвязь между кадрами, делая видео более связными, плавными и реалистичными, чем при использовании предыдущей модели. Предыдущее решение было основано на использовании эвристик для добавления движения камеры, где видео создавалось кадр за кадром с применением модели генерации изображений, что приводило к значительным изменениям в содержании каждого кадра.

В этой статье поделимся нашим опытом разработки первых версий end2end-модели YandexART (Vi):

— расскажем, почему изначально выбрали работу в пиксельном пространстве;

— опишем методы инженерных оптимизаций, которые помогли в обучении моделей;

— обсудим проблемы, с которыми столкнулись в процессе разработки, и как их решали;

— в завершение расскажем, почему в итоге решили отказаться от пиксельного пространства в пользу латентного и поделимся нашими планами на будущее.

И так как на Хабре не принято вставлять гифки и видео до ката, примеры новой модели вас ждут под ним.

Посмотреть примеры

Подробнее