Видеокарты с 6 ГБ видеопамяти стали чуть более полезны. Новая ИИ-модель позволяет использовать их для генерации видео

20.04.2025 21:09:00 | iXBT.com

Видеокарты менее чем с 8 ГБ памяти постепенно становятся всё менее полезными и в играх, но теперь их можно использовать для работы с нейросетями.

фото GitHub

Разработчик Lvmin Zhang в сотрудничестве с Манишем Агравалой (Maneesh Agrawala) из Стэнфордского университета представили архитектуру FramePack. FramePack предлагает практическую реализацию диффузии видео с использованием временного контекста фиксированной длины для более эффективной обработки, что позволяет создавать более длинные и качественные видео. Модель с 13 млрд параметров, созданная с использованием архитектуры FramePack, может генерировать 60-секундный клип, задействуя всего с 6 ГБ видеопамяти видеокарты.

Обычно модели диффузии обрабатывают данные из ранее сгенерированных шумных кадров для прогнозирования следующего, немного менее шумного кадра. Количество входных кадров, рассматриваемых для каждого прогноза, называется длиной временного контекста, которая растет с размером видео. Стандартные модели диффузии видео требуют обычно не менее 12 ГБ видеопамяти, то есть даже модели с 8 ГБ остаются не у дел. Новая модель могла бы использовать RTX 2060 или даже GTX 1060, но требует как минимум карту линейки RTX 30. В современных линейках мало моделей с менее чем 8 ГБ видеопамяти, но такие имеются. Это мобильные карты из младшего сегмента, вроде RTX 3060 Laptop или RTX 4050 Laptop.

Подробнее