Создание двуязычных субтитров к видео, распознавание и перевод речи

info@vsetut.pro

Стать автором

Вернуться

30.11.2024 19:27:43 | Хабр

Хабы: Python, Алгоритмы, Контент и копирайтинг, Работа с видео, Разработка под Windows

Введение

При изучении иностранных языков, иногда хочется иметь двуязычные субтитры к понравившемуся видео, озвученных носителями языка. Но, что делать, если готовых субтитров нет, а самому распознать и перевести живую речь героев не хватает знаний? Особенно это касается тех, кто только-только начинает осваивать новый язык. Но, как говориться, безвыходных ситуаций не бывает, как минимум, всегда существует три выхода, даже если вас съели.

В данном случае мы воспользуемся современными технологиями для решения нашей задачи. Вот наш алгоритм действий:

1. Скачиваем понравившийся видео ролик из Интернета, например, Ютуба.

2. Обрезаем его, если он слишком большой.

3. Вытаскиваем из него звуковую дорожку.

4. Если речь героев происходит на фоне большого шума либо музыки, то мы можем с помощью онлайн-сервисов отделить музыку от вокала либо речи.

5. Звуковой файл с речью (обычно, до 8-10 минут, иначе режем на куски) скармливаем нескольким сервисам по преобразованию mp3-файлов в текст. Используем несколько вариантов, потому, что любой сервис может содержать ошибки. Затем используем метод «перекрёстной лжи», как выразился один товарищ,

6. Группируем варианты распознанной речи по отдельным фразам, из которых убираем полные дубликаты (при желании).

7. Загружаем наш mp3-файл в звуковой редактор, например, Audacity и делаем там поиск звука между заданными интервалами, что позволяет нам создать предварительные метки для звуковых интервалов.

8. Слушаем отдельно каждый такой интервал и пытаемся сопоставить ему на слух вариант распознанной фразы. Для большей надежности, иностранные фразы в разных онлайн переводчиках и из всех возможных фраз выбираем наиболее подходящую. При этом сам язык знать не обязательно, достаточно внимательного прослушивания. При необходимости, редактируем звуковые интервалы и, в качестве их меток, указываем иностранные фразы.

Подробнее