Яндекс начал предлагать своим зрителям посмотреть научно-популярные ролики, стендапы и видеоблоги в русской озвучке. Технология, анонсированная в июле, использует машинный перевод, биометрию и технологии Яндекса для распознавания и синтеза речи. Оригинальная дорожка на видео приглушается, и на нее накладывается новая. Для озвучки используется два голоса — мужской и женский, нейросеть сама определяет пол диктора.
Процесс перевода занимает несколько минут. Чтобы воспользоваться функцией, зажмите кнопку воспроизведения. Когда все будет готово, вам придет уведомление.
Перевод происходит в несколько этапов:
Нейросеть распознает текст и разбивает его на предложения.
Распознает пол говорящего, переводит предложения на русский язык.
Синтезирует голос.
Технология доступна при работе в с большинством известных плееров: YouTube, Vimeo и других. Для десктопа переводом можно воспользоваться в Яндекс.Браузере для Windows, macOS и Linux, а для мобильных платформ технология работает в приложении Яндекс для Android и iOS.
Пример перевода видео, который показывает и перспективы технологии, и проблемы, с которыми стоит бороться.
Напоминаем, что накануне Яндекс обвинили в плагиате данной технологии разработчики сервиса AllMyBlog.
