Яндекс расширил число голосов, доступных для закадрового перевода видео в Браузере. Теперь их 12: шесть для женских ролей и шесть для мужских. Это позволит сохранить многоплановость и глубину в роликах, где участвуют много персонажей.
«По нашим оценкам, около половины YouTube-роликов на иностранных языках — это ролики с тремя и более спикерами. Смотреть их с двухголосой озвучкой не совсем удобно – поэтому мы и сделали десять новых голосов», — сообщил руководитель приложения Яндекс и Яндекс.Браузера Дмитрий Тимко.
Нейросеть сперва переводить речь в текст, затем расставляет пунктуацию и границы предложений. Другая нейросеть анализирует аудиодорожку и отмечает фрагменты, сказанные разными людьми, чтобы присвоить каждому один из доступных голосов.
Впервые Яндекс представил свою технологию для автоматического перевода видео прошлой осенью, и с тех пор она научилась создавать интерактивные субтитры на четырех языках, а также синхронно переводить прямые трансляции.