Prime Video показал ИИ, который подгоняет губы под дубляж

Amazon Prime Video начал тестировать новую AI-функцию, которая синхронизирует движения губ актёра с человеческим дубляжом. Пока она доступна только для английской версии немецкого сериала Maxton Hall, но в будущем компания обещает добавить её и к другим титулам.

Что именно запустил Prime Video

Новая функция Prime Video использует сочетание ИИ и визуальных эффектов, чтобы речь на другом языке выглядела естественнее на экране. Идея в том, чтобы зритель видел не просто перевод, а более точное совпадение губ с озвучкой.

Сейчас технология работает только с английским дубляжом сериала Maxton Hall. Причём доступна она для сезонов 1 и 2 по всему миру, а третий сезон шоу должен выйти 9 декабря уже с этой возможностью.

Зачем это нужно зрителям и бизнесу

Для обычного зрителя это означает более приятный просмотр иностранных сериалов: меньше ощущения, что звук и картинка живут отдельно. Особенно это важно для стримингов, где люди всё чаще смотрят контент на языке, который им удобнее, чем оригинал.

Для компаний в медиа и локализации это хороший пример того, как ИИ помогает удешевлять и ускорять адаптацию контента под разные рынки. Если технология станет массовой, стримингам будет проще выпускать больше дубляжей без потери качества восприятия.

Что это значит на фоне других AI-решений

Amazon не единственный, кто двигается в эту сторону. Meta и YouTube уже запускали AI-функции автодубляжа для авторов, а также добавляли опцию lip sync, чтобы создавалось впечатление, будто человек говорит на языке зрителя.

Интересно, что Prime Video сначала проверял подобный подход ещё в прошлом году: тогда компания экспериментировала с AI-assisted dubbing на английском и испанском в 12 фильмах и сериалах, включая El Cid: La Leyenda, Mi Mamá Lora и Long Lost. Новый запуск показывает, что такие инструменты постепенно переходят из тестов в реальные продукты.