Актёры из «Титаника», «Матрицы» и «Гарри Поттера» заговорили по-русски

ИИ-нейросеть адаптировала на русский эпизоды из самых известных голливудских фильмов. Для этого мы воспользовались самой продвинутой на сегодняшний день нейросети для дубляжа, HeyGen. Она обучена переводить видео на многие языки, включая русский, сохраняя мимику, интонацию, тембр голоса, адаптируя движения губ под нужный язык. До совершенства еще, впрочем, весьма далеко, и профессиональных актёров и продюсеров дубляжа нейросети пока что не заменить.

Источник: AP 2024

Одна из распространенных проблем — неудачный подбор дублирующего голоса для говорящих. В отрывке с Говорящей Шляпой из «Гарри Поттера» у юного Гарри оказался взрослый, мужской голос, а диалог со Шляпой «слипся» и звучит как единый монолог.

Мальчику из фильма «Шестое чувство» в сцене с «Я вижу мёртвых людей» нейросеть успела поменять голос три раза за 50 секунд.

Другая проблема — ошибки в интонациях и ударениях. Яркая иллюстрация — отрывок из «Матрицы»: сцена с «красной и синей таблеткой». HeyGen допустила ошибку в ударении: «Я покажу тебе, как глубока кроличья нОра» (Время: 00:38).

В кульминационной сцене «Звёздных войн» («Люк, я твой отец») пластмассовые интонации сочетаются с тем, что ИИ забывает менять движения губ:

Ещё один недостаток HeyGen: дефицит мужских и женских голосов. Персонажи разных фильмов, в большинстве случаев, говорят очень похоже, одним тембром и часто игра актёра вообще теряется. Например, в монологе Тайлера из «Бойцовского клуба» голос не передает нужной окраски и тембра оригинала. Также на видео часто можно заметить искажения лица говорящего: движения рта и губ на доли секунды деформируются, выдавая зрителю искусственное происхождение дубляжа.

Ещё один типичный косяк HeyGen видно на примере фрагмента из «Титаника». Молодой Леонардо ДиКаприо, стоя на корме судна, кричит: «Я король мира!». Нейросеть вообще не распознала победный крик героя, поэтому на видео дубляжа актёр лишь беззвучно открывает рот.

В другом отрывке нейросеть вообще не смогла распознать слова говорящего. В сцене из «Властелина колец», где Голлум одержимо повторяет свою знаменитую фразу «Моя прелесть», речь персонажа разобрать проблематично: ИИ-редактор лишь исказил его голос.

Мы также протестировали нейросеть на других культовых фильмах, и некоторые результаты показывают известный для нейросетей «галлюцинирующий эффект». «Hasta la vista, baby» превратилась в «прощай детка, пожалуйста», а Гендальфу добавили лишних слов в фразу «Ты не пройдёшь!».

  1. «Hasta la vista, baby» («Терминатор 2»).

  1. «Ты не пройдёшь» («Властелин колец»).

И «страшная сцена» из «Сияния» с помешанным Николсоном тоже неплохая, хотя крик за стеной нейросетью потерян:

А вот ругательская тирада из фильма «Кровь и бетон» ("Ублюдок, мать твою, а ну иди сюда!), которую из всего фильма и слышало большинство, выглядит не так плохо.

Варвара Подрез