
Одна из распространенных проблем — неудачный подбор дублирующего голоса для говорящих. В отрывке с Говорящей Шляпой из «Гарри Поттера» у юного Гарри оказался взрослый, мужской голос, а диалог со Шляпой «слипся» и звучит как единый монолог.
Мальчику из фильма «Шестое чувство» в сцене с «Я вижу мёртвых людей» нейросеть успела поменять голос три раза за 50 секунд.
Другая проблема — ошибки в интонациях и ударениях. Яркая иллюстрация — отрывок из «Матрицы»: сцена с «красной и синей таблеткой». HeyGen допустила ошибку в ударении: «Я покажу тебе, как глубока кроличья нОра» (Время: 00:38).
В кульминационной сцене «Звёздных войн» («Люк, я твой отец») пластмассовые интонации сочетаются с тем, что ИИ забывает менять движения губ:
Ещё один недостаток HeyGen: дефицит мужских и женских голосов. Персонажи разных фильмов, в большинстве случаев, говорят очень похоже, одним тембром и часто игра актёра вообще теряется. Например, в монологе Тайлера из «Бойцовского клуба» голос не передает нужной окраски и тембра оригинала. Также на видео часто можно заметить искажения лица говорящего: движения рта и губ на доли секунды деформируются, выдавая зрителю искусственное происхождение дубляжа.
Ещё один типичный косяк HeyGen видно на примере фрагмента из «Титаника». Молодой Леонардо ДиКаприо, стоя на корме судна, кричит: «Я король мира!». Нейросеть вообще не распознала победный крик героя, поэтому на видео дубляжа актёр лишь беззвучно открывает рот.
В другом отрывке нейросеть вообще не смогла распознать слова говорящего. В сцене из «Властелина колец», где Голлум одержимо повторяет свою знаменитую фразу «Моя прелесть», речь персонажа разобрать проблематично: ИИ-редактор лишь исказил его голос.
Мы также протестировали нейросеть на других культовых фильмах, и некоторые результаты показывают известный для нейросетей «галлюцинирующий эффект». «Hasta la vista, baby» превратилась в «прощай детка, пожалуйста», а Гендальфу добавили лишних слов в фразу «Ты не пройдёшь!».
«Hasta la vista, baby» («Терминатор 2»).
«Ты не пройдёшь» («Властелин колец»).
И «страшная сцена» из «Сияния» с помешанным Николсоном тоже неплохая, хотя крик за стеной нейросетью потерян:
А вот ругательская тирада из фильма «Кровь и бетон» ("Ублюдок, мать твою, а ну иди сюда!), которую из всего фильма и слышало большинство, выглядит не так плохо.
Варвара Подрез