Обзор Lip Sync: переозвучить клип без пересъёмки

Мы ещё не проводили тесты по шкале контента на Lip Sync, так что этот раздел сообщает то, что можно проверить по схеме и единственному опубликованному примеру, а не по оценённым прогонам. В примере взят пятисекундный кадр из ночного поезда с одной женщиной в кадре, и он переозвучен репликой длиной примерно четыре с половиной секунды — клип, близкий по длине к новому аудио, что и есть случай, под который создан эндпоинт.

Это совпадение длины клипа и аудио стоит закладывать в свой рабочий процесс. Когда они близки, у модели есть непрерывная съёмка, из которой можно вывести формы рта на всю реплику; когда аудио идёт намного дольше клипа, зацикленный повтор должен покрыть разрыв, и повторение — как раз то, что заметит зритель, даже не зная причины. Если вы планируете серию реплик, дешевле обрезать или удлинить исходный клип примерно под длину каждой реплики, чем полагаться на цикл, чтобы восполнить разницу.

Lip Sync также занимает место между двумя другими инструментами на этой странице по тому, что ему нужно на входе. Он требует уже существующей съёмки, что исключает его для статичного портрета — это задача Talking Avatar. И он затрагивает только рот, что исключает его для добавления атмосферы или эффектов к немому клипу — это задача Video Sound Effects. Естественный конвейер для полностью переозвученной сцены — сначала снять или сгенерировать картинку, отдельно записать или синтезировать новую реплику, а затем на последнем шаге перед доставкой пропустить оба через этот эндпоинт.

• Начинаете со статичного портрета вместо уже имеющейся съёмки? Talking Avatar анимирует фото так, чтобы оно говорило вашим аудио, вместо переозвучки уже имеющегося у вас клипа, за $0,018 в секунду.
• Нужны звуковые эффекты, а не новая голосовая дорожка? Video Sound Effects генерирует атмосферу и эффекты по картинке вместо синхронизации речи, за $0,0012 в секунду.