Lip Sync: podłóż nowy głos bez ponownego kręcenia

Nie przeprowadziliśmy jeszcze testów skali treści na Lip Sync, więc ta sekcja opisuje to, co możemy zweryfikować na podstawie schematu i jednego opublikowanego przykładu, a nie ocenionych przebiegów. Przykład bierze pięciosekundowe ujęcie nocnego pociągu z jedną kobietą na ekranie i podkłada mu mniej więcej czteroipółsekundową wypowiedzianą kwestię — klip bliski długością nowemu dźwiękowi, co jest przypadkiem, wokół którego endpoint jest zbudowany.

To dopasowanie długości klipu do długości dźwięku warto uwzględnić w swoim przepływie pracy. Gdy oba są bliskie, model ma ciągły materiał, z którego czerpie kształty ust przez całą kwestię; gdy dźwięk trwa dużo dłużej niż klip, zapętlone powtórzenie musi pokryć lukę, a powtórzenie to coś, co widz zauważa, nawet nie wiedząc, co je spowodowało. Jeśli planujesz serię kwestii, taniej jest przyciąć albo wydłużyć klip źródłowy, by z grubsza pasował do długości każdej kwestii, niż liczyć na pętlę, że wyrówna różnicę.

Lip Sync sytuuje się też pomiędzy dwoma innymi narzędziami na tej stronie pod względem tego, czego potrzebuje jako danych wejściowych. Wymaga materiału, który już istnieje, co wyklucza go przy statycznym portrecie — to zadanie dla Talking Avatar. A dotyka tylko ust, co wyklucza go przy dodawaniu tła albo efektów do cichego klipu — to zadanie dla Video Sound Effects. Naturalny przepływ pracy dla w pełni podłożonej na nowo sceny to najpierw nakręcić albo wygenerować obraz, potem nagrać albo zsyntetyzować osobno nową kwestię, a dopiero na końcu, jako ostatni krok przed dostawą, wprowadzić oba do tego endpointu.

• Zaczynasz od statycznego portretu zamiast istniejącego materiału? Talking Avatar animuje zdjęcie, żeby mówiło twój dźwięk, zamiast podkładać nowy głos do już posiadanego klipu, za $0.018 za sekundę.
• Potrzebujesz efektów dźwiękowych, nie nowej ścieżki głosowej? Video Sound Effects generuje tło i efekty z samego obrazu zamiast synchronizować mowę, za $0.0012 za sekundę.