Lip Sync im Test: Einen Clip neu vertonen, ohne ihn neu zu drehen

Wir haben auf Lip Sync noch keine Proben entlang der Inhaltsleiter durchgeführt, dieser Abschnitt berichtet also, was sich aus dem Schema und dem einen veröffentlichten Beispiel verifizieren lässt, statt aus bewerteten Läufen. Das Beispiel nimmt eine fünf Sekunden lange Nachtzug-Aufnahme mit einer Frau im Bild und vertont sie mit einer etwa viereinhalb Sekunden langen gesprochenen Zeile neu — ein Clip von ähnlicher Länge wie das neue Audio, genau der Fall, um den herum der Endpunkt gebaut ist.

Diese Übereinstimmung zwischen Cliplänge und Audiolänge lohnt es, den Workflow darum herum zu bauen. Sind beide nahe beieinander, hat das Modell durchgehendes Filmmaterial, aus dem es die Mundformen für die ganze Zeile zeichnen kann; läuft das Audio viel länger als der Clip, muss die geloopte Wiederholung die Lücke abdecken, und diese Wiederholung fällt einem Zuschauer auf, auch ohne zu wissen, warum. Planen Sie eine Reihe von Zeilen, ist es günstiger, den Ausgangsclip auf die ungefähre Länge jeder Zeile zu trimmen oder zu verlängern, als sich auf den Loop zu verlassen, um die Differenz auszugleichen.

Lip Sync steht auf dieser Seite auch zwischen zwei anderen Werkzeugen, was es als Eingabe braucht. Es verlangt bereits existierendes Filmmaterial, was es für ein Standporträt ausschließt — das ist Talking Avatars Aufgabe. Und es berührt nur den Mund, was es dafür ausschließt, einem stummen Clip Atmosphäre oder Effekte hinzuzufügen — das ist Video Sound Effects. Die natürliche Pipeline für eine vollständig neu vertonte Szene ist, zuerst das Bild zu drehen oder zu erzeugen, die neue Zeile separat aufzunehmen oder zu synthetisieren, und beides dann als letzten Schritt vor der Auslieferung in diesen Endpunkt einzuspeisen.

• Ausgehend von einem Standporträt statt vorhandenem Filmmaterial? Talking Avatar animiert ein Foto, Ihr Audio zu sprechen, statt einen bereits vorhandenen Clip neu zu vertonen, für $0.018 pro Sekunde.
• Soundeffekte statt einer neuen Tonspur nötig? Video Sound Effects erzeugt Atmosphäre und Effekte aus dem Bild, statt Sprache zu synchronisieren, für $0.0012 pro Sekunde.