Einführung
Lip Sync vertont vorhandenes Material neu. Sie schicken den Clip in video_url und die neue Sprache in audio_url, und der Mundbereich der Person im Bild wird passend zu den Worten neu gezeichnet, während Darstellung, Licht und Bildausschnitt des Clips bleiben, wie sie gedreht wurden. Das Ergebnis ist so lang wie das Audio und trägt es als Tonspur.
Wichtige Funktionen und Highlights
Nur der Mund wird neu gemalt
Mimik, Kopfbewegung, Kostüm und Hintergrund stammen aus den Originalbildern, eine Einstellung, die schon funktioniert, funktioniert also weiter; es ändert sich nur, was die Person zu sagen scheint. Weil der Rest des Gesichts unangetastet bleibt, sollte der neue Satz zur ursprünglichen Darbietung passen: Ein ruhiges Gesicht mit geschrienem Audio wirkt weiterhin ruhig.
Das Audio bestimmt die Länge
Das Ergebnis richtet sich nach der Aufnahme, nicht nach dem Clip. Ist das Audio länger als das Video, wird das Video in einer Schleife gefüllt, und die gelieferte Datei kann etwa eine halbe Sekunde über das Ende des Audios hinausgehen. Das Bild behält die Auflösung des geschickten Videos bis etwa 720p: Ein Testclip mit 1280×720 kam mit 1280×720 zurück, ein Clip mit 1920×1080 ebenfalls mit 1280×720.
Request-Parameter
| Parameter | Pflicht | Beschreibung |
|---|---|---|
video_url | Ja | Das Material, das neu vertont wird. Ein Gesicht, ausreichend groß im Bild und überwiegend zur Kamera gedreht. mindestens 1 Zeichen |
audio_url | Ja | Die neue Sprache, 3 bis 60 Sekunden, MP3 oder WAV. Das Ergebnis ist so lang wie diese Aufnahme; Dateien außerhalb des Bereichs werden abgelehnt, bevor etwas berechnet wird. mindestens 1 Zeichen |
Preis
$0.012 / Ausgabesekunde
Abgerechnet pro Sekunde Ihres Audios, aufgerundet und mindestens 3 Sekunden. Das gelieferte Video kann etwa eine halbe Sekunde länger laufen; diese Zeit wird nicht berechnet.
Anwendungsfälle
Synchronisation ohne Nachdreh
Behalten Sie ein Interview, ein Kundenstatement oder eine Moderation und setzen Sie eine übersetzte Tonspur ein. Die Darstellung bleibt genau so, wie sie gefilmt wurde, und der Mund folgt nun der neuen Sprache statt der am Set aufgenommenen.
Stummen generierten Clips eine Stimme geben
Die meisten Videomodelle liefern stummes Material. Nehmen Sie einen Satz auf oder generieren Sie ihn, schicken Sie ihn mit dem Clip, und die Figur im Bild sagt ihn tatsächlich, statt die Lippen zufällig zu bewegen oder still zu bleiben.
Prompt-Leitfaden und Praxistipps
Material wählen, das den Mund zeigt
Eine Person, das Gesicht groß genug im Bild, überwiegend zur Kamera gedreht. Harte Schnitte, starke Bewegungsunschärfe, eine Hand nahe am Mund und sehr kleine Gesichter sind die Stellen, an denen die Synchronisation verrutscht. Eine ruhige Einstellung versteckt außerdem den Schleifenpunkt, wenn das Audio länger ist als der Clip.
Den Satz wie für eine Synchronfassung vorbereiten
Exportieren Sie trockene Sprache ohne Musik darunter und schneiden Sie Stille an beiden Enden weg, denn die abgerechnete Länge bestimmt das Audio. Halten Sie jede Datei zwischen drei und sechzig Sekunden und teilen Sie lange Skripte an natürlichen Pausen.
Die Wartezeit einplanen
Das ist das langsamste Werkzeug im Set: Ein Satz von zehn Sekunden brauchte rund vier Minuten. Schicken Sie früh ab, fragen Sie geduldig ab und testen Sie die Kombination an einem kurzen Satz, bevor Sie ein ganzes Skript senden.
API-Schnellstart
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "spicyapi/lip-sync-v1/lip-sync",
"input": {
"audio_url": "https://example.com/reference.mp3",
"video_url": "https://example.com/reference.mp4"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
Authentifizierung, vollständiges Schema, Polling und Fehlerbehandlung stehen in der API-Referenz.
