Introducción
Ajusta el movimiento de la boca de un video a una pista de voz de reemplazo limpia con Lite o Basic. La grabación define la duración prevista del resultado; los controles de cada modo ofrecen detección de escenas o eliminación de ruido y bucles en Lite.
| Campo | Valor |
|---|---|
| Entrada | Video y Audio |
| Salida | Video |
| Desarrollador del servicio | ByteDance Lip Sync |
| Identificador del endpoint | bytedance/lip-sync/lip-sync |
| Video admitido | MOV / MP4 / MKV; 360p–1080p, 24–60 fps, 1–30 Mbps |
| Audio de voz admitido | MP3 / WAV / AAC / M4A / OGG, hasta 10 MB |
| Perfil / límite de audio | Lite: >1–240 s; Basic: >1–210 s |
| Control de Basic |
|
| Valores predeterminados de Lite | Eliminación de ruido false; bucle true; reversa false; inicio del original 0 s |
| Video entregado | MP4, 25 fps; duración prevista según la voz |
| Base de facturación | Segundos de audio de entrada redondeados hacia arriba; misma tarifa en ambos modos |
Funciones y aspectos destacados
Una frase más corta recorta la toma de la sala de escucha
En nuestras pruebas, la toma de la tienda de discos duraba 6,04 segundos antes de recibir una grabación de 5,2 segundos en modo Lite. El resultado terminó a los 5,20 segundos y la boca de la mujer siguió el nuevo diálogo. El audio fijó el cierre del montaje.
Elige los controles que necesita tu escena
Basic ofrece scene_detection para detectar cambios de plano y reconocer al hablante en videos de una sola persona. Lite dispone de eliminación de ruido de fondo, bucles, bucles en reversa y posición de inicio en el original. Las combinaciones incompatibles con el modo se rechazan al recibir la solicitud, antes de comenzar el procesamiento.
Repite una toma para completar el diálogo
Nuestra prueba de controles en Lite combinó loop_video, loop_reverse, video_start_seconds en 1 y eliminación de ruido de fondo. Un original de 5,04 segundos cubrió una grabación de 6,5 segundos y produjo 6,52 segundos de video. Revisa en tu montaje el movimiento repetido y los cambios de sentido.
Examina la imagen a 25 cuadros por segundo
El resultado de la sala de escucha midió 864×496 a 25 fps. La mujer lleva una blusa de satén color borgoña con tirantes bajo una chaqueta oscura y el cabello oscuro muy corto. Esta muestra ilustra el ajuste del diálogo en un video existente; las dimensiones corresponden a ese resultado concreto.
Parámetros de la solicitud
| Parámetro | Obligatorio | Descripción |
|---|---|---|
video_url | Sí | Obligatorio en Lite y Basic, sin valor predeterminado: proporciona MOV, MP4 o MKV de 360p–1080p, 24–60 fps y 1–30 Mbps. Se recomienda H.264. mínimo 1 caracteres |
audio_url | Sí | Obligatorio para ambos perfiles, sin valor predeterminado: voz humana limpia en MP3, WAV, AAC, M4A u OGG, hasta 10 MB. mínimo 1 caracteres |
generation_mode | No | Selector opcional que acepta lite o basic; predeterminado: lite. Lite trabaja con video frontal de una sola persona y Basic con escenas complejas de un único hablante. |
remove_background_noise | No | Booleano opcional de Lite; predeterminado: false. Separa el sonido de fondo de la grabación antes de sincronizar la boca. Valor predeterminado: |
scene_detection | No | Booleano opcional de Basic; predeterminado: false. Activa la detección de escenas y el reconocimiento del hablante en su flujo para una sola persona. Valor predeterminado: |
loop_video | No | Booleano opcional de Lite; predeterminado: true. Repite el video para cubrir una voz que dura más que la imagen. Valor predeterminado: |
loop_reverse | No | Booleano opcional de Lite; predeterminado: false. Tiene efecto con |
video_start_seconds | No | Posición numérica inicial opcional del original en Lite; predeterminado: 0 segundos. Elige un punto de inicio dentro del video proporcionado y omite el campo en Basic. |
Precios
$0.048 / segundo
Se cobra la duración del audio cargado, redondeada hacia arriba al segundo entero. El audio debe superar 1 segundo y durar hasta 240 segundos en Lite o 210 segundos en Basic. Ambos perfiles tienen la misma tarifa; la duración del video y los controles opcionales compatibles no la modifican. Las respuestas de servidor ocupado no se cobran y se reintentan automáticamente.
Casos de uso
Cambia una invitación en la sala de escucha
Toma el ejemplo de la tienda de discos como referencia temporal para una revisión autorizada del diálogo. Una grabación de reemplazo más corta puede eliminar el cierre sobrante mientras la boca pronuncia las nuevas palabras.
Dobla una toma frontal de un presentador
Usa Lite con un único presentador de frente a la cámara. Termina por separado la voz traducida o corregida y envíala junto con el video original para sincronizar la boca.
Procesa una secuencia con cortes y un solo hablante
Selecciona Basic y activa scene_detection si un clip de una sola persona contiene cambios de escena. Revisa la sincronización alrededor de cada corte cuando termine la tarea asíncrona.
Cubre una voz en off más larga con un video corto
Lite puede repetir el original cuando la voz dura más. Define el segundo de inicio y evalúa alternar el sentido de reproducción; después comprueba si la acción repetida encaja con el diálogo previsto.
Prepara una pista de voz con sonido de fondo
En una tarea de Lite, remove_background_noise separa el sonido de fondo de la voz que guía la sincronización antes de ajustar la boca. Escucha la grabación original y revisa la voz del resultado; en las solicitudes de Basic debes omitir ese control.
Guía de prompts y consejos prácticos
Prepara el par de archivos multimedia
Proporciona una URL de video admitido y una URL de voz limpia. Comprueba que el audio cumpla los límites de tamaño y duración del perfil elegido.
Usa los campos del perfil seleccionado
Define
generation_modeo utiliza Lite, su valor predeterminado; después incluye controles compatibles. Envía la tarea y guarda su identificador para consultar el estado.Recupera el montaje terminado
Confirma la finalización mediante consultas periódicas o una notificación, revisa el MP4 y guarda el archivo antes de que se elimine al cumplir 14 días.
ByteDance Lip Sync: elige un perfil de escena
ByteDance Lip Sync es el servicio de sincronización labial de video de ByteDance y forma parte de sus herramientas de traducción de video. Un video existente de una sola persona aporta la imagen; una grabación independiente de voz humana guía el nuevo movimiento de la boca. El MP4 entregado usa 25 fps y sigue la duración de la grabación: se recorta el material sobrante del original o se repite un video corto para cubrir una voz más larga.
Elige lite para tomas frontales de una sola persona. Selecciona basic para escenas complejas con un único hablante y, si lo necesitas, detección de escenas y reconocimiento del hablante. Estos perfiles de escena tienen la misma tarifa. El endpoint no clona voces: su pista de sonido procede del audio que cargues.
Parámetros y compatibilidad de perfiles
Usa bytedance/lip-sync/lip-sync como modelo de la solicitud. Las dos URL son obligatorias. Los controles opcionales deben ser compatibles con el perfil seleccionado; las combinaciones incompatibles se rechazan al recibir la solicitud, antes de iniciar la generación.
| Campo público | Valor o valor predeterminado | Perfil aplicable y efecto |
|---|---|---|
video_url | URL obligatoria; sin valor predeterminado | Ambos: MOV, MP4 o MKV; 360p–1080p, 24–60 fps, 1–30 Mbps; se recomienda H.264. |
audio_url | URL obligatoria; sin valor predeterminado | Ambos: MP3/WAV/AAC/M4A/OGG limpio, hasta 10 MB y más de 1 segundo; máximo de 240 segundos en Lite y 210 segundos en Basic. |
generation_mode | lite o basic; predeterminado: lite | Selecciona el perfil de escena sin cambiar la tarifa por segundo de audio. |
remove_background_noise | Booleano; predeterminado: false | Lite: separa el sonido de fondo antes de guiar la boca; omitir en Basic. |
scene_detection | Booleano; predeterminado: false | Basic: detecta escenas e identifica al hablante; omitir en Lite. |
loop_video | Booleano; predeterminado: true | Lite: repite la imagen para cubrir una grabación más larga; omitir en Basic. |
loop_reverse | Booleano; predeterminado: false | Lite con bucles activos: alterna reproducción normal y en reversa; omitir en Basic. |
video_start_seconds | Número; predeterminado: 0 | Lite: inicia la reproducción de la imagen en este segundo del original; omitir en Basic. |
Los campos públicos no incluyen prompt ni selector de resolución. Las palabras se proporcionan mediante la grabación. El video que supera 1080p se reduce a 1080p; se rechaza el material inferior a 360p.
El cobro depende de la grabación
Cuenta los segundos del audio de entrada y redondea hacia arriba al siguiente segundo entero. Lite y Basic comparten tarifa por segundo; ni los cambios en controles admitidos ni la duración del video original modifican esta base. Consulta la tarifa del modelo ByteDance Lip Sync para conocer el precio vigente.
La grabación de 5,2 segundos de la tienda de discos cuenta como 6 segundos facturables. Acortar su video no reduciría esa cantidad basada en el audio. Recorta los silencios o fragmentos de voz que no necesites antes del envío, manteniendo la grabación por encima de 1 segundo y dentro del límite del modo elegido.
Prepara un par de archivos compatible
Revisa que el video muestre claramente a una sola persona hablando y comprueba su formato de archivo, resolución, cuadros por segundo y tasa de bits. En Lite, usa tomas frontales. Para una escena compleja que requiera análisis de planos, elige Basic y activa scene_detection si corresponde.
Escucha la grabación de voz independiente antes de cargarla. Prepara de antemano cualquier traducción del diálogo y su grabación. Lite permite separar el sonido de fondo mediante remove_background_noise; Basic no acepta ese ajuste. Al seleccionar Basic, omite también loop_video, loop_reverse y video_start_seconds, incluidos los valores copiados de una solicitud de Lite.
Compara la duración de las dos entradas. La grabación define la duración prevista del montaje. En Lite, planifica las repeticiones con loop_video, añade loop_reverse para alternar el sentido y usa video_start_seconds para seleccionar el punto de inicio del original. Revisa los gestos repetidos cuando termine la tarea.
Observaciones de nuestras pruebas
La muestra de la tienda de discos combinó 6,04 segundos de video a 864×496 con una frase de 5,2 segundos en Lite, con la eliminación de ruido de fondo desactivada. La mujer de la sala de escucha pronunció las palabras nuevas mediante el movimiento ajustado de la boca. El resultado midió 5,20 segundos a 864×496 y 25 fps, lo que muestra el recorte a la duración de la grabación.
Otra ejecución en Basic con detección de escenas combinó un original de 6,04 segundos con 5,2 segundos de voz y entregó 5,28 segundos. En una prueba adicional de Lite se activaron los bucles, los bucles en reversa y la eliminación de ruido, con inicio del original en el segundo 1: un video de 5,04 segundos cubrió 6,5 segundos de voz y produjo 6,52 segundos. Estas ejecuciones mostraron pequeñas diferencias medidas respecto de la duración de la grabación.
En nuestras pruebas fallaron tres intentos en Basic con eliminación de ruido de fondo. Lite procesó esa opción correctamente, por lo que las reglas de compatibilidad disponibles la limitan a Lite. Estas observaciones explican la separación de campos sin prometer un resultado para cualquier entrada.
Finalización, espera y límites de archivos
El envío crea una tarea asíncrona y devuelve un identificador. Consulta periódicamente su estado o recibe una notificación de finalización; después recupera el MP4 terminado. El servicio puede responder que el servidor está ocupado; esas respuestas no generan cargos y se reintentan automáticamente. Los picos de tráfico pueden añadir espera, de modo que la aceptación de una tarea no confirma que esté terminada.
Usa videos, rostros y grabaciones de voz cuyos derechos de uso tengas; todas las personas que aparezcan deben ser adultas. Nunca suplantes a otra persona. Los archivos generados se eliminan después de 14 días: descarga una copia de los montajes terminados que necesites conservar.
Compara opciones relacionadas de sincronización labial de video
Sync Lipsync 2 ofrece cinco modos de ajuste de duración y cobra por los segundos del video original. Considéralo si esas opciones de tiempo encajan con tu montaje, teniendo en cuenta la diferencia en la base de cobro. VEED Lipsync 2.0 y Lip Sync son otras alternativas relacionadas. Evalúa tu propio video y grabación autorizados según las entradas que admite cada endpoint.
Inicio rápido de la API
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "bytedance/lip-sync/lip-sync",
"input": {
"audio_url": "https://example.com/reference.mp3",
"generation_mode": "lite",
"video_url": "https://example.com/reference.mp4"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
Consulta la referencia de la API para autenticación, el esquema completo, sondeo y gestión de errores.
