소개
Lite 또는 Basic을 사용해 기존 영상의 입 움직임을 깨끗한 교체 음성 트랙에 맞춥니다. 녹음이 목표 결과 길이를 결정하며 모드에 따라 장면 감지 또는 Lite의 소음 제거·반복 재생을 설정합니다.
| 항목 | 값 |
|---|---|
| 입력 | 영상 오디오 |
| 출력 | 영상 |
| 서비스 개발사 | ByteDance Lip Sync |
| 엔드포인트 식별자 | bytedance/lip-sync/lip-sync |
| 지원 영상 | MOV / MP4 / MKV; 360p–1080p, 24–60fps, 1–30Mbps |
| 지원 음성 | MP3 / WAV / AAC / M4A / OGG 형식, 용량 상한 10MB |
| 모드 / 오디오 제한 | Lite는 1초 초과·240초 이하; Basic은 1초 초과·210초 이하 |
| Basic 설정 |
|
| Lite 설정 기본값 | 소음 제거: false / 반복: true / 역방향: false / 시작 위치: 0초 |
| 제공 영상 | MP4, 25fps; 목표 길이는 음성을 따름 |
| 과금 기준 | 입력 오디오 길이를 정수 초로 올림; 두 모드 동일 단가 |
핵심 기능 및 하이라이트
짧아진 대사에 맞춰 감상실 장면 자르기
테스트에서는 6.04초 레코드숍 촬영본에 5.2초 녹음을 넣어 Lite 모드로 처리했습니다. 결과는 5.20초에서 끝났으며, 여성의 입 움직임은 교체한 대사를 따랐습니다. 편집본이 끝나는 시점은 오디오가 결정했습니다.
장면에 필요한 설정 선택하기
Basic은 단일 화자 영상의 컷 경계와 화자를 파악하는 scene_detection을 제공합니다. Lite에서는 배경 소음 제거, 반복 재생, 역방향 반복 재생, 원본 시작 위치를 설정합니다. 모드와 맞지 않는 조합은 처리 시작 전 요청 접수 단계에서 거절합니다.
촬영본을 반복해 대사 길이 채우기
Lite 제어 테스트에서는 loop_video, loop_reverse, 1로 설정한 video_start_seconds와 배경 소음 제거를 함께 사용했습니다. 5.04초 원본으로 6.5초 녹음을 채워 6.52초 영상을 받았습니다. 실제 편집본에서 반복 동작과 방향 전환을 확인합니다.
초당 25프레임으로 화면 확인하기
감상실 결과 영상은 864×496, 25fps로 측정됐습니다. 여성은 짙은 재킷 안에 버건디색 새틴 캐미솔을 입고 짧은 검은색 픽시컷을 하고 있습니다. 이 샘플은 기존 영상의 대사 타이밍을 바꾼 사례이며, 화면 크기는 해당 결과에서 측정한 값입니다.
요청 파라미터
| 파라미터 | 필수 | 설명 |
|---|---|---|
video_url | 예 | Lite와 Basic에서 모두 필수이며 기본값은 없습니다. MOV, MP4, MKV 형식의 360p–1080p, 24–60fps, 1–30Mbps 영상을 제공합니다. 1자 이상 |
audio_url | 예 | 두 모드에서 필수이며 기본값은 없습니다. MP3, WAV, AAC, M4A, OGG 형식의 깨끗한 사람 음성을 최대 10MB까지 받습니다. 1자 이상 |
generation_mode | 아니요 | lite 또는 basic을 받는 선택 항목이며 기본값은 lite입니다. Lite는 정면의 단일 화자 영상, Basic은 복잡한 단일 화자 장면을 대상으로 합니다. |
remove_background_noise | 아니요 | Lite의 선택적 불리언이며 기본값은 false입니다. 입 움직임을 맞추기 전에 녹음에서 배경음을 분리합니다. 기본값: |
scene_detection | 아니요 | Basic의 선택적 불리언이며 기본값은 false입니다. 단일 화자 작업에서 장면 감지와 화자 인식을 켭니다. 기본값: |
loop_video | 아니요 | Lite의 선택적 불리언이며 기본값은 true입니다. 음성이 영상보다 길면 촬영본을 반복해 채웁니다. 기본값: |
loop_reverse | 아니요 | Lite의 선택적 불리언이며 기본값은 false입니다. loop_video를 활성화한 경우에 적용할 수 있습니다. 기본값: |
video_start_seconds | 아니요 | Lite에서 선택하는 원본 위치 숫자이며 기본값은 0초입니다. 제공한 영상 안에서 시작 지점을 고르고 Basic에서는 이 필드를 제외합니다. |
요금
$0.048 / 초
과금 길이는 업로드한 오디오를 정수 초로 올림한 값입니다. 오디오는 1초를 초과해야 하며 Lite는 최대 240초, Basic은 최대 210초입니다. 두 모드의 단가는 같으며 영상 길이와 호환되는 선택 설정으로 단가가 바뀌지 않습니다. 서버 사용 중 응답에는 과금하지 않고 자동으로 재시도합니다.
활용 사례
감상실 초대 대사 교체하기
사용 허가를 받은 대사를 수정할 때 레코드숍 예시의 타이밍을 참고합니다. 더 짧은 교체 녹음을 사용하면 입이 새 대사를 말하는 동안 필요 없는 끝부분을 잘라낼 수 있습니다.
정면 발표 영상 더빙하기
발표자 1명이 카메라를 바라보는 영상에는 Lite를 선택합니다. 번역하거나 수정한 대사를 별도로 녹음한 다음 원본 영상과 함께 제출해 입 움직임을 맞춥니다.
컷이 있는 단일 화자 시퀀스 처리하기
화자 1명의 클립에 장면 전환이 있으면 Basic을 선택하고 scene_detection을 켭니다. 비동기 작업이 완료되면 각 컷 전후의 동기화를 살펴봅니다.
짧은 영상으로 긴 내레이션 채우기
Lite는 음성이 영상보다 길 때 원본을 반복할 수 있습니다. 시작 시점을 정하고 재생 방향을 번갈아 바꾸는 방식을 검토한 뒤 반복 동작이 의도한 전달 방식에 어울리는지 확인합니다.
배경음이 있는 음성 트랙 준비하기
Lite 작업에서는 remove_background_noise가 입 움직임을 맞추기 전에 기준 음성에서 배경음을 분리합니다. 원본 녹음을 듣고 결과 음성을 검토합니다. Basic 요청에서는 이 설정을 제외해야 합니다.
프롬프트 가이드 및 실전 팁
미디어 쌍 구성하기
지원하는 영상 URL과 깨끗한 음성 URL을 제공합니다. 오디오가 선택한 모드의 파일 크기와 길이 제한에 맞는지 확인합니다.
모드에 맞는 필드 사용하기
generation_mode를 지정하거나 기본값 Lite를 사용한 뒤 호환되는 설정을 넣습니다. 작업을 제출하고 상태 조회용 식별자를 기록합니다.
완성된 편집본 받기
폴링이나 콜백으로 완료를 확인하고 MP4를 검토한 뒤 14일 후 삭제되기 전에 파일을 저장합니다.
ByteDance Lip Sync: 장면 모드 선택하기
ByteDance Lip Sync는 ByteDance 영상 번역 도구에 포함된 영상 립싱크 서비스입니다. 화자 1명이 등장하는 기존 영상에 별도로 녹음한 사람 음성을 연결해 입 움직임을 바꿉니다. 결과 MP4는 녹음에 맞춘 길이와 25fps 프레임 레이트로 제공됩니다. 원본이 길면 남는 부분을 자르고 짧으면 긴 대사를 채우도록 반복합니다.
화자 1명을 정면에서 촬영한 영상은 lite로 처리합니다. 복잡한 단일 화자 장면에는 basic을 선택하고 필요에 따라 장면 감지와 화자 인식을 사용합니다. 두 장면 모드는 같은 단가를 적용합니다. 이 엔드포인트는 목소리를 복제하지 않으며 업로드한 오디오를 음성 트랙으로 사용합니다.
파라미터와 사용 가능한 설정
요청 모델은 bytedance/lip-sync/lip-sync를 사용합니다. URL 2개는 모두 필수입니다. 선택 설정은 지정한 모드와 호환돼야 하며 맞지 않는 조합은 생성이 시작되기 전 접수 단계에서 거절합니다.
| 공개 필드 | 값 또는 기본값 | 적용 모드 및 효과 |
|---|---|---|
video_url | URL 필수 입력; 기본값 없음 | 두 모드: MOV, MP4, MKV 형식이며 360p–1080p, 24–60fps, 1–30Mbps를 받습니다. 권장 코덱은 H.264입니다. |
audio_url | 필수 URL; 기본값 없음 | 공통: 깨끗한 MP3/WAV/AAC/M4A/OGG, 최대 10MB, 1초보다 길게; 상한 Lite 240초 / Basic 210초입니다. |
generation_mode | lite 또는 basic; 기본값 lite | 오디오 초당 단가를 바꾸지 않고 장면 모드를 선택합니다. |
remove_background_noise | 불리언; 기본값 false | Lite: 입 움직임을 생성하기 전에 배경음을 분리합니다. Basic에서는 제외합니다. |
scene_detection | 불리언; 기본값 false | Basic: 장면을 감지하고 화자를 식별합니다. Lite에서는 제외합니다. |
loop_video | 불리언; 기본값 true | Lite: 더 긴 녹음을 채우도록 화면을 반복합니다. Basic에서는 제외합니다. |
loop_reverse | 불리언; 기본값 false | 반복 재생을 켠 Lite: 정방향과 역방향 재생을 번갈아 적용합니다. Basic에서는 제외합니다. |
video_start_seconds | 숫자; 기본값 0 | Lite: 원본의 지정한 초 위치에서 화면 재생을 시작합니다. Basic에서는 제외합니다. |
공개 필드에는 prompt나 resolution 선택 항목이 없습니다. 말할 내용은 녹음으로 제공합니다. 1080p 초과 영상은 1080p로 축소하고 360p 미만 영상은 거절합니다.
녹음 길이에 따른 요금
입력 오디오 길이를 초 단위로 측정해 다음 정수 초로 올림합니다. Lite와 Basic의 초당 단가는 같으며 지원 설정이나 원본 영상 길이를 바꿔도 이 기준은 유지됩니다. 현재 가격은 ByteDance Lip Sync 모델 요금을 확인합니다.
레코드숍 예시의 5.2초 녹음은 6초로 과금합니다. 영상을 줄여도 오디오 기준 과금 수량은 줄어들지 않습니다. 제출 전에 불필요한 무음이나 사용하지 않을 대사를 잘라내되 녹음 길이는 1초를 초과하고 선택한 모드의 상한 이내여야 합니다.
호환되는 입력 쌍 준비하기
영상에 화자 1명이 뚜렷하게 보이는지 살펴보고 파일 형식, 해상도, 프레임 레이트, 비트레이트를 확인합니다. Lite를 사용할 때는 카메라를 정면으로 바라보는 촬영본을 준비합니다. 컷 분석이 필요한 복잡한 장면은 Basic을 선택하고 적절한 경우 scene_detection을 켭니다.
업로드하기 전에 별도 음성 녹음을 들어봅니다. 번역할 대사와 녹음은 미리 완성합니다. Lite는 remove_background_noise로 배경음을 분리할 수 있으며 Basic은 이 설정을 받지 않습니다. Basic을 선택하면 Lite 요청에서 복사한 값까지 포함해 loop_video, loop_reverse, video_start_seconds도 제외합니다.
두 입력의 길이를 비교합니다. 목표 편집 길이는 녹음이 정합니다. Lite에서 loop_video로 영상 반복을 설정하고 loop_reverse로 방향을 번갈아 바꾸며 video_start_seconds로 원본 시작 지점을 고릅니다. 결과를 받은 뒤 같은 몸짓이 되풀이되는 구간을 살펴봅니다.
테스트에서 확인한 결과
레코드숍 샘플은 6.04초의 864×496 영상과 5.2초 대사를 Lite로 처리했으며 배경 소음 제거는 껐습니다. 감상실의 여성은 바뀐 입 움직임으로 교체 대사를 말했습니다. 결과는 5.20초, 864×496, 25fps로 측정돼 녹음에 맞춰 영상이 잘린 것을 확인했습니다.
장면 감지를 사용한 별도의 Basic 실행에서는 6.04초 원본에 5.2초 음성을 연결해 5.28초 영상을 받았습니다. 또 다른 Lite 실행에서는 반복 재생, 역방향 반복, 소음 제거와 원본 시작 위치 1초를 설정했습니다. 5.04초 영상으로 6.5초 음성을 채워 6.52초 결과가 나왔습니다. 이 실행들에서는 녹음 길이와 실측 결과 길이에 작은 차이가 있었습니다.
배경 소음 제거를 넣은 Basic 요청은 테스트에서 3번 실패했습니다. Lite는 이 옵션을 정상 처리했으므로 공개 호환 규칙에서는 Lite 전용으로 제한합니다. 이 관찰은 모드별 필드를 나누는 근거이며 모든 입력의 결과를 보장하지 않습니다.
완료 확인, 대기 및 파일 제한
제출하면 비동기 작업이 생성되고 식별자를 반환합니다. 완료될 때까지 폴링하거나 콜백을 받은 뒤 완성된 MP4를 가져옵니다. 서비스에서 서버 사용 중 응답을 반환할 수 있으며 이 응답에는 요금을 부과하지 않고 자동으로 재시도합니다. 요청이 몰리면 대기 시간이 늘 수 있으므로 작업 접수는 완료를 뜻하지 않습니다.
사용 권한을 확보한 영상, 얼굴, 음성 녹음을 사용해야 하며 등장하는 모든 사람은 성인이어야 합니다. 타인을 사칭해서는 안 됩니다. 생성 파일은 14일 후 삭제하므로 보관할 편집본은 다운로드해 둡니다.
관련 영상 립싱크 모델 비교하기
Sync Lipsync 2는 길이 정렬 모드 5개를 제공하며 원본 영상 길이를 초 단위로 과금합니다. 이 타이밍 설정이 편집에 적합하다면 서로 다른 과금 기준도 고려해 검토합니다. 다른 관련 모델로는 VEED Lipsync 2.0과 Lip Sync가 있습니다. 사용 허가를 받은 영상과 녹음이 각 엔드포인트의 입력 요건에 맞는지 확인합니다.
API 빠른 시작
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "bytedance/lip-sync/lip-sync",
"input": {
"audio_url": "https://example.com/reference.mp3",
"generation_mode": "lite",
"video_url": "https://example.com/reference.mp4"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
인증, 전체 스키마, 폴링과 오류 처리는 API 레퍼런스에서 확인하세요.
