소개
1–300초 얼굴 영상을 video_url로, 교체 음성을 audio_url로 전달합니다. 결과 MP4는 원본 화면 크기와 프레임 레이트를 유지하고 음성을 모노 AAC로 재인코딩합니다. 녹음이 짧으면 클립을 자르고, 길면 끝부분 프레임을 역재생해 연장합니다.
| 항목 | 값 |
|---|---|
| 입력 | 영상 오디오 |
| 출력 | 영상 |
| 모델 공개 주체 | sync. · lipsync-3, 다른 이름 sync-3 |
| 입력 조합 | video_url로 얼굴 영상, audio_url로 음성 전달 |
| 원본 허용 범위 | 1–300초 |
| 반환 미디어 | MP4, 원본 해상도와 프레임 레이트, 모노 AAC 오디오 |
| 타임라인 처리 | 음성 길이에 맞춰 자르거나 프레임을 역방향으로 연장 |
| 청구 기준 | 입력 영상 길이를 초 단위로 올림 |
| 관찰된 처리 시간 | 짧은 클립 2회 실행에서 약 76초와 173초 |
| 제외된 입력·설정 | 정지 이미지, 내장 TTS, |
핵심 기능 및 하이라이트
선택한 촬영본으로 작업 이어가기
얼굴은 원본 클립에서, 대사는 교체 녹음에서 가져옵니다. lipsync-3는 립싱크를 다시 맞춘 MP4를 반환합니다. 발표자의 수정 대사나 허가받은 강의 번역을 텍스트 프롬프트가 아닌 영상·음성 입력 쌍으로 전달합니다.
음성에 맞춰 끝부분 계획하기
6.48초 음성 트랙을 넣자 5.00초 원본의 끝부분 프레임이 역재생되면서 6.48초로 연장됐습니다. 역방향 동작이 대사 전달을 방해한다면 목표 장면 길이와 비슷한 오디오를 사용하고 편집에 넣기 전에 마지막 구간을 검토합니다.
화면 크기는 유지하고 믹스는 점검하기
측정한 클립 2개 모두 원본 해상도와 프레임 레이트를 유지했습니다. 각각 1280×720·24fps와 1358×680·25fps였습니다. 출력 음성은 모노 AAC이므로 화면 크기와 별개로 최종 오디오 믹스를 확인합니다.
복잡한 얼굴 움직임 검토하기
sync.는 모델 문서에서 sync-3가 장면 맥락을 활용하고 가림을 자동으로 처리한다고 설명합니다. 직접 사용할 영상에서 대표적인 고개 돌림이나 손이 얼굴을 가로지르는 장면을 시험합니다. 이번 2건의 실측은 길이와 처리 시간을 관찰한 것으로 해당 시각 상황의 품질 점수 비교는 아닙니다.
요청 파라미터
| 파라미터 | 필수 | 설명 |
|---|---|---|
video_url | 예 | 필수 얼굴 영상 URL입니다. 원본은 1–300초여야 하며 길이를 정수 초로 올림해 과금합니다. 1자 이상 |
audio_url | 예 | 교체 음성의 필수 URL입니다. 테스트에서는 WAV와 MP3를 사용했습니다. 1자 이상 |
요금
$0.162 / 초
1–300초 입력 영상의 길이를 정수 초로 올림해 초당 과금합니다. 오디오 길이는 요금에 영향을 주지 않습니다. 범위를 벗어난 클립은 청구 전에 거절하며 생성 실패에는 요금을 부과하지 않습니다.
활용 사례
녹화 강의의 언어 바꾸기
사용 허가를 받은 강사가 등장하는 lesson.mp4에 별도로 번역·녹음한 lesson.wav를 연결합니다. 입력 음성에 맞춰 입이 움직이는 MP4를 받으므로 립싱크 호출 전에 번역과 녹음을 마칩니다.
제품 발표 대사 수정하기
발표자의 원본 촬영본과 수정한 제품명 및 문장을 녹음한 WAV를 제출합니다. 새 대사에 맞춘 영상을 받은 뒤 편집본을 교체하기 전에 수정 구간을 확인합니다.
지역별 광고 버전 제작하기
시장별로 승인된 별도 내레이션 파일을 준비해 대변인 클립을 재사용합니다. 제출한 영상·오디오 쌍마다 립싱크를 다시 맞춘 MP4가 생성되며, 각 요청은 원본 영상 길이를 기준으로 과금합니다.
인터뷰 발췌본의 음성 교체하기
사용 허가를 확보한 인터뷰 발췌본에 교체할 MP3 음성 트랙을 연결합니다. 새 음성이 더 길면 원본 끝부분을 역재생해 오디오 길이를 채우므로 결과 MP4의 마지막 프레임을 살펴봅니다.
프롬프트 가이드 및 실전 팁
얼굴 영상을 고르고 자르기
입 모양이 잘 보이는 촬영본을 선택하고 업로드 전에 길이를 측정합니다. 제출할 클립을 1–300초로 맞추고 요금을 지불할 필요가 없는 구간을 제거합니다.
교체 음성 완성하기
대사를 오디오 파일로 준비합니다. 테스트에서는 WAV와 MP3를 사용했습니다. 영상 잘림이나 역방향 연장을 피하려면 원하는 편집 길이에 음성을 맞춥니다.
영상과 오디오 URL 제출하기
model을 sync/lipsync-3/lip-sync로 설정하고 input에 video_url과 audio_url을 넣어 POST /api/v1/jobs/createTask로 전송합니다. Bearer API 키를 포함하고 아래 요청 예시를 JSON 본문으로 사용합니다.
MP4를 받고 결과 확인하기
반환된 taskId를 저장하고 /api/v1/jobs/recordInfo?taskId=YOUR_TASK_ID를 조회해 완료 여부를 확인합니다. 완성 파일을 내려받아 자음 발음, 입 모양 전환, 끝부분을 음성 파일과 비교합니다.
기존 촬영본에 적용하는 Sync Lipsync 3 API
Sync Lipsync 3 API는 sync-3라고도 부르는 sync.의 lipsync-3로 얼굴 영상의 입 움직임을 교체 음성에 맞춥니다. sync/lipsync-3/lip-sync에 video_url과 audio_url을 보내면 원본 해상도와 프레임 레이트를 유지하고 모노 AAC 음성을 담은 MP4를 받습니다.
sync.는 모델 문서에서 이 모델이 넓은 장면 맥락을 활용하고 가림을 자동 감지한다고 설명합니다. 아래 테스트는 미디어 속성, 길이, 처리 시간을 측정합니다.
립싱크 요청 제출하기
input에 미디어 URL 2개를 넣고 공개 모델 이름을 지정해 작업을 생성합니다. 다음 예시를 request.json으로 저장하고 예시 URL을 교체합니다:
{
"model": "sync/lipsync-3/lip-sync",
"input": {
"video_url": "https://example.com/presenter.mp4",
"audio_url": "https://example.com/replacement.wav"
}
}
SpicyAPI 키로 해당 파일을 제출합니다:
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
--data-binary @request.json
data.taskId를 저장한 다음 동일한 인증으로 GET /api/v1/jobs/recordInfo?taskId=YOUR_TASK_ID를 조회합니다. 작업 상태를 확인해 완료 여부를 판단합니다.
응답 구조
완료된 작업은 data.output.assets에 영상을 제공합니다. 다음 발췌본은 다른 필드를 생략하고 예시 식별자와 URL을 사용합니다. 미디어 측정값은 WAV 테스트와 같습니다:
{
"code": 200,
"msg": "success",
"data": {
"taskId": "job_example",
"model": "sync/lipsync-3/lip-sync",
"state": "succeeded",
"output": {
"assets": [
{
"url": "https://example.com/dubbed-result.mp4",
"mime": "video/mp4",
"width": 1280,
"height": 720,
"durationSeconds": 4.58
}
]
}
}
}
파라미터와 사용 가능한 설정
이 엔드포인트는 원본 영상 URL과 음성 오디오 URL을 받습니다. 모델 개발사 전용 설정은 생략합니다.
| 필드 | 필수 여부 | 제어 대상 | 준비 사항 |
|---|---|---|---|
video_url | 필수 | 1–300초 얼굴 영상이며 해상도와 프레임 레이트의 기준 | 불필요한 구간을 자르고 입이 잘 보이는지 확인합니다. |
audio_url | 필수 | 새 음성과 최종 타임라인 길이 | 대사를 따로 준비합니다. 실측에는 WAV와 MP3를 사용했습니다. |
이 엔드포인트는 이미지 입력, 내장 TTS, sync_mode를 제공하지 않습니다. sync.의 자체 API 문서에는 추가 입력 흐름이 있지만 그 요청 예시가 여기서 받는 필드를 정의하지는 않습니다.
출력 길이와 요금
입력 영상의 초 수를 올림해 과금하며 현재 단가는 이 페이지의 표시 가격을 확인합니다. 반환 MP4가 원본보다 짧거나 길어져도 오디오 길이는 과금 수량을 바꾸지 않습니다. 범위를 벗어난 클립은 청구 전에 거절하며 생성 실패에는 요금을 부과하지 않습니다.
교체 녹음은 반환 영상의 길이를 결정합니다. 음성이 짧으면 클립이 잘리고, 길면 원본 끝부분의 프레임을 역재생해 연장합니다. 역방향 동작이 거슬린다면 음성을 장면 길이에 맞춥니다. 이 동작을 바꾸는 모드 설정은 제공하지 않습니다.
짧은 클립 테스트에서 확인한 결과
2026년 11월 13일 자료에는 짧은 클립 2건의 출력 길이와 처리 시간이 아래와 같이 기록돼 있습니다. 이 결과로 긴 영상의 성능이나 시각 품질 순위를 판단할 수는 없습니다.
| 원본 영상 | 음성 입력 | 반환 MP4 | 처리 시간 |
|---|---|---|---|
| 5.04초, 1280×720, 24fps | 4.55초 WAV | 4.58초, 1280×720, 24fps | 약 76초 |
| 5.00초, 1358×680, 25fps | 6.48초 MP3 | 6.48초, 1358×680, 25fps | 약 173초 |
두 실행 모두 원본 화면 크기와 프레임 레이트를 유지했고 출력 오디오는 모노 AAC였습니다. WAV 사례에서는 인코딩된 영상 길이가 오디오 길이와 조금 달라질 수 있음을 확인했습니다.
품질 확인용 자료 준비하기
실제 사용할 장면을 대표하는 발화 영상과 분리된 대사로 품질을 살펴봅니다. sync.는 문제 해결 안내에서 조명이 충분하고 얼굴이 잘 보이는 영상, 음악이나 화자 겹침이 없는 음성을 권장합니다.
- 영상과 목소리 모두 사용 허가를 받은 짧은 촬영본을 선택합니다.
- 교체 대사를 완성하고 영상과 길이를 비교합니다.
- 입이 닫히는 순간, 고개 돌림, 손이 입 주변을 가리는 장면을 검토합니다.
- 끝부분의 역방향 동작을 확인하고 모노 AAC 믹스를 들어봅니다.
강의 영상과 번역 녹음은 현지화용 입력이며, 발표자 촬영본과 수정한 제품 설명 문장은 대사 수정용 입력입니다. 엔드포인트를 호출하기 전에 번역과 음성을 준비합니다.
제한과 문제 해결
요청 실패를 조사하기 전에 원본 길이와 URL 필드 2개를 확인합니다. 영상 범위는 1–300초입니다. 모델 개발사의 요청을 그대로 복사하지 말고 sync_mode처럼 지원하지 않는 필드를 제거합니다. 미디어를 가져오지 못한다면 각 URL이 의도한 파일을 제공하고 처리 중에도 접근 가능한지 살펴봅니다.
결과가 예상보다 짧다면 먼저 입력 음성 길이를 확인합니다. 음성이 원본보다 길 때 끝부분에서 역방향 동작이 생기는 것은 문서에 명시된 연장 방식입니다. 타이밍을 분석할 때 원본 파일과 MP4를 함께 비교합니다.
lipsync-3와 관련 모델 선택하기
사용 허가를 받은 동일한 입력 쌍을 후보 모델별로 실행해 결과를 검토합니다.
| 선택지 | 검토할 상황 | 이 페이지의 근거 |
|---|---|---|
| lipsync-3 | 기존 얼굴 영상과 음성 활용 | 짧은 클립 2건의 실측 결과입니다. |
| lip-sync/v1 | SpicyAPI에서 비용을 낮춘 립싱크 검토 | 품질이나 지연 시간을 나란히 비교한 테스트는 없습니다. |
이미지 입력, 통합 TTS, 동기화 모드 선택이 필요한 작업에는 해당 기능을 별도로 명시한 API가 필요합니다. 권한이 있는 영상과 음성을 사용하고 음성 교체 결과로 실제 인물을 사칭하지 않아야 합니다.
API 빠른 시작
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "sync/lipsync-3/lip-sync",
"input": {
"audio_url": "https://example.com/reference.mp3",
"video_url": "https://example.com/reference.mp4"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
인증, 전체 스키마, 폴링과 오류 처리는 API 레퍼런스에서 확인하세요.


