소개
얼굴이 보이는 영상과 MP3 또는 WAV 녹음을 Lipsync 2에 제공해 대사를 교체합니다. 입력 길이가 다르면 sync_mode로 처리 방식을 고르고 비동기 작업 완료 후 MP4를 받습니다.
| 항목 | 값 |
|---|---|
| 입력 | 영상 오디오 |
| 출력 | 영상 |
| 배포 주체 / 등급 | Sync / 표준 Lipsync 2 |
| 입력 조건 | 필수 |
| 영상 길이 | 1–120초; 초과 영상은 접수 시 거부 |
| 새 대사 | MP3 또는 WAV 오디오 |
| 길이 선택 | 5가지 모드; 기본 |
| 과금 기준 | 제출 영상 길이를 정수 초로 올림 |
| 비동기 결과 | 작업 완료 후 MP4 수신 |
| 보관 기간 | 생성 미디어는 14일 후 삭제 |
핵심 기능 및 하이라이트
재단사가 더 긴 초대 인사를 마칩니다
작업실 예시는 5.04초 영상과 6.5초 대사로 시작했습니다. loop를 선택하자 원본 영상이 반복되는 동안 입이 녹음 전체를 전달하며 6.5초 결과가 나왔습니다. 화면은 864×496, 24fps였습니다.
미소와 눈썹 움직임이 이어집니다
대사를 바꾼 뒤에도 재단사의 작은 미소와 눈썹을 드는 표정이 결과에 남았습니다. Sync는 Lipsync 2가 해당 인물을 학습하지 않고 원본에서 발화 스타일을 파악한다고 설명합니다. 이 클립은 그 동작을 관찰한 사례로 참고하고 직접 사용한 화자의 표현도 확인합니다.
편집 목적에 맞게 끝을 조절합니다
cut_off는 짧은 입력에 맞춰 끝내고 silence는 짧은 녹음 뒤에 무음을 더하며 remap은 영상 재생 시간을 오디오에 맞춥니다. loop와 bounce는 반복 또는 재생 방향 교대로 짧은 영상을 늘립니다. 모두 같은 입력 영상 기준 과금 규칙을 적용합니다.
요청 파라미터
| 파라미터 | 필수 | 설명 |
|---|---|---|
video_url | 예 | 기존 영상의 필수 URL이며 기본값은 없습니다. 얼굴이 선명하고 길이가 1–120초여야 합니다. 1자 이상 |
audio_url | 예 | 교체 대사와 목소리가 담긴 MP3 또는 WAV 필수 URL이며 기본값은 없습니다. 어느 모드에서도 녹음이 영상 기준 요금을 바꾸지 않습니다. 1자 이상 |
sync_mode | 아니요 | 모든 요청에서 선택 사항이며 기본값은 cut_off입니다. cut_off는 짧은 입력 기준, loop는 영상 반복, bounce는 정방향·역방향, silence는 짧은 오디오에 무음 추가, remap은 영상을 오디오 길이에 맞춥니다. |
요금
$0.06 / 초
입력 영상은 1–120초이며 제출 길이를 정수 초로 올림해 과금합니다. 같은 영상에서는 오디오 길이나 sync_mode가 요금을 바꾸지 않습니다. 120초 초과 영상은 접수 시 거부됩니다.
활용 사례
영업 후 매장 초대
재단사 예시처럼 사용 허가를 받은 매장 영상에 더 긴 초대 녹음을 적용합니다. loop는 오디오가 끝날 때까지 영상을 반복할 수 있으므로 공유 전에 반복 시작점을 확인합니다.
발표 영상 번역
기존 발표 영상에 맞는 번역 대사를 MP3 또는 WAV로 준비합니다. Sync는 다른 언어에서도 발화 스타일을 유지할 수 있다고 설명합니다. 이 엔드포인트는 대사를 작성하거나 번역하지 않고 제공된 녹음에 입을 맞춥니다.
생성 캐릭터의 대사
Sync에 따르면 Lipsync 2는 실사뿐 아니라 애니메이션과 AI로 생성한 인물에도 사용할 수 있습니다. 기존 캐릭터 영상과 교체 음성을 준비한 뒤 두 입력에 맞는 길이 모드를 고릅니다.
강의 문장 수정
강사 영상을 수정할 문장 부분으로 자르고 대체 녹음을 준비합니다. cut_off로 결과가 더 짧아져도 요금은 영상 초 수로 정해지므로 원본을 필요한 구간으로 준비해야 합니다.
프롬프트 가이드 및 실전 팁
영상과 음성 URL 선택
얼굴이 선명한 1–120초 원본과 완성된 MP3 또는 WAV 대사를 준비합니다. 원본 길이가 과금 기준이므로 제출 전에 불필요한 영상을 제거합니다.
끝부분에 맞는
sync_mode설정video_url, audio_url과 선택 길이 모드로 sync/lipsync-2/lip-sync 작업을 만듭니다. 기본 cut_off는 짧은 입력에서 끝나므로 대사가 잘릴 상황이면 다른 지원 모드를 고릅니다.완료 추적과 재생 검토
반환된 작업 ID로 폴링이나 콜백을 통해 처리 상태를 확인합니다. 14일 안에 MP4를 저장하고 입 움직임과 마지막 프레임을 녹음과 비교합니다.
표준 등급 대사 교체
Sync의 Lipsync 2는 기존 촬영본의 입 움직임을 업로드한 녹음에 맞춥니다. Sync는 교체 대사가 다른 언어여도 원본에서 화자의 발화 스타일을 파악하는 제로샷 모델이라고 설명합니다. 화자 학습 단계는 필요하지 않습니다. 영상·오디오 작업에는 sync/lipsync-2/lip-sync를 사용하며 결과는 제공한 목소리가 담긴 MP4입니다.
이 엔드포인트는 3개 필드를 제공합니다. 글로 쓴 대본으로 음성을 제공할 수 없으며 장면을 지시하는 prompt 입력도 없습니다. 미디어 URL을 제출하기 전에 대사를 별도로 녹음하거나 음성으로 생성합니다.
파라미터와 사용 가능한 설정
| 필드 | 제출 내용 | 기본값과 과금 영향 |
|---|---|---|
video_url | 얼굴이 선명하게 보이는 1–120초 영상의 필수 URL입니다. | 기본값은 없으며 원본 영상 길이가 과금 초 수를 정합니다. 120초 초과 영상은 접수 시 거부됩니다. |
audio_url | MP3 또는 WAV 형식의 교체 대사 필수 URL입니다. | 기본값은 없으며 같은 영상에서는 오디오 길이를 바꿔도 요금이 같습니다. |
sync_mode | 선택 길이 규칙: cut_off, loop, bounce, silence, remap입니다. | 기본값은 cut_off이며 다른 모드를 골라도 요금은 변하지 않습니다. |
끝부분 처리 방식 선택
| 모드 | 길이 처리 |
|---|---|
cut_off | 두 입력 중 짧은 쪽이 끝나면 결과를 끝냅니다. |
loop | 더 긴 음성이 재생되는 동안 필요에 따라 영상을 처음부터 반복합니다. |
bounce | 정방향·역방향 순서를 반복해 긴 음성에 맞게 영상을 늘립니다. |
silence | 짧은 오디오 뒤에 무음을 추가해 남은 영상을 재생합니다. |
remap | 전체 영상 타임라인이 녹음 길이에 들어가도록 재생 속도를 바꿉니다. |
반복이 장면에 어울리면 loop를 고르고 결과에서 다시 시작하는 지점을 확인합니다. bounce에서는 역방향 움직임이 장면에 맞는지 봅니다. 영상 타임라인을 오디오에 맞추려면 remap을 사용하고 편집에 넣기 전에 재생 흐름을 확인합니다.
출력 길이와 요금
입력 영상 초 수를 다음 정수 초로 올림합니다. 지원 영상 범위는 1–120초입니다. 오디오 길이나 동기화 모드는 해당 원본의 과금 수량을 바꾸지 않습니다. 현재 초당 가격은 Sync Lipsync 2 모델 페이지에서 확인합니다.
cut_off 테스트에서는 5.4초 원본이 6초로 과금됐지만 결과는 4.56초였습니다. 긴 촬영본의 일부에만 녹음을 쓸 때는 제출 전에 영상을 자릅니다. 출력이 짧아지는 모드도 이미 제출한 원본 길이를 줄이지는 않습니다.
품질 확인용 자료 준비하기
필요한 영상 구간을 정확히 선택하고 길이를 확인합니다. 얼굴은 선명하게 보여야 합니다. Sync에 따르면 lipsync-2는 원본에 자연스러운 발화 움직임이 필요하며 정지한 구간은 처리 후에도 말하는 움직임이 생기지 않을 수 있습니다. 이 배포 주체의 주의 사항은 실사 화자뿐 아니라 애니메이션·AI 생성 캐릭터를 평가할 때도 고려합니다.
MP3 또는 WAV 전체를 듣고 계획한 영상과 끝부분을 비교합니다. 목소리는 해당 파일에서 오며 영상 속 인물을 음성 복제하는 작업은 아닙니다. 사용 권한이 있는 얼굴·영상·녹음을 쓰고 등장하는 모든 인물이 성인인지 확인하며 사칭하지 않습니다.
제출부터 추적과 저장까지
필수 URL 2개와 선택한 sync_mode를 제출합니다. 생략하면 cut_off가 적용됩니다. 처리는 비동기이므로 작업 ID를 보관하고 완료를 폴링하거나 완료 콜백을 받습니다. 작업 접수는 요청 처리의 시작을 뜻하며 완료된 뒤 MP4를 받습니다.
새 대사를 들으며 입을 관찰하고 반복·역재생·재생 시간 조절이 적용된 구간을 확인합니다. 완성 파일은 14일 보관 기간 안에 다운로드합니다. 기간이 지나면 생성 파일이 삭제됩니다.
짧은 클립 테스트에서 확인한 결과
midnight-tailor-invitation 예시는 864×496의 5.04초 작업실 영상에 6.5초 초대 음성과 sync_mode: loop를 적용했습니다. 테스트에서 영상이 대사 길이만큼 반복돼 864×496, 24fps, 6.5초 MP4가 나왔습니다. 입이 새 대사를 말하는 동안 재단사의 작은 미소와 눈썹을 드는 표정도 남았습니다.
별도의 512×768 원본은 25fps, 5.4초였습니다. 4.55초 오디오와 cut_off를 적용한 MP4는 4.56초였고 해상도와 프레임률은 그대로였습니다. 이 짧은 테스트는 각 결과를 기록한 것이며 해상도 상한이나 처리 시간 보장은 아닙니다.
관련 립싱크 모델 선택하기
얼굴 세부 표현이 중요한 근접 장면에서는 Sync Lipsync 2 Pro를 평가합니다. Sync는 Pro를 더 정밀한 등급으로 소개합니다. Pro는 오디오 초 수로 과금하며 silence 모드가 없으므로 요청을 재사용하기 전에 해당 조건을 확인합니다.
Sync의 Lipsync 3, VEED Lipsync 2.0, Lip Sync v1의 조건도 살펴볼 수 있습니다. 요청 필드가 같다고 가정하지 말고 각 모델에 명시된 입력과 길이 처리 방식을 원하는 편집과 비교합니다.
API 빠른 시작
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "sync/lipsync-2/lip-sync",
"input": {
"audio_url": "https://example.com/reference.mp3",
"sync_mode": "cut_off",
"video_url": "https://example.com/reference.mp4"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
인증, 전체 스키마, 폴링과 오류 처리는 API 레퍼런스에서 확인하세요.


