본문으로 건너뛰기

ByteDance Lip Sync는 ByteDance 영상 번역 도구에 포함된 영상 립싱크 서비스입니다. 정면의 단일 화자 영상에는 Lite, 복잡한 단일 화자 장면에는 Basic을 사용합니다. 음성 타이밍을 따르는 25fps MP4를 반환합니다.

최저가 $0.048/초

플레이그라운드

입력

립싱크
1/1

영상을 끌어다 놓거나 파일을 직접 선택하세요 · 파일 1개 · 개당 최대 90 MB · MP4 · WEBM

  • 1
파일 1 / 1개
Lite와 Basic에서 모두 필수이며 기본값은 없습니다. MOV, MP4, MKV 형식의 360p–1080p, 24–60fps, 1–30Mbps 영상을 제공합니다. H.264를 권장합니다. 1080p 초과 영상은 1080p로 축소하고 360p 미만 입력은 거절합니다. 청구할 초 수는 해당 영상의 재생 시간으로 계산하지 않습니다. 1자 이상
요금에 영향1/1
파일 1 / 1개
두 모드에서 필수이며 기본값은 없습니다. MP3, WAV, AAC, M4A, OGG 형식의 깨끗한 사람 음성을 최대 10MB까지 받습니다. 길이는 1초를 초과하고 Lite는 240초, Basic은 210초 이내여야 합니다. 이 길이를 올림해 과금 초 수를 계산하며 목표 출력 길이도 이 녹음에 맞춥니다. 1자 이상
안전 검사꺼짐

SpicyAPI는 이 모델에 안전 검사를 적용하지 않습니다. 프롬프트와 소재는 작성한 그대로 모델에 전달되며, 결과는 모델 자체가 결정합니다.

제출과 가격 계산을 열기 전에 계정을 확인하고 있습니다.

출력

실행 대기
샘플 결과

관련 모델과 다음 단계

찾는 모델이 없나요?

BYTEDANCE · 영상 대사

장면에 맞는 모드와 음성 트랙을 선택하면 녹음 길이에 맞춰 편집합니다.

핵심 수치

Lite와 Basic 장면 설정
2개 모드
Lite는 정면의 단일 화자에 사용합니다. Basic은 복잡한 단일 화자 영상과 장면 감지를 지원합니다.
Lite 오디오 최대 길이
240초
오디오 상한은 Lite가 240초이며 Basic이 210초입니다. 어느 모드를 쓰든 오디오 길이는 1초보다 길어야 합니다.
결과 프레임 레이트
25fps
지원 범위 내에서 다른 프레임 레이트로 촬영한 영상을 제출해도 완성된 MP4는 25fps로 제공됩니다.
입력 영상 최대 해상도(최소 360p)
1080p
1080p를 초과하는 영상은 1080p로 축소하며, 360p 미만의 영상은 거절합니다.
오디오 길이를 초 단위로 과금
초당
업로드한 녹음 길이를 정수 초로 올림합니다. Lite와 Basic의 초당 단가는 같습니다.
Lite 반복 재생: 정방향 또는 역방향
2개 방향
loop_video와 loop_reverse를 함께 켜면 반복할 때마다 재생 방향이 바뀝니다.

결제하기 전에

모든 모드
  • 제출하는 얼굴, 영상, 목소리에 대한 사용 권한을 확보해야 합니다. 등장하는 모든 사람은 성인이어야 하며 타인 사칭은 금지합니다.
  • 생성 파일은 14일간 보관한 뒤 삭제합니다. 보관 기간이 끝나기 전에 완성된 결과를 다운로드합니다.
립싱크
  • 두 모드는 모두 단일 화자를 대상으로 합니다. Lite에는 정면 영상이 필요하며 Basic은 더 복잡한 장면과 선택적 장면 감지를 지원합니다.
  • 1초를 초과하고 10MB 이하인 깨끗한 사람 음성을 제출합니다. 오디오 최대 길이는 Lite에서 240초, Basic에서 210초입니다.
  • 원본 영상은 360p–1080p, 24–60fps, 1–30Mbps를 사용합니다. 더 높은 해상도는 1080p로 낮추며 360p 미만의 영상은 받지 않습니다.
  • Basic 전용 설정인 scene_detection은 다른 모드에서 제외합니다. 배경 소음 제거, 반복 재생, 역방향 반복 재생, 시작 위치 필드는 Lite 전용이므로 Basic 요청에서 제외합니다.

할 수 있는 일

레코드숍 편집

짧아진 대사에 맞춰 감상실 장면 자르기

테스트에서는 6.04초 레코드숍 촬영본에 5.2초 녹음을 넣어 Lite 모드로 처리했습니다. 결과는 5.20초에서 끝났으며, 여성의 입 움직임은 교체한 대사를 따랐습니다. 편집본이 끝나는 시점은 오디오가 결정했습니다.

모드별 제어

장면에 필요한 설정 선택하기

Basic은 단일 화자 영상의 컷 경계와 화자를 파악하는 scene_detection을 제공합니다. Lite에서는 배경 소음 제거, 반복 재생, 역방향 반복 재생, 원본 시작 위치를 설정합니다. 모드와 맞지 않는 조합은 처리 시작 전 요청 접수 단계에서 거절합니다.

더 긴 녹음

촬영본을 반복해 대사 길이 채우기

Lite 제어 테스트에서는 loop_video, loop_reverse, 1로 설정한 video_start_seconds와 배경 소음 제거를 함께 사용했습니다. 5.04초 원본으로 6.5초 녹음을 채워 6.52초 영상을 받았습니다. 실제 편집본에서 반복 동작과 방향 전환을 확인합니다.

출력 실측

초당 25프레임으로 화면 확인하기

감상실 결과 영상은 864×496, 25fps로 측정됐습니다. 여성은 짙은 재킷 안에 버건디색 새틴 캐미솔을 입고 짧은 검은색 픽시컷을 하고 있습니다. 이 샘플은 기존 영상의 대사 타이밍을 바꾼 사례이며, 화면 크기는 해당 결과에서 측정한 값입니다.

이럴 때 씁니다

  • 감상실 초대 대사 교체하기

    사용 허가를 받은 대사를 수정할 때 레코드숍 예시의 타이밍을 참고합니다. 더 짧은 교체 녹음을 사용하면 입이 새 대사를 말하는 동안 필요 없는 끝부분을 잘라낼 수 있습니다.

  • 정면 발표 영상 더빙하기

    발표자 1명이 카메라를 바라보는 영상에는 Lite를 선택합니다. 번역하거나 수정한 대사를 별도로 녹음한 다음 원본 영상과 함께 제출해 입 움직임을 맞춥니다.

  • 컷이 있는 단일 화자 시퀀스 처리하기

    화자 1명의 클립에 장면 전환이 있으면 Basic을 선택하고 scene_detection을 켭니다. 비동기 작업이 완료되면 각 컷 전후의 동기화를 살펴봅니다.

  • 짧은 영상으로 긴 내레이션 채우기

    Lite는 음성이 영상보다 길 때 원본을 반복할 수 있습니다. 시작 시점을 정하고 재생 방향을 번갈아 바꾸는 방식을 검토한 뒤 반복 동작이 의도한 전달 방식에 어울리는지 확인합니다.

  • 배경음이 있는 음성 트랙 준비하기

    Lite 작업에서는 remove_background_noise가 입 움직임을 맞추기 전에 기준 음성에서 배경음을 분리합니다. 원본 녹음을 듣고 결과 음성을 검토합니다. Basic 요청에서는 이 설정을 제외해야 합니다.

모델 레퍼런스

ByteDance Lip Sync API 레퍼런스

ByteDance Lip Sync API 사양

개발사 / 서비스
ByteDance 영상 번역 도구에 포함된 ByteDance Lip Sync
요청 모델
bytedance/lip-sync/lip-sync
기본 모드
generation_mode: lite; basic도 선택 가능
영상 파일
MOV / MP4 / MKV 형식; 권장 코덱 H.264
원본 화면
360p–1080p; 더 높은 입력은 1080p로 축소
원본 인코딩 범위
24–60fps; 1–30Mbps
음성 파일
최대 10MB의 MP3, WAV, AAC, M4A, OGG
음성 길이
1초보다 길게; 상한 Lite 240초 / Basic 210초
결과 길이 및 형식
녹음에 맞춘 길이의 MP4, 25fps
요금 계산
오디오 길이를 정수 초로 올림; Lite와 Basic 동일 단가
선택적 장면 분석
Basic의 scene_detection; 기본값 꺼짐
결과 보관 기간
14일 후 삭제

ByteDance Lip Sync API 호출 방법

  1. 원본 영상과 녹음 점검하기

    영상이 해상도, 프레임 레이트, 비트레이트 요건을 충족하는지 확인합니다. 지원하는 오디오 형식으로 깨끗한 음성을 준비한 뒤 길이와 파일 크기를 측정합니다.

  2. Lite 또는 Basic 선택하기

    정면의 단일 화자 영상은 Lite, 복잡한 단일 화자 장면은 Basic을 사용합니다. 선택 설정을 추가하기 전에 해당 모드의 오디오 최대 길이를 확인합니다.

  3. 호환되는 입력 조합 제출하기

    bytedance/lip-sync/lip-sync에 video_url과 audio_url을 제공하고 필요하면 generation_mode를 지정합니다. Basic 장면 감지 또는 필요한 Lite 설정을 추가한 뒤 반환된 작업 식별자를 저장합니다.

  4. 타이밍 검토 후 결과 저장하기

    작업 상태를 폴링하거나 완료 콜백을 받은 다음 MP4의 음성 동기화, 컷, 반복 구간을 확인합니다. 검토를 마친 편집본은 14일 이내에 다운로드합니다.

한 문단 요약

필요한 길이는 녹음으로 정하고 촬영본에 맞는 모드를 선택합니다. 레코드숍 편집에서는 6.04초 촬영본이 25fps의 5.20초 대사 영상으로 바뀌었습니다. 별도의 Lite 반복 테스트에서는 짧은 영상으로 더 긴 음성을 채웠습니다. Basic의 장면 분석과 Lite의 소음 제거·반복 설정을 구분해서 사용합니다. 어느 모드든 녹음 길이를 정수 초로 올림해 요금을 계산하므로 제출 전에 오디오를 측정합니다. 완료 후에는 대사, 컷 경계, 반복 동작을 확인하고 14일 보관 기간이 끝나기 전에 MP4를 다운로드합니다.

ByteDance Lip Sync API 자주 묻는 질문