소개
최대 15분 녹화의 video_url을 제공하고 말소리 트랙의 언어를 고릅니다. 촬영 화면과 입술 움직임은 유지하고 오디오만 교체한 MP4 영상을 반환합니다. 자막은 포함되지 않습니다.
| 항목 | 값 |
|---|---|
| 입력 | 영상 |
| 출력 | 영상 |
| 개발사와 제품 | ElevenLabs — ElevenLabs Dubbing |
| 출시일 | 2023년 10월 10일 |
| 공개 오디오 API 이름 | elevenlabs/dubbing/audio-to-audio |
| 공개 영상 API 이름 | elevenlabs/dubbing/video-translate |
| 원본 길이 제한 | 15분; 더 긴 원본은 제출 시 거절 |
| 대상 언어 | 33개; |
| 원본 언어 | 57개 및 auto 감지 |
| 화자 수 | 1–32명; 자동 감지 시 |
| 배경음 | keep_background_audio로 음악과 주변음 유지 |
| 오디오 출력 관측 | MP3; 자체 오디오 테스트에서 4.50초, 44.1kHz 모노, 128kbps |
| 영상 출력 관측 | MP4; 자체 테스트에서 6.04초, 새 모노 AAC 오디오, 원본과 바이트 단위로 동일한 영상 스트림 |
| 과금 단위 | 원본 미디어의 초 수를 올림 |
핵심 기능 및 하이라이트
더빙 MP3 또는 번역 MP4
audio-to-audio는 녹음을 받아 더빙 MP3 오디오를 반환합니다. video-translate는 화면을 보존하고 음성 트랙을 교체한 MP4를 반환합니다. 둘 다 최대 15분 원본을 받으므로 필요한 결과 미디어에 따라 엔드포인트를 선택합니다.
대상 언어 33개와 화자 감지
대상 언어 33개와 원본 언어 57개 중 선택하거나 원본 자동 감지를 사용합니다. 출연자를 안다면 speaker_count를 1–32명으로 정하고 감지를 원하면 생략합니다. ElevenLabs는 더빙이 각 화자의 음성 특성을 번역된 말소리에 이어 준다고 설명합니다.
녹음의 배경음을 보존합니다
번역 녹음에 음악이나 주변음이 필요하면 keep_background_audio를 켭니다. 사용 전에 새 음성과의 균형을 검토합니다. 영상에서도 이 음향 선택은 촬영 화면을 바꾸거나 자막을 생성하지 않습니다.
자체 오디오 샘플 처리에 9.6초
자체 4.5초 영어·스페인어 오디오 테스트는 약 9.6초 처리 후 4.50초 MP3를 반환했습니다. 파일은 44.1kHz 모노, 128kbps였습니다. 별도의 6.04초 영상은 약 14.8초에 새 모노 AAC 트랙을 담은 MP4를 반환했으며 모두 샘플 관측입니다.
요청 파라미터
| 파라미터 | 필수 | 설명 |
|---|---|---|
video_url | 예 | 말소리 트랙을 번역할 최대 15분 영상을 제공합니다. 더 긴 원본은 제출 전에 나눕니다. 1자 이상 |
target_language | 아니요 | 더빙 음향 트랙에 사용할 대상 언어 33개 중 하나를 고릅니다. 기본값은 en이며 영어·스페인어 검토 클립에는 es를 사용합니다. |
source_language | 아니요 | auto로 말소리 언어를 감지하거나 원본 언어 57개 중 하나를 지정합니다. 시험 더빙에서 언어를 명시하려면 알고 있는 원본 언어를 선택합니다. |
speaker_count | 아니요 | 서로 다른 발화자의 수를 1–32명으로 넣거나 자동 감지를 위해 생략합니다. 화자가 바뀌는 지점마다 번역 음성을 확인합니다. |
keep_background_audio | 아니요 | 영상의 음악과 주변음을 새 대사 아래에 남기려면 켭니다. 소리에 관한 설정으로 화면이나 입술 움직임은 바뀌지 않습니다. 기본값: |
요금
$0.012 / 초
원본 클립의 초 수를 소수점 이하 올림해 과금하며 허용 원본은 최대 15분입니다. 언어와 화자 설정에 따른 요율 변화는 없고 작업 실패 시 청구하지 않습니다.
활용 사례
스페인어 팟캐스트 인터뷰
12분 영어 인터뷰를 audio_url로 제출하고 es를 고른 뒤 진행자와 게스트에 맞게 speaker_count를 2로 설정합니다. 오디오 엔드포인트가 반환한 번역 MP3를 검토해 스페인어판에 넣습니다.
고객 소식의 영어 음성판
번역에 동의한 동료가 녹음한 45초 음성 메모를 제공하고 대상을 en으로 지정합니다. 더빙 MP3를 받아 소식을 공유하기 전에 검토합니다.
화면과 함께 보는 강의
6분 화면 녹화 강의를 video_url로 보내고 의도한 대상 언어를 선택합니다. MP4는 화면 시연을 유지하면서 말소리 트랙을 교체하며, 필요하면 자막을 따로 만듭니다.
음악이 있는 오디오 광고
권한이 있는 30초 광고 녹음에 keep_background_audio를 켭니다. 번역된 음성 아래 기존 음악이나 주변음을 유지한 MP3가 출력됩니다.
다른 시장용 제품 시연
90초 제품 사용 영상을 영상 입력으로 제공하고 지원 대상 언어를 고릅니다. 같은 화면과 더빙 음성이 담긴 MP4를 받아 출시 전 언어 검토에 사용할 수 있습니다.
프롬프트 가이드 및 실전 팁
허락된 녹음을 준비합니다
본인 녹음이나 더빙에 동의한 화자의 자료로 15분 이내 오디오 또는 영상을 고릅니다. 말소리와 음악에 대한 사용 권리를 확인합니다.
언어와 화자를 정합니다
대상 언어 33개 중 선택하고 원본은 자동 감지 또는 언어 57개 중 하나로 지정합니다. 알고 있다면 speaker_count를 1–32명으로 넣고 배경 음향 유지 여부를 정합니다.
더빙 요청을 제출합니다
Bearer 인증과 {"model":"elevenlabs/dubbing/audio-to-audio","input":{"
audio_url":"https://example.com/narration.mp3","target_language":"es"}} 같은 JSON으로 POST https://api.spicyapi.ai/api/v1/jobs/createTask를 보냅니다. 영상은 elevenlabs/dubbing/video-translate를 선택하고 video_url을 대신 제공합니다.미디어를 받아 검토합니다
state가 succeeded가 될 때까지 GET /api/v1/jobs/recordInfo?taskId=로 읽은 뒤 반환 자산을 다운로드합니다. 번역된 말소리와 화자 전환을 확인합니다. 영상 더빙의 입술 움직임은 촬영 당시 그대로입니다.
영상 번역용 ElevenLabs Dubbing API
ElevenLabs Dubbing API는 영상의 말소리 트랙을 번역 음성으로 교체하고 원본 화면을 담은 MP4를 반환합니다. 최대 15분 제품 안내, 녹화 강의, 내레이션 클립에서 촬영 화면을 유지하려면 이 엔드포인트를 선택합니다.
ElevenLabs는 더빙 도구가 언어가 달라져도 화자의 음성 특성을 유지한다고 설명합니다. 이 영상 처리 방식은 입을 움직이거나 자막을 생성하지 않으므로 해당 납품 요건은 별도로 계획합니다.
번역 영상 작업 생성
공개 모델 이름으로 elevenlabs/dubbing/video-translate를 쓰고 video_url에 원본을 넣습니다. Authorization: Bearer <SPICY_API_KEY>와 Content-Type: application/json 헤더를 추가해 아래 JSON을 https://api.spicyapi.ai/api/v1/jobs/createTask로 POST합니다.
{
"model": "elevenlabs/dubbing/video-translate",
"input": {
"video_url": "https://example.com/english-product-demo.mp4",
"target_language": "es",
"source_language": "en",
"speaker_count": 1,
"keep_background_audio": true
}
}
이 예제는 배경음을 유지하면서 발표자 1명의 영어 발화를 스페인어로 번역합니다. 더빙할 허락을 받은 영상으로 바꾸고 자동 감지를 원하면 speaker_count를 제거합니다.
MP4 자산 가져오기
성공 작업은 번역 영상을 작업 결과의 MP4 자산으로 반환합니다. 반환 작업 식별자와 인증 정보로 GET /api/v1/jobs/recordInfo?taskId=<taskId>를 조회하고 다운로드 URL을 쓰기 전에 succeeded인지 확인합니다.
{
"code": 200,
"data": {
"taskId": "<taskId>",
"state": "succeeded",
"output": {
"assets": [
{
"url": "https://example.com/spanish-product-demo.mp4",
"mime": "video/mp4"
}
]
}
}
}
축약 응답의 URL은 예시입니다. 다운로드한 MP4의 음성과 화면을 함께 확인합니다.
영상 입력과 언어 선택
영상 엔드포인트는 원본 하나에 아래 언어, 화자, 배경음 설정을 받습니다.
| 필드 | 지원 설정 | 이 요청에 미치는 효과 |
|---|---|---|
video_url | 최대 15분 영상 원본 | 화면과 말소리 트랙을 제공합니다 |
target_language | 대상 33개; 기본값 en | 번역 음성의 언어를 정합니다 |
source_language | 원본 57개 또는 auto | 말소리 언어를 지정하거나 감지합니다 |
speaker_count | 정수 1–32 또는 생략 | 아는 화자 수를 제공하거나 감지합니다 |
keep_background_audio | 음악과 주변음 유지 | 번역 음성 아래 배경 소리를 남깁니다 |
15분을 넘는 원본은 제출 때 거절됩니다. 더 긴 교육 녹화는 강의 경계에서 나누고 검토와 후속 편집을 위해 구간을 정리해 둡니다.
화면 보존과 작업 흐름 선택
이 엔드포인트는 화면을 유지하고 음향 트랙을 바꾸며 립싱크 변경이나 자막 출력은 없습니다. 얼굴을 촬영한 영상에서는 중요한 차이입니다. 다른 언어로 말해도 보이는 입은 촬영 당시의 움직임을 이어 갑니다.
| 작업 흐름 | 입력과 출력 | 선택 이유 |
|---|---|---|
| ElevenLabs Dubbing audio-to-audio | 오디오를 더빙 MP3로 변환 | 팟캐스트, 내레이션, 음성 메모 |
| ElevenLabs Dubbing video-translate | 영상을 더빙 MP4로 변환 | 화면을 유지한 번역 음성 |
| HeyGen Video Translate | 입 모양 변경을 포함한 영상 번역 | 입술 움직임 변경이 필요한 결과물 |
| Video Translator V1 | 영상 번역 | 영상 원본에 대한 다른 선택지 |
자체 ElevenLabs 테스트에서 이 대안들을 측정하지는 않았습니다.
영상 더빙 요금
과금 단위는 원본 영상의 1초이며 소수점 이하는 올림합니다. 작업 사용료를 추정할 때 이 페이지의 표시 요율과 원본 클립 길이를 확인합니다.
미리보기로 전체 강의를 보내기 전에 언어와 화자 전환을 평가할 수 있습니다. 이 처리 시간이 더 긴 원본의 대기 시간을 예측하지는 않습니다.
자체 영상 테스트에서 확인한 사실
자체 6.04초 영어 영상은 약 14.8초 처리 후 6.04초 MP4로 반환됐습니다. 결과에는 새 모노 AAC 오디오 트랙이 있었고 영상 스트림은 원본과 바이트 단위로 같았습니다.
이 바이트 비교는 테스트 클립의 화면 보존을 뒷받침합니다. 여러 언어의 번역 정확도나 긴 영상의 처리 시간을 측정하지 않으며 입 모양이 바뀌었다는 증거도 아닙니다.
준비, 검토, 문제 해결
더빙 클립을 게시하기 전에 번역 음성을 원본 의미와 화면 맥락에 대조합니다. 예를 들어 제품 강의는 언어가 바뀌어도 의도한 기능명과 지시를 유지해야 합니다.
- 녹음된 화자의 동의와 영상, 말소리, 음악에 대한 권리를 확인합니다.
- 평가할 화자 전환이나 용어가 담긴 대표 구간을 고릅니다.
- 대상 언어와 알고 있는 원본 언어를 지정하거나 원본 감지를 사용합니다.
- 아는 화자 수를 정하고 기존 주변음을 더빙에 남길지 판단합니다.
- 완성 MP4를 보며 말의 의미, 배경음 균형, 그대로인 입술 움직임을 점검합니다.
영상이 너무 길거나 화자 수가 1–32 범위 밖이면 다음 제출 전에 수정해야 합니다. 작업이 실패하면 다운로드에 완성 더빙이 있다고 가정하지 말고 작업 오류 내용과 입력을 확인합니다.
독립 MP3가 결과물 요건이라면 오디오 엔드포인트를 사용합니다. 자막은 별도 제작 계획을 두고 번역된 음성으로 실제 인물을 사칭하지 않습니다.
API 빠른 시작
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "elevenlabs/dubbing/video-translate",
"input": {
"source_language": "auto",
"target_language": "en",
"video_url": "https://example.com/reference.mp4"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
인증, 전체 스키마, 폴링과 오류 처리는 API 레퍼런스에서 확인하세요.




