はじめに
最長 15 分の録画を video_url で指定し、話し声の翻訳先を選びます。撮影された映像と口元の動きを変えず、音声を差し替えた MP4 を返します。字幕は含まれません。
| 項目 | 値 |
|---|---|
| 入力 | 動画 |
| 出力 | 動画 |
| 開発元と製品 | ElevenLabs — ElevenLabs Dubbing |
| 公開日 | 2023 年 10 月 10 日 |
| 公開音声 API 名 | elevenlabs/dubbing/audio-to-audio |
| 公開動画 API 名 | elevenlabs/dubbing/video-translate |
| 素材の長さの上限 | 15 分、それ以上は送信時に拒否 |
| 翻訳先言語 | 33 言語、 |
| 翻訳元言語 | 57 言語と auto による自動検出 |
| 話者数 | 1〜32 人、 |
| 背景音 |
|
| 音声出力の実測 | MP3、音声テストで 4.50 秒、44.1 kHz、モノラル、128 kbps |
| 動画出力の実測 | MP4、6.04 秒、新しいモノラル AAC 音声、映像ストリームは元とバイト単位で一致 |
| 課金単位 | 元のメディアの秒数、端数は切り上げ |
主な機能とハイライト
MP3 の吹き替えか、翻訳音声付き MP4
audio-to-audio は録音から吹き替え MP3 を返します。video-translate は映像を保ち、音声トラックを差し替えた MP4 を返します。どちらも素材は最長 15 分で、受け取りたい形式に応じて選べます。
33 の翻訳先と話者の自動検出
翻訳先 33 言語、翻訳元 57 言語から選ぶか、元の言語を自動検出できます。登場する人数が分かるなら speaker_count を 1〜32 で指定し、不明なら省略してください。ElevenLabs は、各話者の声の特徴を翻訳音声へ引き継ぐと説明しています。
録音の音楽や環境音を残す
翻訳後も音楽や環境音が必要なら keep_background_audio を有効にします。結果を使う前に、新しい声との音量バランスを確認してください。動画でもこの設定で映像が変わったり字幕が作られたりすることはありません。
音声サンプルの処理時間は 9.6 秒
4.5 秒の英語をスペイン語に訳すテストは約 9.6 秒で処理され、4.50 秒、44.1 kHz、モノラル、128 kbps の MP3 が返りました。別の 6.04 秒の動画は約 14.8 秒かかり、新しいモノラル AAC を含む MP4 になりました。いずれもサンプルの観測です。
リクエストパラメーター
| パラメーター | 必須 | 説明 |
|---|---|---|
video_url | はい | 話し声を翻訳する動画を、長さ 15 分以内で指定します。長い動画は送信前に分割してください。 1 文字以上 |
target_language | いいえ | 吹き替え音声の言語を 33 の候補から選びます。既定は en です。 |
source_language | いいえ | auto で話されている言語を検出するか、57 の翻訳元言語から指定します。試しに吹き替える際も、言語が既知なら明示的に指定できます。 |
speaker_count | いいえ | 異なる話者の人数を 1〜32 で入れるか、省略して自動検出します。吹き替えた音声を、話者が変わる箇所ごとに点検してください。 |
keep_background_audio | いいえ | 動画の音楽や環境音を新しい会話の下に残す場合はオンにします。音に関する設定であり、映像や口の動きは変えません。 デフォルト値: |
料金
$0.012 / 秒
元の動画の秒数で課金し、小数の秒は切り上げます。受け付ける素材は 15 分以内です。言語や話者の設定は単価に影響せず、タスクが失敗した場合の課金はありません。
ユースケース
インタビューをスペイン語版にする
12 分の英語インタビューを audio_url で送り、es と、司会者・ゲストに合わせた speaker_count 2 を指定します。翻訳 MP3 を確認してからスペイン語版に組み込めます。
顧客向けの音声報告を英語にする
翻訳に同意した同僚が録った 45 秒のボイスメモを、翻訳先 en で送ります。吹き替えた MP3 を受け取り、報告を共有する前に内容を確認できます。
教材の画面を保って音声を訳す
6 分の画面収録の教材を video_url で送り、目的の翻訳先を指定します。説明画面を保ち、話し声を差し替えた MP4 が返ります。必要な字幕は別途作成してください。
音楽入りの音声広告を翻訳する
使用権のある 30 秒の広告録音を使い、keep_background_audio を有効にします。翻訳した声の下に音楽や環境音を残した MP3 が返ります。
別の市場向けに製品デモを用意する
90 秒の製品操作動画を入力し、対応する翻訳先言語を選びます。同じ映像に吹き替え音声を重ねた MP4 を取得し、公開前の言語チェックに回せます。
プロンプトガイドと実践のヒント
許可のある録音を用意する
自分の録音か、吹き替えに同意した話者の素材から、15 分以内の音声または動画を選びます。話し声と音楽を利用する権利を確認してください。
言語と話者を指定する
33 の翻訳先から選び、翻訳元は自動検出か 57 言語のいずれかにします。人数が分かる場合は
speaker_countを 1〜32 で指定し、元の背景音を残すか決めてください。吹き替えタスクを送信する
Bearer 認証を使い、POST https://api.spicyapi.ai/api/v1/jobs/createTask に {"model":"elevenlabs/dubbing/audio-to-audio","input":{"
audio_url":"https://example.com/narration.mp3","target_language":"es"}} などの JSON を送ります。動画なら elevenlabs/dubbing/video-translate とvideo_urlを使ってください。メディアを取得して点検する
GET /api/v1/jobs/recordInfo?taskId= を state が succeeded になるまで確認し、返ったアセットをダウンロードします。翻訳された話し声と話者の切り替わりを点検してください。動画の口元は元の動きが残ります。
動画の話し声を訳す ElevenLabs Dubbing API
ElevenLabs Dubbing API は、動画の話し声を翻訳音声に差し替え、元の映像を保った MP4 を返します。撮影した映像をそのまま使いたい、15 分以内の製品操作デモ、録画教材、ナレーション付き動画にこのエンドポイントを選べます。
ElevenLabs は吹き替えツールの紹介で、言語が変わっても話者の声の特徴を保つとしています。この動画処理は口元を動かしたり字幕を作ったりしないため、納品に必要な場合は別途計画してください。
翻訳動画のタスクを作る
公開モデル名には elevenlabs/dubbing/video-translate、素材の指定には video_url を使います。Authorization: Bearer <SPICY_API_KEY> と Content-Type: application/json のヘッダーを付け、次の JSON を https://api.spicyapi.ai/api/v1/jobs/createTask に POST してください。
{
"model": "elevenlabs/dubbing/video-translate",
"input": {
"video_url": "https://example.com/english-product-demo.mp4",
"target_language": "es",
"source_language": "en",
"speaker_count": 1,
"keep_background_audio": true
}
}
この例は、背景音を残して 1 人のプレゼンターの英語をスペイン語に訳します。吹き替える許可のある動画に差し替え、自動検出を使う場合は speaker_count を取り除いてください。
MP4 アセットを取得する
タスクが成功すると、翻訳済み動画の MP4 アセットを結果から取得できます。返ったタスク ID と認証情報で GET /api/v1/jobs/recordInfo?taskId=<taskId> を照会し、succeeded を確認してからダウンロード URL を使います。
{
"code": 200,
"data": {
"taskId": "<taskId>",
"state": "succeeded",
"output": {
"assets": [
{
"url": "https://example.com/spanish-product-demo.mp4",
"mime": "video/mp4"
}
]
}
}
}
省略したこのレスポンスの URL は仮の値です。ダウンロードした MP4 で、話し声と映像を一緒に確認してください。
動画入力と言語の選択
このエンドポイントは元動画 1 つと、以下の言語、話者、背景音の設定を受け付けます。
| フィールド | 対応する設定 | リクエストへの効果 |
|---|---|---|
video_url | 最長 15 分の動画素材 | 映像と話し声のトラックを提供します |
target_language | 翻訳先 33 言語、既定は en | 吹き替え音声の言語を決めます |
source_language | 翻訳元 57 言語または auto | 話されている言語を指定するか検出させます |
speaker_count | 整数 1〜32、または省略 | 既知の話者数を指定するか検出させます |
keep_background_audio | 音楽や環境音を保持 | 翻訳音声の下に背景音を残します |
15 分を超える素材は送信時に拒否されます。長い研修録画はレッスンごとに分割し、確認や後の結合のために各部分を整理してください。
映像の保持と処理の選択
このエンドポイントは映像を残して音声を変え、口の同期変更や字幕の出力は行いません。人物が話す動画では、別言語の声になっても画面の口元が元の動きのままになる点に注意して選んでください。
| 処理 | 入力と出力 | 選ぶ理由 |
|---|---|---|
| ElevenLabs Dubbing audio-to-audio | 音声から吹き替え MP3 | ポッドキャスト、ナレーション、ボイスメモ |
| ElevenLabs Dubbing video-translate | 動画から吹き替え MP4 | 映像を保って話し声を翻訳 |
| HeyGen Video Translate | 口の動きを伴う動画翻訳 | 口元の変更が必要な納品 |
| Video Translator V1 | 動画翻訳 | 動画素材に使える別の選択肢 |
これらの代替手段は、当方の ElevenLabs のテストでは計測していません。
動画吹き替えの課金
元動画の 1 秒が課金単位で、小数の秒は切り上げます。表示単価と素材の長さで、タスクの利用額を見積もってください。
全レッスンを送る前に、抜粋で言語や話者の切り替わりを評価できます。その処理時間から、長い素材での待ち時間は予測できません。
動画テストで確認できたこと
6.04 秒の英語動画から、約 14.8 秒の処理で 6.04 秒の MP4 が返りました。新しいモノラル AAC の音声トラックが含まれ、映像ストリームは元とバイト単位で一致しました。
このバイト比較は、試した動画で映像が保たれたことを裏付けます。言語全般の翻訳精度や長い動画の処理時間を計測したものでも、口の動きの変更を示すものでもありません。
準備・確認・問題への対応
公開する前に、翻訳音声を元の意味と映像の文脈に照らして確認してください。例えば製品教材では、話す言語が変わっても機能名や手順の意味が伝わる必要があります。
- 話者の同意とともに、映像、話し声、音楽の権利を確認します。
- 評価したい話者の交代や専門用語を含む、代表的な抜粋を選びます。
- 翻訳先を選び、既知の元言語を指定するか自動検出を使います。
- 人数が分かれば指定し、元の環境音を残すか決めます。
- 完成 MP4 を見て、訳の意味、背景音のバランス、元のままの口の動きを点検します。
長すぎる動画や 1〜32 の範囲外の話者数は、再送する前に直す必要があります。タスクが失敗したら、ダウンロード先に完成した吹き替えがあると思い込まず、エラーの詳細と入力を確認してください。
単独の MP3 が必要なら音声側のエンドポイントを使います。字幕は別の工程を用意し、翻訳した声を使って実在の人物になりすまさないでください。
API クイックスタート
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "elevenlabs/dubbing/video-translate",
"input": {
"source_language": "auto",
"target_language": "en",
"video_url": "https://example.com/reference.mp4"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
認証、完全なスキーマ、ポーリング、エラー処理は API リファレンスを参照してください。




