はじめに
このエンドポイントでできること
VEED Dubbing は video_url の音声を認識し、target_language に翻訳して、話者ごとに複製した声で吹き替えます。口元も描き直して新しい言葉に合わせます。各フレームのほかの部分はそのまま保ちます。
主な入力項目
target_language には 86 の基本言語のいずれかを指定します。source_language の既定値は auto です。自動検出で別の言語が選ばれる場合にだけ指定してください。keyterms には、指定した表記どおりに書き起こしてほしい名前や短いフレーズを最大 10 件指定できます。
返される動画
元のフレームサイズで、25 fps の MP4 ファイルを 1 本返します。長さは元の動画とほぼ同じです。当方のテストでは、4 秒の動画は約 80 秒、2 人が会話する 8 秒の動画は約 4 分で処理が完了しました。
| 項目 | 値 |
|---|---|
| 入力 | 動画 |
| 出力 | 動画 |
| 必須入力 | 話し声のある動画（アップロードまたはファイルへの直接リンク）と吹き替え先の言語 |
| 動画の長さ | 最大 10 分 |
| 吹き替え先 | 86 の基本言語 |
| 元の言語 | 自動検出、または 86 言語から指定 |
| 音声 | 動画から話者ごとに声を複製 |
| 課金 | 元の動画の秒数に応じて計算し、端数を切り上げ |
主な機能とハイライト
2 人のシーンをスペイン語に吹き替え、口元も描き直し
ワインセラーでの 8 秒間の会話をスペイン語に吹き替えると、2 人とも口の動きが新しいセリフに合いました。描き直すのはそれぞれの口の周りだけです。樽やグラス、照明は、どのフレームでも元の映像と一致しています。
同じフレームで、口の形だけが変わります
同じ瞬間を並べて比較します。左が英語の元映像、右がスペイン語の吹き替え版です。男性の口はスペイン語のセリフに合う形になり、顔のほかの部分やひげ、背景は撮影時のままです。
動画内のセリフから、話者ごとに声を複製
設定を切り替えたり、参照用の音声をアップロードしたりする必要はありません。吹き替えの声は、それぞれの話者が動画内で話すセリフから作られます。2 人の会話なら、別の言語でも 2 人それぞれの声色を保ちます。
リクエストパラメーター
| パラメーター | 必須 | 説明 |
|---|---|---|
video_url | はい | 吹き替える動画です。最大 10 分で、音声トラックに話し声を含む必要があります。 1 文字以上 |
target_language | はい | 必須です。86 の基本言語から吹き替え先を選びます。 |
source_language | いいえ | 動画内で話されている言語です。既定値の auto では自動検出します。 |
keyterms | いいえ | 音声認識で指定どおりに書き起こしてほしい名前や短いフレーズを、最大 10 件指定できます。各項目は 50 文字、5 単語までです。 10 件以内 |
料金
$0.144 / 出力秒
元の動画の秒数に応じて、最大 10 分まで課金します。秒未満の端数は切り上げます。送信前の見積もりには、アップロードした場合は動画の長さを、リンクを指定した場合は上限の 10 分を使います。タスクの精算時に差額分の確保を解除します。言語の選択や keyterms の指定で料金は変わりません。失敗したリクエストには課金しません。
ユースケース
語りかける動画を新たな市場へ
カメラに向かって話すクリエイターは、同じ映像をスペイン語、ドイツ語、日本語で公開できます。視聴者には、それぞれの言語に合わせて唇が動く映像を届けられます。
広告や商品紹介
出演者が話す短い動画を、再撮影や声優の起用なしでローカライズできます。費用は映像の秒数に応じて決まります。
動画生成モデルのキャラクター
英語を話す生成キャラクターを別の言語に吹き替え、口元も同期できます。ほかの言語でも、その言語で撮影したような自然なシーンに仕上げられます。
プロンプトガイドと実践のヒント
音声が明瞭な動画を送ります
動画をアップロードするか、動画ファイルへの直接リンクを指定します。顔が明るく照らされ、カメラを向いていると、口の動きがよりきれいに仕上がります。
吹き替え先の言語を選びます
86 の基本言語から
target_languageを選びます。自動検出で別の言語が繰り返し選ばれる場合を除き、source_languageは auto のままにしてください。正確に認識してほしい名前を指定します
ブランド名やキャラクター名などを keyterms に最大 10 件追加できます。音声認識で、指定した表記どおりに書き起こせるようにします。
はじめに
VEED Dubbing は VEED の吹き替え API の標準プランです。話し声のある動画を video_url で送り、target_language を選ぶと、各話者の声を複製し、翻訳後の言葉に唇の動きを合わせた動画が返されます。
主な機能と特長
新しい言語に合わせて唇が動きます
映像内で顔を確認できる話者ごとに、口の周囲を描き直します。ワインセラーでのテストでは、女性も男性もスペイン語に合わせて口元が同期され、樽やグラス、照明はそのままでした。
話者らしさが伝わる声で吹き替えます
声の複製を有効にする設定はありません。動画そのものから各話者の声を複製するため、別途音声サンプルを用意しなくても、元の声質を保って吹き替えられます。
意味を保って翻訳します
当方のテストでは、女性が「ひとりでセラーに連れてこられた」と話すセリフが「a solas」と訳されました。これにより、逐語訳で起こりうる文法上の性の誤りを避けています。
活用シーン
1 人のクリエイターが複数の言語で発信できます
一度撮影した動画を、対象市場ごとの言語で公開できます。どの言語版でも、唇の動きが言葉に合います。
生成したシーンをローカライズできます
動画生成モデルのキャラクターを視聴者の言語に吹き替え、自然な口の動きを保てます。
入力のガイドとコツ
顔が見える映像を使います
顔が明るく照らされ、カメラを向いていると、口元がより明瞭に同期します。引きの映像や顔が隠れた映像にも新しい音声は付きますが、口元の見た目の変化はわずかです。
keyterms には翻訳ではなく名前を指定します
keyterms は、名前やブランド名を正確に書き起こすための補助情報です。用語と訳語を対にして指定するものではありません。各用語は、動画内での発話に沿った表記で入力してください。
地域別のアクセントが必要ですか？
このプランは基本言語への吹き替えに対応します。地域別のアクセントや声の再現度の調整は VEED Dubbing Pro で利用できます。
API クイックスタート
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "veed/dubbing/video-translate",
"input": {
"source_language": "auto",
"target_language": "af",
"video_url": "https://example.com/reference.mp4"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
認証、完全なスキーマ、ポーリング、エラー処理は API リファレンスを参照してください。
