はじめに
Lite または Basic を使い、録画された口の動きを雑音の少ない差し替え音声に合わせます。録音が出力の想定尺を決めます。モード別に、シーン検出や Lite の雑音除去・ループを設定できます。
| 項目 | 値 |
|---|---|
| 入力 | 動画 音声 |
| 出力 | 動画 |
| サービスの提供元 | ByteDance Lip Sync |
| エンドポイント識別子 | bytedance/lip-sync/lip-sync |
| 対応する映像 | MOV / MP4 / MKV、360p–1080p、24–60 fps、1–30 Mbps |
| 対応する音声 | MP3 / WAV / AAC / M4A / OGG、最大 10 MB |
| モード別の音声上限 | 1 秒を超える音声、上限は Lite 240 秒 / Basic 210 秒 |
| Basic の設定 |
|
| Lite の初期設定 | 雑音除去 false、ループ true、逆方向 false、開始位置 0 秒 |
| 出力動画 | MP4、25 fps。想定尺はセリフに従います |
| 課金基準 | 入力音声の秒数を切り上げ、両モードで同じ単価 |
主な機能とハイライト
短いセリフに合わせて試聴室の映像を切り詰める
レコード店のテストでは、6.04 秒のテイクに Lite モードで 5.2 秒の録音を組み合わせました。出力は 5.20 秒で終了し、女性の口は新しいセリフに合わせて動きました。編集の終点は音声で決まりました。
シーンに必要な設定を選ぶ
Basic では scene_detection により、単一話者の映像のカット境界を検出し、話者を認識できます。Lite では背景雑音の除去、ループ、逆方向のループ、元動画の開始位置を設定できます。モードに合わない組み合わせは、処理開始前のリクエスト受理時に拒否されます。
映像を繰り返してセリフを収める
Lite の設定テストでは loop_video、loop_reverse、1 に設定した video_start_seconds、背景雑音の除去を併用しました。5.04 秒の元動画で 6.5 秒の録音をカバーし、6.52 秒の動画が返りました。実際の編集では、繰り返される動きと方向の切り替わりを確認してください。
毎秒 25 フレームの映像を確認する
試聴室の出力は 864×496、25 fps でした。女性はバーガンディのサテンのキャミソールに濃色のジャケットを重ね、髪は暗い色の短いピクシーカットです。この例は既存映像のセリフのタイミングを変えたもので、記載のサイズはこの出力の実測値です。
リクエストパラメーター
| パラメーター | 必須 | 説明 |
|---|---|---|
video_url | はい | Lite と Basic の両方で必須の URL です。初期値はありません。 1 文字以上 |
audio_url | はい | どちらのモードでも必須で、初期値はありません。雑音の少ない人の声を MP3、WAV、AAC、M4A、OGG のいずれかで用意し、10 MB 以下にします。 1 文字以上 |
generation_mode | いいえ | lite または basic を指定する任意の選択項目で、初期値は lite です。Lite は正面を向いた話者 1 人の動画、Basic は複雑な単一話者のシーン向けです。 |
remove_background_noise | いいえ | Lite 用の任意の真偽値で、初期値は false です。口元を同期する前に録音から背景音を分離します。 デフォルト値: |
scene_detection | いいえ | Basic 用の任意の真偽値で、初期値は false です。話者 1 人の処理でシーン検出と話者認識を有効にします。 デフォルト値: |
loop_video | いいえ | Lite 用の任意の真偽値で、初期値は true です。セリフが動画より長い場合に映像を繰り返します。 デフォルト値: |
loop_reverse | いいえ | Lite 用の任意の真偽値で、初期値は false です。 |
video_start_seconds | いいえ | Lite で元動画の位置を数値指定する任意の設定で、初期値は 0 秒です。送信した動画内の開始位置を選びます。 |
料金
$0.048 / 秒
アップロードした音声の秒数を整数に切り上げて課金します。音声は 1 秒を超える必要があり、Lite の場合は最大 240 秒、Basic の場合は最大 210 秒です。両モードの単価は同じで、動画の長さや対応する追加設定によって変わりません。サーバー混雑の応答には課金されず、自動で再試行されます。
ユースケース
試聴室での誘いの言葉を差し替える
利用許可のあるセリフ修正では、レコード店の例を尺調整の参考にできます。短い録音に差し替えると、口元を新しい言葉に合わせながら、不要な末尾を除けます。
正面のプレゼンター映像を吹き替える
カメラに向かって話すプレゼンター 1 人の映像には Lite を選びます。翻訳や修正を済ませた音声を別途仕上げ、元動画と一緒に送って口元を合わせます。
カットのある単一話者の映像を処理する
話者が 1 人でもシーンが切り替わる動画では、Basic を選び scene_detection を有効にします。非同期タスクの完了後、各カットの前後で同期を確認してください。
短い映像で長い音声をカバーする
セリフのほうが長い場合、Lite は元動画をループできます。開始秒を指定し、再生方向の交互切り替えも検討したうえで、繰り返す動作が意図した見せ方に合うか確認します。
背景音のある音声を準備する
Lite では remove_background_noise により、口元を合わせる前に駆動用の声から背景音を分離します。元の録音を聞き、返された音声も確認してください。Basic に送信する際には、この設定項目を取り除きます。
プロンプトガイドと実践のヒント
動画と音声を組み合わせる
対応する動画の URL と、雑音の少ないセリフの URL を用意します。選んだモードのファイルサイズと長さの上限に音声が収まるか確認してください。
モードに対応する項目を指定する
generation_modeを設定するか、初期値の Lite を使い、対応する設定を含めます。タスクを送信し、状態確認に使う識別子を記録します。完成した編集結果を取得する
ポーリングまたはコールバックで完了を確認し、MP4 を点検して、14 日後の削除期限までにファイルを保存します。
ByteDance Lip Sync:シーンに合うモードを選ぶ
ByteDance Lip Sync は ByteDance の動画リップシンクサービスで、動画翻訳ツールの一部です。話者が 1 人の既存動画を映像として使い、別途録音した人の声で口の動きを差し替えます。出力 MP4 は 25 fps で、録音の長さに従います。元映像が余れば切り詰め、短ければ長いセリフをカバーするまでループします。
正面を向いた話者 1 人の映像には lite を選びます。複雑な単一話者のシーンには basic を選び、必要に応じてシーン検出と話者認識を使います。シーンに合わせたこの 2 つのモードは同じ単価です。声を複製する機能はなく、音声にはアップロードした録音が使われます。
パラメーターと利用できる設定
リクエストのモデル名には bytedance/lip-sync/lip-sync を指定します。2 つの URL はどちらも必須です。追加設定は選んだモードに対応するものを使ってください。対応しない組み合わせは、生成開始前の受理時に拒否されます。
| フィールド | 値または初期値 | 対応モードと効果 |
|---|---|---|
video_url | 必須の URL、初期値なし | 両モード:MOV、MP4、MKV。360p–1080p、24–60 fps、1–30 Mbps。H.264 を推奨します |
audio_url | 必須の URL、初期値なし | 両モード:雑音の少ない MP3/WAV/AAC/M4A/OGG。最大 10 MB、1 秒超。Lite の場合は最大 240 秒、Basic の場合は最大 210 秒です |
generation_mode | lite または basic、初期値は lite | 音声の秒単価を変えずに、シーンに合うモードを選びます |
remove_background_noise | 真偽値、初期値は false | Lite:口を動かす前に背景音を分離します。Basic では省略してください |
scene_detection | 真偽値、初期値は false | Basic:シーンを検出し、話者を識別します。Lite では省略してください |
loop_video | 真偽値、初期値は true | Lite:長い録音をカバーするよう映像を繰り返します。Basic では省略してください |
loop_reverse | 真偽値、初期値は false | ループが有効な Lite:順再生と逆再生を交互に行います。Basic では省略してください |
video_start_seconds | 数値、初期値は 0 | Lite:元動画の指定した秒から映像を再生します。Basic では省略してください |
公開フィールドに prompt や resolution の選択欄はありません。セリフは録音で指定します。1080p を超える動画は 1080p に縮小され、360p 未満の映像は拒否されます。
出力尺と料金
入力音声の秒数を数え、端数を次の整数秒に切り上げます。1 秒あたりの料金は、Lite でも Basic でも同額です。対応する設定や元動画の長さを変えても、この課金基準は変わりません。現在の料金は ByteDance Lip Sync のモデル単価で確認してください。
レコード店の 5.2 秒の録音は 6 秒分の課金になります。動画を短くしても、音声を基準にした数量は減りません。不要な無音や使わないセリフは送信前に除き、録音は 1 秒を超え、選んだモードの上限内に収めてください。
対応する動画と音声を準備する
話者が 1 人ではっきり見えるかを確認し、動画の形式、解像度、フレームレート、ビットレートを調べます。Lite には正面の映像を使います。カットの解析が必要な複雑なシーンでは Basic を選び、必要に応じて scene_detection を有効にします。
別途用意した録音を、アップロード前に聞いてください。翻訳したセリフとその録音は事前に仕上げます。背景音の分離を指定する remove_background_noise は Lite 専用で、Basic には指定できません。Basic を選ぶ際は、Lite のリクエストからコピーした値も含め、loop_video、loop_reverse、video_start_seconds も除いてください。
2 つの入力の長さを比べます。録音が編集の想定尺を決めます。Lite では loop_video で映像の繰り返しを計画し、方向を交互に変える場合は loop_reverse を加え、video_start_seconds で開始位置を選びます。完成後には、繰り返す身ぶりを確認してください。
短い動画のテストで確認したこと
レコード店のサンプルでは、864×496、6.04 秒の映像と 5.2 秒のセリフを Lite で組み合わせ、背景雑音の除去は無効にしました。試聴室の女性の口の動きが書き換えられ、差し替えた言葉を話しました。結果は 5.20 秒、864×496、25 fps で、録音に合わせて映像が切り詰められました。
別の Basic の試行ではシーン検出を有効にし、6.04 秒の元動画と 5.2 秒のセリフから 5.28 秒の結果を得ました。また別の Lite の試行では、ループ、逆方向のループ、雑音除去を有効にして、元動画の開始位置を 1 秒に設定しました。5.04 秒の動画で 6.5 秒のセリフをカバーし、出力は 6.52 秒でした。これらの試行では、録音の長さと実測した結果の長さにわずかな差がありました。
背景雑音の除去を加えた Basic の試行は 3 回失敗しました。Lite はこの設定で処理できたため、公開されている互換性のルールでは Lite に限定しています。これらの観測は設定が分かれている理由を示すもので、すべての入力での結果を保証するものではありません。
完了確認、待ち時間、ファイルの制限
送信すると非同期タスクが作られ、識別子が返ります。ポーリングまたはコールバックで完了を確認し、完成した MP4 を取得してください。サーバー混雑の応答が返る場合があります。この応答には課金されず、自動で再試行されます。混雑時には待ち時間が増えるため、タスクの受理だけで完了とは判断できません。
利用する権利のある映像、顔、録音音声を使ってください。映っているすべての人が成人である必要があります。他人になりすましてはいけません。生成ファイルは 14 日後に削除されるため、残したい完成動画はダウンロードして保存します。
関連する動画リップシンクモデルを比較する
Sync Lipsync 2 は 5 つの尺調整モードを備え、元動画の秒数で課金します。課金基準の違いを考慮し、編集に合うタイミングの選択肢がある場合に検討してください。VEED Lipsync 2.0 と Lip Sync も関連する選択肢です。利用許可のある動画と録音を、各エンドポイントが対応する入力条件に照らして評価してください。
API クイックスタート
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "bytedance/lip-sync/lip-sync",
"input": {
"audio_url": "https://example.com/reference.mp3",
"generation_mode": "lite",
"video_url": "https://example.com/reference.mp4"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
認証、完全なスキーマ、ポーリング、エラー処理は API リファレンスを参照してください。
