本文へスキップ

ByteDance Lip Sync は、ByteDance の動画翻訳ツールに含まれる動画リップシンクサービスです。Lite は正面を向いた話者 1 人の映像、Basic は複雑な単一話者のシーンに対応します。音声に合わせた尺の MP4 を 25 fps で返します。

最低価格 $0.048/秒

プレイグラウンド

入力

リップシンク
1/1

動画をここにドロップ、またはここから選択 · 1 ファイル・1 件 90 MB まで・MP4 · WEBM

  • 1
1 / 1 ファイル
Lite と Basic の両方で必須の URL です。初期値はありません。MOV、MP4、MKV を 360p–1080p、24–60 fps、1–30 Mbps で用意します。H.264 を推奨します。1080p を超える動画は 1080p に縮小され、360p 未満は拒否されます。この動画の長さは課金秒数を決めません。 1 文字以上
料金に影響1/1
1 / 1 ファイル
どちらのモードでも必須で、初期値はありません。雑音の少ない人の声を MP3、WAV、AAC、M4A、OGG のいずれかで用意し、10 MB 以下にします。長さは 1 秒超で、Lite は 240 秒以内、Basic は 210 秒以内です。この長さを切り上げて課金秒数とし、出力の想定尺も決めます。 1 文字以上
セーフティチェックオフ

SpicyAPI はこのモデルにセーフティチェックをかけません。プロンプトと素材はそのままモデルに渡り、出力はモデル自身が決めます。

送信と料金見積もりを有効にする前にアカウントを確認しています。

出力

実行待ち
サンプル出力

関連モデルと次のステップ

お探しのモデルが見つかりませんか?

BYTEDANCE · 動画のセリフ

シーンに合うモードと音声を用意し、録音の長さを基準に編集します。

主なスペック

シーンに合わせた Lite と Basic
2 モード
Lite は正面を向いた話者 1 人向けです。Basic は複雑な単一話者の映像に対応し、シーンも検出できます。
Lite の音声上限
240 s
Lite は 240 秒、Basic は 210 秒までの音声を受け付けます。両モードで、録音は 1 秒より長くしてください。
出力のフレームレート
25 fps
入力動画が対応範囲内の別のフレームレートでも、完成する MP4 は 25 fps です。
入力解像度の上限(下限は 360p)
1080p
1080p を超える映像は 1080p に縮小され、360p 未満の素材は受け付けられません。
音声の秒数で課金
秒単位
アップロードした録音の秒数を整数に切り上げます。1 秒あたりの料金は、Lite でも Basic でも同額です。
Lite のループ方向:順再生と逆再生
2 方向
loop_video とともに loop_reverse を有効にすると、繰り返すたびに再生方向が切り替わります。

課金前に知っておくこと

すべてのモード
  • 送信する顔、映像、声について利用権を取得してください。映っているすべての人が成人である必要があります。なりすましは禁止です。
  • 生成ファイルは 14 日間保存された後に削除されます。保存期間が終わる前に完成ファイルをダウンロードしてください。
リップシンク
  • 両モードとも話者 1 人が対象です。Lite は正面の映像を想定し、Basic はより複雑なシーンと任意のシーン検出に対応します。
  • 1 秒を超え、10 MB 以下の雑音の少ない人の声を用意します。音声は Lite なら最長 240 秒、Basic なら最長 210 秒まで使用できます。
  • 元動画は 360p–1080p、24–60 fps、1–30 Mbps にしてください。高解像度の映像は 1080p に縮小され、360p 未満は受け付けられません。
  • シーンの検出には Basic の scene_detection を使ってください。雑音除去、ループ、逆方向のループ、開始位置のフィールドは Lite 用なので、Basic のリクエストから除いてください。

できること

レコード店での編集

短いセリフに合わせて試聴室の映像を切り詰める

レコード店のテストでは、6.04 秒のテイクに Lite モードで 5.2 秒の録音を組み合わせました。出力は 5.20 秒で終了し、女性の口は新しいセリフに合わせて動きました。編集の終点は音声で決まりました。

モード別の設定

シーンに必要な設定を選ぶ

Basic では scene_detection により、単一話者の映像のカット境界を検出し、話者を認識できます。Lite では背景雑音の除去、ループ、逆方向のループ、元動画の開始位置を設定できます。モードに合わない組み合わせは、処理開始前のリクエスト受理時に拒否されます。

長い録音への対応

映像を繰り返してセリフを収める

Lite の設定テストでは loop_video、loop_reverse、1 に設定した video_start_seconds、背景雑音の除去を併用しました。5.04 秒の元動画で 6.5 秒の録音をカバーし、6.52 秒の動画が返りました。実際の編集では、繰り返される動きと方向の切り替わりを確認してください。

出力の実測

毎秒 25 フレームの映像を確認する

試聴室の出力は 864×496、25 fps でした。女性はバーガンディのサテンのキャミソールに濃色のジャケットを重ね、髪は暗い色の短いピクシーカットです。この例は既存映像のセリフのタイミングを変えたもので、記載のサイズはこの出力の実測値です。

活用シーン

  • 試聴室での誘いの言葉を差し替える

    利用許可のあるセリフ修正では、レコード店の例を尺調整の参考にできます。短い録音に差し替えると、口元を新しい言葉に合わせながら、不要な末尾を除けます。

  • 正面のプレゼンター映像を吹き替える

    カメラに向かって話すプレゼンター 1 人の映像には Lite を選びます。翻訳や修正を済ませた音声を別途仕上げ、元動画と一緒に送って口元を合わせます。

  • カットのある単一話者の映像を処理する

    話者が 1 人でもシーンが切り替わる動画では、Basic を選び scene_detection を有効にします。非同期タスクの完了後、各カットの前後で同期を確認してください。

  • 短い映像で長い音声をカバーする

    セリフのほうが長い場合、Lite は元動画をループできます。開始秒を指定し、再生方向の交互切り替えも検討したうえで、繰り返す動作が意図した見せ方に合うか確認します。

  • 背景音のある音声を準備する

    Lite では remove_background_noise により、口元を合わせる前に駆動用の声から背景音を分離します。元の録音を聞き、返された音声も確認してください。Basic に送信する際には、この設定項目を取り除きます。

モデルリファレンス

ByteDance Lip Sync API リファレンス

ByteDance Lip Sync API の仕様

提供元・サービス
ByteDance の動画翻訳ツールの一部である ByteDance Lip Sync
リクエストのモデル名
bytedance/lip-sync/lip-sync
モードの初期値
generation_mode: lite(basic も選択可)
動画ファイル
MOV、MP4、MKV(H.264 を推奨)
元動画の解像度
360p–1080p(上限を超える入力は 1080p に縮小)
元動画のエンコード範囲
24–60 fps、1–30 Mbps
音声ファイル
MP3、WAV、AAC、M4A、OGG(最大 10 MB)
音声の長さ
1 秒超。Lite は最大 240 秒、Basic は最大 210 秒
出力尺と形式
音声基準の尺、25 fps の MP4
料金の計算
音声の秒数を切り上げ。Lite と Basic は同じ単価
任意のシーン解析
Basic の scene_detection(初期値は無効)
出力の保存期間
14 日間、その後削除

ByteDance Lip Sync API の呼び出し方

  1. 元動画と録音を確認する

    動画が解像度、フレームレート、ビットレートの条件を満たすか確認します。対応形式で雑音の少ない音声を用意し、長さとファイルサイズを測ります。

  2. Lite または Basic を選ぶ

    正面を向いた話者 1 人の動画には Lite、複雑な単一話者のシーンには Basic を使います。追加の設定を行う前に、そのモードの音声上限を確認してください。

  3. 互換性のある入力を送る

    bytedance/lip-sync/lip-sync に video_url と audio_url を指定し、必要に応じて generation_mode を加えます。Basic のシーン検出、または対応する Lite の設定を含め、返されたタスク識別子を保存します。

  4. タイミングを確認して保存する

    ポーリングまたは完了コールバックで結果を取得し、MP4 のセリフの同期、カット、繰り返す映像を点検します。確認を終えた動画は 14 日以内にダウンロードしてください。

モデルの概要

録音で必要な尺を定め、映像に合うモードを選びます。レコード店の編集では、6.04 秒のテイクから 25 fps、5.20 秒のセリフ映像ができました。別の Lite のループ試行では、短い映像で長いセリフをカバーできました。Basic のシーン解析と、Lite の雑音除去・ループ設定を区別してください。どちらのモードでも音声の秒数を切り上げて課金するため、送信前に長さを測ります。完了後はセリフ、カット境界、繰り返す動作を点検し、14 日間の保存期間が終わる前に MP4 をダウンロードします。

ByteDance Lip Sync API のよくある質問