本文へスキップ

sync/lipsync-3/lip-sync

sync. の lipsync-3 リップシンク用エンドポイントは、既存の人物動画を指定の録音音声に合わせ、MP4 を返します。出力尺は音声に従い、課金は元動画の秒数を切り上げて計算します。

最低価格 $0.162/秒

プレイグラウンド

入力

リップシンク
料金に影響1/1

動画をここにドロップ、またはここから選択 · 1 ファイル・1 件 90 MB まで・MP4 · WEBM

  • 1
1 / 1 ファイル
人物の顔が映った動画の必須 URL です。元動画は 1〜300 秒で、課金時は長さを 1 秒単位で切り上げます。使わない映像は送信前に除いてください。範囲外の動画は料金が発生する前に拒否されます。 1 文字以上
1/1
1 / 1 ファイル
差し替え用音声の必須 URL です。今回のテストでは WAV と MP3 を使いました。録音が出力尺を決め、映像の切り詰めや逆再生による延長にも影響しますが、動画基準の課金数量は変わりません。 1 文字以上
セーフティチェックオフ

SpicyAPI はこのモデルにセーフティチェックをかけません。プロンプトと素材はそのままモデルに渡り、出力はモデル自身が決めます。

送信と料金見積もりを有効にする前にアカウントを確認しています。

出力

実行待ち
サンプル出力

関連モデルと次のステップ

お探しのモデルが見つかりませんか?

SYNC. · LIPSYNC-3

撮影済みの人物動画に新しいセリフを合わせ、音声に沿ったタイミングの MP4 に仕上げます。

主なスペック

入力動画の対応範囲
1–300 秒
必要なセリフの区間に切り詰めます。課金時は動画の長さを 1 秒単位で切り上げます。
必須のメディア入力
2
人物の顔が映った動画と、別に用意した音声でリップシンクの結果が決まります。
処理時間の実測値(秒)
76 / 173
それぞれ 5.04 秒と 5.00 秒の元動画を処理した際のおおよその所要時間です。
元のフレームレートを維持(fps)
24 / 25
1280×720 と 1358×680 のテスト動画は、返された MP4 でもそれぞれのフレームレートを維持しました。

課金前に知っておくこと

すべてのモード

映像と声は利用する権利のあるものを使い、実在する人物になりすまさないでください。声を差し替えた動画を配布する前に、口元の動きと延長された末尾を確認します。

リップシンク
  • 元動画は 1〜300 秒に収めてください。結果の長さは音声が決めます。音声が短い場合は映像を切り詰め、長い場合は末尾からフレームを逆再生して延長します。
  • このリクエストが受け付けるのは video_url と audio_url です。内蔵のテキスト読み上げ、静止画入力、開発元の sync_mode 選択はここでは利用できません。送信前に音声ファイルを用意してください。

できること

動画とセリフ

選んだテイクを編集に活用

元動画が人物の映像を、差し替え用の録音がセリフを担います。lipsync-3 は口元を調整した MP4 を返します。プレゼンターのセリフ修正や許可済み講座の翻訳では、文章のプロンプトではなく、この 2 つの素材を用意します。

長さの扱い

音声に合わせて終わり方を考える

実測では 6.48 秒の音声を使うと、5.00 秒の元動画が末尾からフレームを逆再生して 6.48 秒に延長されました。逆向きの動きが気になる場面では、目的のショット尺に近い音声を使い、編集に組み込む前に末尾を確認してください。

メディアの確認

画面サイズを保ち、音のミックスを確かめる

測定した 2 本は元の解像度とフレームレートを維持しました。1280×720 は 24 fps、1358×680 は 25 fps でした。出力音声はモノラル AAC なので、映像サイズとは別に最終的な音声ミックスを確認します。

開発元による説明

顔が見えにくくなる場面も試す

sync. のモデル資料では、sync-3 はシーンの文脈を参照し、遮蔽物を自動で処理すると説明されています。自分の映像で代表的な振り向きや顔の前を手が横切る場面を試してください。今回の 2 回の測定は長さと処理時間の観察であり、そうした場面の画質を採点した比較ではありません。

活用シーン

  • 収録済みの講座を別言語に展開

    利用許可のある講師を映した lesson.mp4 と、翻訳して別録りした lesson.wav を組み合わせます。渡した音声に口元を合わせた MP4 が返ります。翻訳と録音は呼び出し前に済ませてください。

  • 商品発表の言い間違いを修正

    元のプレゼンター映像と、正しい商品名を含む文を録音した WAV を送信します。返された動画は新しいセリフに合わせて動くため、編集内で差し替える前に修正箇所を確認できます。

  • 地域別の広告動画を用意

    出演者の映像を活用し、市場ごとに承認済みのナレーションを別ファイルで用意します。動画と音声の組み合わせごとに口元を調整した MP4 が生成され、各リクエストは元動画の長さに基づいて課金されます。

  • インタビューの抜粋に別の声を合わせる

    使用許可のあるインタビューの抜粋と、差し替え用の MP3 音声を組み合わせます。音声のほうが長いと、元動画の末尾から逆再生して音声分の映像を補うため、完成した MP4 の最後のフレームを確認してください。

モデルリファレンス

Sync Lipsync 3 API リファレンス

Sync Lipsync 3 API の仕様

開発元とモデル
sync. · lipsync-3(sync-3)
公開 API 名
sync/lipsync-3/lip-sync
タスク
既存の人物動画と新しい音声からリップシンク
必須入力
video_url と audio_url
元動画の長さ
1〜300 秒
出力コンテナ
MP4
映像のサイズと時間特性
元の解像度とフレームレートを維持
出力音声
モノラル AAC に再エンコード
出力の長さ
音声に従って元映像を切り詰め、または延長
課金単位
入力動画の秒数を切り上げ
処理時間の測定結果
短い動画 2 本で約 76 秒と 173 秒
利用できない設定
sync_mode、内蔵 TTS、画像入力

Sync Lipsync 3 API の呼び出し方

  1. 人物動画を選んで切り出す

    口元が読み取れるテイクを選び、アップロード前に長さを測ります。送信する動画を 1〜300 秒に収め、課金対象にする必要のない映像を除いてください。

  2. 差し替え用の音声を仕上げる

    セリフを音声ファイルとして用意します。今回のテストでは WAV と MP3 を使いました。切り詰めや逆再生による延長を避けたい場合は、目的の編集尺に音声を合わせます。

  3. 動画と音声の URL を送る

    POST /api/v1/jobs/createTask に model を sync/lipsync-3/lip-sync として送信し、input に video_url と audio_url を含めます。Bearer API キーを付け、下のリクエスト例を JSON 本文として使ってください。

  4. MP4 を取得して確認する

    返された taskId を保存し、/api/v1/jobs/recordInfo?taskId=YOUR_TASK_ID で完了を確認します。完成したファイルをダウンロードし、子音の発音、口の動きの切り替わり、末尾を音声と照らし合わせます。

モデルの概要

lipsync-3 で編集する前に、差し替え用の録音を完成させ、使う人物動画の区間を切り出してください。入力する 2 つの URL には異なる役割があります。動画の長さが課金秒数を決め、音声の長さが完成尺を決めます。音声が長いと、末尾から元のフレームを逆再生して映像を延ばします。口元の動き、末尾の映像、モノラル AAC 音声を確認しましょう。以下の実測例で試行の計画を立て、費用が重要なら同じ素材を lip-sync/v1 でも比較してください。映像と声は利用許可のあるものを使います。

Sync Lipsync 3 API のよくある質問