はじめに
既存の顔映像に MP3 または WAV の差し替え音声を組み合わせ、編集済み MP4 を作ります。4 種類の尺調整から選べますが、cut_off で出力が短くなっても、アップロード音声全体の長さが料金を決めます。
| 項目 | 値 |
|---|---|
| 入力 | 動画 音声 |
| 出力 | 動画 |
| 開発元 / グレード | Sync / Lipsync 2 Pro |
| リクエストのモデル名 | sync/lipsync-2-pro/lip-sync |
| 必要なメディア | 顔が映った動画と差し替え音声 |
| 録音の受付範囲 | 1〜300 秒、MP3 または WAV |
| 任意のモード |
|
| 課金数量 | アップロードした音声の長さを切り上げ |
| 受け取り方法 | 非同期タスク、MP4 出力 |
| 例の映像サイズ | 1280×720、24 fps |
| 審査での拒否 | 料金なし |
| 出力の取得期間 | 14 日後に削除 |
主な機能とハイライト
時計職人が新しいセリフを話します
テストでは、6.04 秒の時計職人の映像に 4.2 秒のセリフを組み合わせ、4.21 秒の結果が得られました。新しい言葉に口が追従する間も、唇の細部、歯、白髪混じりの無精ひげが見えていました。MP4 は 1280×720、24 fps です。
顔が画面を占める場面で細部を確認します
Sync によると、Lipsync 2 Pro は話者ごとの学習を必要とせず、話し方を保ちながら顔の細部を重視します。編集者はアップの映像で、その説明に沿う動きを確かめられます。添付のカバーはイラストで、テストの出力ではありません。
出力を切り詰めても録音全体が課金対象です
cut_off は短い方の入力で出力を止めますが、料金は送信した音声の秒数を切り上げて計算します。長すぎる録音は事前に切り詰めてください。映像をセリフ全体に合わせるなら loop、bounce、remap を使えます。モードを変えても単価は変わりません。
リクエストパラメーター
| パラメーター | 必須 | 説明 |
|---|---|---|
video_url | はい | 映像の必須 URL で、既定値はありません。特にアップの細部を調べるときは、顔が鮮明な映像を選びます。 1 文字以上 |
audio_url | はい | 1〜300 秒の差し替え音声を含む MP3 または WAV の必須 URL で、既定値はありません。すべての |
sync_mode | いいえ | 任意の同期方法です。 |
料金
$0.101 / 秒
1〜300 秒の録音について、アップロード音声の尺を整数秒に切り上げて課金します。動画の尺と sync_mode はこの計算に影響しません。cut_off で出力が短くなっても音声全体が対象です。コンテンツ審査で拒否された場合は料金がかかりません。
ユースケース
時計職人の場面を修正
短いセリフ編集の参考に、掲載した近接ショットを使います。動く口元、歯、無精ひげを観察し、差し替えたセリフが意図した終わりまで届くか確かめてください。
アップの広告映像のセリフを変更
利用許可のある出演者の映像に向けて、修正した文章を録音します。Pro は近接ショットで見える顔の細部を重視するため、広告に採用する前に届いた編集結果を点検してください。
撮影した会話の一部を吹き替え
選んだショットに使う新しいセリフの録音を準備します。Sync は Pro が元映像に見られる話し方を保つと説明しています。新しい録音に適した尺調整モードを選んでください。
手元のテイクにセリフを合わせる
短い終わり方には cut_off、映像の反復には loop、再生方向の切り替えには bounce、時間軸の調整には remap を使います。繰り返しや速度変化が、意図した場面に合うか見直します。
プロンプトガイドと実践のヒント
2 つのメディア URL を指定します
video_urlには顔が鮮明な映像、audio_urlには 1〜300 秒の MP3 または WAV 録音を指定します。課金尺を決める録音の長さを測ってください。モードを決めて送信します
4 種類の対応
sync_modeから選ぶか、省略してcut_offを使います。モデル sync/lipsync-2-pro/lip-sync でタスクを作成し、識別子を保存します。結果を取得して検査します
ポーリングかコールバックで完了を待ちます。口元の同期、細部、末尾をチェックし、14 日間の保管が終わる前に MP4 を保存してください。
Pro でアップのセリフを編集する
Sync Lipsync 2 Pro は、既存映像で話す口元を変更する、Sync の細部重視のグレードです。Sync はスタジオ品質のゼロショットモデルと説明し、別の学習工程なしで話者の話し方を保つとしています。歯、ひげの細部、唇の質感に重点を置くため、アップのショットが評価に役立ちます。
sync/lipsync-2-pro/lip-sync に動画 URL、差し替え録音の URL、任意の尺調整モードを渡します。処理は非同期です。タスク識別子を保管し、ポーリングかコールバックで完了を確認します。返される MP4 の声はアップロード音声のもので、音声クローンの工程はありません。
パラメーターと利用できる設定
| フィールド | 必須と既定値 | 入力と課金での役割 |
|---|---|---|
video_url | 必須、既定値なしです | 顔が鮮明な映像です。その長さで料金が直接決まるわけではありません |
audio_url | 必須、既定値なしです | 1〜300 秒の MP3 または WAV です。アップロード音声の秒数を切り上げて計算します |
sync_mode | 任意、既定値は cut_off です | cut_off、loop、bounce、remap を選べます。音声秒数での課金は変わりません |
このリップシンクのエンドポイント全体で使うフィールドは、この 3 つです。文章のプロンプト、解像度設定、silence モードは受け付けません。書かれたセリフではなく完成音声を渡すため、先に録音を用意してください。
尺が違う入力の合わせ方を決めます
cut_off:短い方の入力で終わります。音声が長いと、結果で末尾が失われる場合があります。loop:動画より長い音声をカバーするため、映像を繰り返します。bounce:順再生と逆再生を交互に行い、長い録音を映像でカバーします。remap:映像の時間軸を録音の長さに合わせて伸縮します。
長さを比べるだけでなく、元映像の動きも見て選んでください。身振りの繰り返しや逆向きの動きが会話の場面で気になることがあります。完成した MP4 は、編集に組み込む前に見直します。
出力尺と料金
1〜300 秒の入力音声について、秒数を整数に切り上げて料金を計算します。動画尺や選択した尺調整モードは、このルールを変えません。現在の秒単価は Pro のモデルページに記載しています。
cut_off で結果が短くなっても、課金に使う送信音声の尺は減りません。動画より先まで音声が続き、その末尾を使わない予定なら、送信前に録音を編集します。4.2 秒の音声ファイルは、切り上げによって 5 秒分の課金です。コンテンツ審査で拒否された場合は料金が発生しません。
比較に使うメディアを準備します
利用許可があり、顔のよく見える発話ショットを選びます。Pro の細部を確認するには、使う予定の表示サイズで口元、歯、ひげの質感を調べます。完成した MP3 または WAV を用意し、言葉と間を最後まで聞いてから尺を測ります。
最初の試行は、細かく観察できる短さにしてください。新しい録音を聞きながら入力と出力を比較し、選んだモードに伴う言葉の途切れ、身振りの反復、逆再生、速度変化が末尾にないか確かめます。
時計職人の例と実測結果
watchmaker-close-detail の例は、ネイビーの開襟シャツを着て白髪混じりの無精ひげを生やした時計職人のアップです。元動画は 1280×720、6.04 秒で、差し替え録音は 4.2 秒です。リクエスト入力は次のとおりです。
{
"video_url": "https://cdn.spicyapi.ai/models/examples/inputs/8bce11f8f3cee83e.mp4",
"audio_url": "https://cdn.spicyapi.ai/models/examples/inputs/deddbb8db32c1ca2.mp3",
"sync_mode": "cut_off"
}
この入力を試すと、1280×720、24 fps、4.21 秒の MP4 が返りました。唇の質感、歯、無精ひげが見える状態で、口元が新しいセリフに合わせて動きました。短いアップの実測であり、他モデルとの条件をそろえた品質比較ではありません。
別の尺調整テストでは、854×480、24 fps、4.0 秒の動画と、4.55 秒のセリフを組み合わせました。cut_off の結果は 4.0 秒で終了しました。切り詰めの動作を示す観察です。料金の見積もりには上記の音声秒数のルールを使ってください。
コンテンツ審査とファイルの制限
このグレードではコンテンツフィルターが動作します。Mild の入力は処理され、Moderate は 2 回とも処理中に拒否されました。拒否されたジョブは課金されません。未検証のレベルの結果を示す観察ではありません。
顔、映像、声は利用する権利のあるものを使い、映っている人物は全員成人でなければなりません。なりすましは禁止されています。生成ファイルは 14 日間取得でき、その後に削除します。採用する MP4 はこの期間中にダウンロードしてください。
近いリップシンクの選択肢を比較します
Sync Lipsync 2は入力動画の秒数で課金し、上記の尺調整に加えて silence を選べます。こうした仕様やコンテンツ審査の違いが関わる場合に検討してください。Sync は Pro を、アップの編集で細部を重視する選択肢としています。
Sync Lipsync 3と VEED Lipsync 2.0のモデルページも確認できます。各入力と料金のルールを確認してから試してください。時計職人の観察は、これらの性能順位を示すものではありません。
API クイックスタート
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "sync/lipsync-2-pro/lip-sync",
"input": {
"audio_url": "https://example.com/reference.mp3",
"sync_mode": "cut_off",
"video_url": "https://example.com/reference.mp4"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
認証、完全なスキーマ、ポーリング、エラー処理は API リファレンスを参照してください。


