はじめに
顔が見える動画と MP3 または WAV の録音を Lipsync 2 に渡して、セリフを差し替えます。入力の長さが違う場合は sync_mode で調整し、非同期処理の完了後に MP4 を取得します。
| 項目 | 値 |
|---|---|
| 入力 | 動画 音声 |
| 出力 | 動画 |
| 開発元とグレード | Sync / 標準 Lipsync 2 |
| 入力の仕様 |
|
| 動画の長さ | 1〜120 秒、上限超過は受付時に拒否 |
| 新しいセリフ | MP3 または WAV の音声 |
| 尺調整の選択 | 5 種類、既定値 |
| 料金の算出基準 | 送信動画の長さを秒単位で切り上げ |
| 非同期処理の結果 | タスク終了後に MP4 を取得 |
| 保管期間 | 生成メディアは 14 日後に削除 |
主な機能とハイライト
仕立屋が長めの招待のセリフを話し切ります
アトリエの例では、5.04 秒の映像と 6.5 秒のセリフを使いました。loop を選ぶと、元映像を繰り返しながら口元が録音全体に合わせて動き、6.5 秒の動画が返りました。映像は 864×496、24 fps でした。
ほほえみと眉を上げる表情が残ります
セリフを差し替えた結果にも、仕立屋の小さなほほえみと眉を上げる表情が見られました。Sync は、Lipsync 2 が人物ごとの学習をせず、元映像から話し方を読み取ると説明しています。この例を実際の挙動の参考に、ご自身の話者の表現も確認してください。
編集の目的に合う終わり方を選びます
短い方の入力で終えるなら cut_off、短い録音の後に無音を足すなら silence、映像の尺を音声に合わせるなら remap を使います。loop と bounce は、繰り返しや再生方向の切り替えで短い映像を延ばします。いずれも入力動画を基準とする同じ課金ルールです。
リクエストパラメーター
| パラメーター | 必須 | 説明 |
|---|---|---|
video_url | はい | 既存動画の必須 URL です。顔がよく見える 1〜120 秒の映像を使います。 1 文字以上 |
audio_url | はい | 差し替える言葉と声を収録した MP3 または WAV の必須 URL で、既定値はありません。どのモードでも録音は動画基準の料金を変えません。 1 文字以上 |
sync_mode | いいえ | すべてのリクエストで省略でき、既定値は |
料金
$0.06 / 秒
入力動画は 1〜120 秒で、長さを 1 秒単位に切り上げて課金します。同じ動画であれば音声の長さや sync_mode を変えても料金は同じです。120 秒を超える動画は受付で拒否されます。
ユースケース
閉店後の店舗への招待
仕立屋の例を参考に、利用許可のある店舗映像と、それより長い招待の録音を用意します。loop では音声が終わるまで映像を反復できます。公開前に、映像が先頭へ戻る箇所を確かめてください。
プレゼンター映像の翻訳
既存のプレゼンター映像に使う翻訳済み MP3 または WAV を準備します。Sync によると、言語を変えても話し方を引き継げます。このエンドポイントは入力した録音へ口元を合わせるもので、セリフの作成や翻訳は行いません。
生成キャラクターのセリフ
Sync は、Lipsync 2 が実写に加え、アニメーションや AI 生成の人物にも対応するとしています。既存のキャラクター動画と差し替え音声を用意し、その組み合わせに合う尺調整モードを選んでください。
チュートリアルの一文を訂正
講師の映像を差し替える一文の区間に切り出し、新しいセリフを録音します。課金は動画の秒数で決まるため、cut_off で完成尺が短くなる場合でも、元映像を必要な範囲に絞ることが大切です。
プロンプトガイドと実践のヒント
動画と声の URL を用意します
顔がはっきり見える 1〜120 秒の元動画と、完成した MP3 または WAV のセリフを準備します。動画の長さが課金対象になるので、不要な部分は先に除いてください。
末尾に合う
sync_modeを指定しますvideo_url、audio_url、任意の同期モードで sync/lipsync-2/lip-sync のタスクを作ります。既定のcut_offでは短い方で終わるため、セリフが途切れるなら他の対応モードを選びます。完了を追跡し再生を確かめます
返されたタスク ID を使い、ポーリングかコールバックで処理状況を確認します。MP4 を 14 日以内に保存し、録音と照らして口元と最後のフレームを見直してください。
標準グレードでセリフを差し替える
Sync の Lipsync 2 は、既存映像の口元をアップロードした録音に合わせます。Sync は、元映像から話し方を読み取るゼロショットモデルで、別言語のセリフに変えても対応すると説明しています。話者を学習させる工程は不要です。動画と音声のタスクには sync/lipsync-2/lip-sync を使い、入力した声を収めた MP4 を受け取ります。
公開フィールドは 3 つです。台本の文章だけで声を作ることはできず、場面を演出するプロンプト入力もありません。メディアの URL を送る前に、セリフを別途録音または生成してください。
パラメーターと利用できる設定
| フィールド | 送信する内容 | 既定値と料金への影響 |
|---|---|---|
video_url | 顔がはっきり見える 1〜120 秒の動画の必須 URL です | 既定値はありません。元動画の長さで課金秒数が決まります。120 秒超は受付時に拒否されます |
audio_url | 差し替え用の MP3 または WAV 音声の必須 URL です | 既定値はありません。同じ動画であれば音声の長さを変えても料金は同じです |
sync_mode | 任意の尺調整方法です。cut_off、loop、bounce、silence、remap から選びます | 既定値は cut_off です。他のモードを選んでも料金は変わりません |
終わり方を決めます
| モード | 長さの扱い |
|---|---|
cut_off | 短い方の入力が終わると出力も終了します |
loop | 長いセリフの再生中、必要に応じて映像を先頭から繰り返します |
bounce | 順再生、逆再生を繰り返して、長いセリフに必要な映像の尺を確保します |
silence | 短い音声の後に無音を足し、残りの動画を再生します |
remap | 映像全体の時間軸を録音の長さに収めるよう、再生速度を変えます |
同じショットの繰り返しが合うなら loop を選び、結果のつなぎ目を確認します。bounce は逆向きの動きが場面に合うか確かめてください。映像全体を音声の尺に収める場合は remap を使い、編集に組み込む前に動きの速さを見直します。
出力尺と料金
入力動画の秒数を数え、整数秒へ切り上げます。動画の受付範囲は 1〜120 秒です。音声の長さと同期モードの選択は、この元動画の課金数量に影響しません。現在の秒単価は Sync Lipsync 2 のモデルページを確認してください。
cut_off の試行では、5.4 秒の元動画が 6 秒分として計算され、完成尺は 4.56 秒でした。長いテイクの一部だけを録音に使うなら、送信前に動画を切り出します。出力を短くするモードでも、送信済みの元動画の長さは減りません。
映像とセリフを準備します
必要な動画の区間を正確に選び、長さを測ってください。顔は見やすい状態にします。Sync によると、lipsync-2 は元映像に自然な発話の動きが必要で、動かない区間では処理後も話す動きが生じないことがあります。この開発元の注意点は、実写の話者だけでなく、アニメーションや AI 生成のキャラクターを評価する際にも関係します。
MP3 または WAV を最後まで聞き、予定する映像の終わりと照合します。声はそのファイルのものであり、映像の人物の声をクローンする処理ではありません。顔、動画、録音は使用権のあるものを選んでください。映像に登場する人物は全員成人でなければならず、なりすましをしてはいけません。
送信後の追跡と保存
2 つの必須 URL に選んだ sync_mode を添えて送信するか、省略して cut_off を使います。非同期処理なのでタスク ID を保存し、ポーリングまたは完了コールバックで終了を確認します。受付はリクエストが処理に入ったことを示し、MP4 は完了後に取得します。
新しい言葉を聞きながら口元を見て、繰り返し、逆再生、尺調整の加わった部分も点検してください。完成メディアは保存期間の 14 日以内にダウンロードします。その期間を過ぎた生成ファイルは削除されます。
短い動画のテストで確認したこと
midnight-tailor-invitation の例では、864×496 のアトリエ映像 5.04 秒に、6.5 秒の招待の録音と sync_mode: loop を組み合わせました。テストではセリフをカバーするよう映像が繰り返され、864×496、24 fps、6.5 秒の MP4 が返りました。仕立屋が新しいセリフを口にする間も、小さなほほえみと眉を上げる表情が確認できました。
もう一つの元動画は 512×768、25 fps、5.4 秒でした。4.55 秒の音声と cut_off を使うと、同じサイズとフレームレートを保った 4.56 秒の MP4 になりました。これらの短い試行は各結果を記録したもので、解像度の上限や処理時間を保証するものではありません。
関連モデルを検討する場面
顔の細部が判断を左右する近接ショットでは、Sync Lipsync 2 Proを評価してください。Sync は Pro をより精度の高いグレードとしています。課金は音声の秒数を数え、同期モードに silence は含まれないため、リクエストを流用する前に仕様を確認します。
他には Sync の Lipsync 3、VEED Lipsync 2.0、Lip Sync v1の仕様も検討できます。入力フィールドが同じとは限らないので、各モデルの入力と尺の扱いを、必要な編集と照らして比較してください。
API クイックスタート
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "sync/lipsync-2/lip-sync",
"input": {
"audio_url": "https://example.com/reference.mp3",
"sync_mode": "cut_off",
"video_url": "https://example.com/reference.mp4"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
認証、完全なスキーマ、ポーリング、エラー処理は API リファレンスを参照してください。


