はじめに
video_url に 1〜300 秒の人物動画、audio_url に差し替え用の音声を指定します。MP4 は元の映像サイズとフレームレートを維持し、音声をモノラル AAC に再エンコードします。録音が短いと動画を切り詰め、長いと末尾のフレームを逆再生して延長します。
| 項目 | 値 |
|---|---|
| 入力 | 動画 音声 |
| 出力 | 動画 |
| モデルの開発元 | sync. · lipsync-3、別名 sync-3 |
| 受け付ける組み合わせ |
|
| 元動画の範囲 | 1〜300 秒 |
| 返されるメディア | MP4、元の解像度とフレームレート、モノラル AAC 音声 |
| 尺の調整 | 音声に従い、映像を切り詰め、またはフレームの逆再生で延長 |
| 課金の基準 | 入力動画の秒数を切り上げ |
| 観測した処理時間 | 短い動画の 2 回の処理で約 76 秒と 173 秒 |
| 非対応の入力・設定 | 静止画、内蔵 TTS、 |
主な機能とハイライト
選んだテイクを編集に活用
元動画が人物の映像を、差し替え用の録音がセリフを担います。lipsync-3 は口元を調整した MP4 を返します。プレゼンターのセリフ修正や許可済み講座の翻訳では、文章のプロンプトではなく、この 2 つの素材を用意します。
音声に合わせて終わり方を考える
実測では 6.48 秒の音声を使うと、5.00 秒の元動画が末尾からフレームを逆再生して 6.48 秒に延長されました。逆向きの動きが気になる場面では、目的のショット尺に近い音声を使い、編集に組み込む前に末尾を確認してください。
画面サイズを保ち、音のミックスを確かめる
測定した 2 本は元の解像度とフレームレートを維持しました。1280×720 は 24 fps、1358×680 は 25 fps でした。出力音声はモノラル AAC なので、映像サイズとは別に最終的な音声ミックスを確認します。
顔が見えにくくなる場面も試す
sync. のモデル資料では、sync-3 はシーンの文脈を参照し、遮蔽物を自動で処理すると説明されています。自分の映像で代表的な振り向きや顔の前を手が横切る場面を試してください。今回の 2 回の測定は長さと処理時間の観察であり、そうした場面の画質を採点した比較ではありません。
リクエストパラメーター
| パラメーター | 必須 | 説明 |
|---|---|---|
video_url | はい | 人物の顔が映った動画の必須 URL です。元動画は 1〜300 秒で、課金時は長さを 1 秒単位で切り上げます。 1 文字以上 |
audio_url | はい | 差し替え用音声の必須 URL です。今回のテストでは WAV と MP3 を使いました。 1 文字以上 |
料金
$0.162 / 秒
1〜300 秒の入力動画を対象に、1 秒単位で切り上げて課金します。音声の長さは料金を変えません。範囲外の動画は課金前に拒否され、生成に失敗した場合は料金が発生しません。
ユースケース
収録済みの講座を別言語に展開
利用許可のある講師を映した lesson.mp4 と、翻訳して別録りした lesson.wav を組み合わせます。渡した音声に口元を合わせた MP4 が返ります。翻訳と録音は呼び出し前に済ませてください。
商品発表の言い間違いを修正
元のプレゼンター映像と、正しい商品名を含む文を録音した WAV を送信します。返された動画は新しいセリフに合わせて動くため、編集内で差し替える前に修正箇所を確認できます。
地域別の広告動画を用意
出演者の映像を活用し、市場ごとに承認済みのナレーションを別ファイルで用意します。動画と音声の組み合わせごとに口元を調整した MP4 が生成され、各リクエストは元動画の長さに基づいて課金されます。
インタビューの抜粋に別の声を合わせる
使用許可のあるインタビューの抜粋と、差し替え用の MP3 音声を組み合わせます。音声のほうが長いと、元動画の末尾から逆再生して音声分の映像を補うため、完成した MP4 の最後のフレームを確認してください。
プロンプトガイドと実践のヒント
人物動画を選んで切り出す
口元が読み取れるテイクを選び、アップロード前に長さを測ります。送信する動画を 1〜300 秒に収め、課金対象にする必要のない映像を除いてください。
差し替え用の音声を仕上げる
セリフを音声ファイルとして用意します。今回のテストでは WAV と MP3 を使いました。切り詰めや逆再生による延長を避けたい場合は、目的の編集尺に音声を合わせます。
動画と音声の URL を送る
POST /api/v1/jobs/createTask に model を sync/lipsync-3/lip-sync として送信し、input に
video_urlとaudio_urlを含めます。Bearer API キーを付け、下のリクエスト例を JSON 本文として使ってください。MP4 を取得して確認する
返された taskId を保存し、/api/v1/jobs/recordInfo?taskId=YOUR_TASK_ID で完了を確認します。完成したファイルをダウンロードし、子音の発音、口の動きの切り替わり、末尾を音声と照らし合わせます。
既存映像に使う Sync Lipsync 3 API
Sync Lipsync 3 API は sync. の lipsync-3(別名 sync-3)を使い、人物動画の口元を差し替え用の音声に合わせます。sync/lipsync-3/lip-sync に video_url と audio_url を送ると、元の解像度とフレームレートを保ち、モノラル AAC 音声を収めた MP4 が返ります。
sync. のモデル資料では、広い範囲のシーンの文脈を利用し、遮蔽物を自動検出すると説明されています。以下のテストで測定したのはメディアの特性、長さ、処理時間です。
リップシンクのリクエストを送る
公開モデル名と 2 つのメディア URL を input に含めてタスクを作成します。この例を request.json として保存し、仮の URL を置き換えてください。
{
"model": "sync/lipsync-3/lip-sync",
"input": {
"video_url": "https://example.com/presenter.mp4",
"audio_url": "https://example.com/replacement.wav"
}
}
SpicyAPI キーを使ってファイルを送信します。
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
--data-binary @request.json
data.taskId を保存し、同じ認証で GET /api/v1/jobs/recordInfo?taskId=YOUR_TASK_ID を照会します。タスクの状態から完了を確認してください。
レスポンスの構造
完了したタスクでは data.output.assets から動画を取得できます。以下は一部のフィールドを省略し、識別子と URL を仮の値にした例です。メディアの測定値は WAV のテストに対応します。
{
"code": 200,
"msg": "success",
"data": {
"taskId": "job_example",
"model": "sync/lipsync-3/lip-sync",
"state": "succeeded",
"output": {
"assets": [
{
"url": "https://example.com/dubbed-result.mp4",
"mime": "video/mp4",
"width": 1280,
"height": 720,
"durationSeconds": 4.58
}
]
}
}
}
パラメーターと利用できる設定
このエンドポイントには元動画の URL と音声の URL を送ります。開発元の API に固有の設定は含めません。
| フィールド | 必須 | 制御する内容 | 準備 |
|---|---|---|---|
video_url | はい | 1〜300 秒の人物動画。解像度とフレームレートはこの動画に従います | 不要な映像を除き、口元の見え方を確認します |
audio_url | はい | 新しいセリフと完成動画の尺 | セリフを別途用意します。測定には WAV と MP3 を使いました |
画像入力、内蔵 TTS、sync_mode はこのエンドポイントでは提供していません。sync. 自身の API には追加の入力手順が記載されていますが、その例がここの受付フィールドを定めるわけではありません。
出力尺と料金
入力動画の秒数を切り上げて課金します。現在の単価はこのページの表示を参照してください。返された MP4 が元動画より短くても長くても、音声の長さは課金数量に影響しません。範囲外の動画は課金前に拒否され、失敗した生成には料金がかかりません。
返される映像の長さは、差し替え用の録音で決まります。セリフが短いと切り詰め、長いと元動画の末尾からフレームを逆再生して延長します。逆向きの動きが気になる場合は音声をショット尺に合わせてください。動作を切り替えるモードは公開されていません。
短い動画のテストで確認したこと
2026 年 11 月 13 日のファクトシートには、短い動画 2 本の出力尺と処理時間が記録されています。長尺動画の性能や、映像品質の順位を示すものではありません。
| 元動画 | 入力音声 | 返された MP4 | 処理時間 |
|---|---|---|---|
| 5.04 秒、1280×720、24 fps | 4.55 秒 WAV | 4.58 秒、1280×720、24 fps | 約 76 秒 |
| 5.00 秒、1358×680、25 fps | 6.48 秒 MP3 | 6.48 秒、1358×680、25 fps | 約 173 秒 |
どちらも元の画面サイズとフレームレートを維持し、音声はモノラル AAC でした。WAV の例から、エンコード後の動画尺と音声尺にはわずかな差が生じることがわかります。
判断に役立つ品質試行を用意する
品質の試行には、代表的な話しているショットとセリフだけの音声を使います。sync. のトラブル対処ガイドでは、明るく顔がよく見える映像と、音楽や話者の重なりがない音声を勧めています。
- 映像と声の両方を利用できる、短いテイクを選びます。
- 差し替えるセリフを仕上げ、映像との長さを比較します。
- 口の閉じ方、振り向き、口元を横切る手を確認します。
- 末尾の逆向きの動きと、モノラル AAC のミックスを確かめます。
講座動画に翻訳済みの録音を組み合わせれば別言語への展開になり、プレゼンター映像に正しい商品説明の文を組み合わせればセリフの修正になります。翻訳と録音は呼び出し前に済ませてください。
制限と問題への対処
失敗したリクエストを調べる前に、元動画の長さと 2 つの URL フィールドを確認します。動画の範囲は 1〜300 秒です。開発元のリクエストをそのままコピーせず、sync_mode などの非対応フィールドを除いてください。メディアを取得できない場合は、各 URL が目的のファイルを返し、処理中もアクセスできるか確認します。
結果が予想より短い場合は、まず入力音声の長さを確認してください。音声が元動画より長いときに末尾が逆向きに動くのは、説明されている延長動作です。タイミングを調べる際は MP4 と元ファイルを並べて確認します。
lipsync-3 と関連モデルを選ぶ
候補のモデルに同じ許可済みの入力ペアを渡し、結果を見て選びます。
| 選択肢 | 検討する場面 | 今回の根拠 |
|---|---|---|
| lipsync-3 | 既存の人物動画とセリフを組み合わせる場合 | 短い動画で 2 回の実測があります |
| lip-sync/v1 | SpicyAPI で費用を抑えたリップシンクを検討する場合 | 画質と待ち時間の直接比較はありません |
画像入力、内蔵 TTS、同期モードの選択が必要なら、それらの機能を明記した別の API が必要です。使用する権利のある映像と音声を用い、声を差し替えた結果で実在の人物になりすまさないでください。
API クイックスタート
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "sync/lipsync-3/lip-sync",
"input": {
"audio_url": "https://example.com/reference.mp3",
"video_url": "https://example.com/reference.mp4"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
認証、完全なスキーマ、ポーリング、エラー処理は API リファレンスを参照してください。


