はじめに
リップシンクは、手持ちの映像の声を差し替えます。video_url にクリップを、audio_url に新しい音声を送ると、映っている人の口元がそのセリフに合わせて描き直され、演技・照明・構図は撮影したままです。仕上がりは音声と同じ長さで、その音声がサウンドトラックとして入ります。
主な機能とハイライト
描き直すのは口元だけ
表情、頭の動き、衣装、背景はすべて元のフレームから来るので、すでに使えるテイクはそのまま使えます。変わるのは、その人が何を話しているように見えるかだけです。顔のほかの部分には手を加えないため、新しいセリフは元の演技に合ったものにしてください。落ち着いた顔に叫ぶ音声を合わせても、落ち着いた顔のままです。
長さを決めるのは音声
仕上がりはクリップではなく録音に合わせます。音声が動画より長い場合は動画をループして埋め、返ってくるファイルは音声の終わりより0.5秒ほど長くなることがあります。画は送った動画の解像度を 720p 前後まで保ちます。1280×720 のテストクリップは 1280×720 で、1920×1080 のクリップも 1280×720 で返ってきました。
リクエストパラメーター
| パラメーター | 必須 | 説明 |
|---|---|---|
video_url | はい | 声を差し替える映像。顔は1つで、画面の中で十分な大きさがあり、ほぼカメラを向いているもの。 1 文字以上 |
audio_url | はい | 新しい話し声。3〜60秒の MP3 か WAV です。 1 文字以上 |
料金
$0.012 / 出力秒
送った音声の秒数ごとに、1 秒単位の切り上げ・最低 3 秒で課金されます。返ってくる動画は音声より 0.5 秒ほど長くなることがありますが、その分は課金されません。
ユースケース
撮り直さずに吹き替え
インタビュー、お客様の声、プレゼンターのテイクを残したまま、翻訳した音声に差し替えます。演技は撮影したままで、口の動きは現場で録った言語ではなく新しい言語に合わせて動きます。
無音の生成クリップに声を
多くの動画モデルは無音の映像を返します。セリフを録音または生成してクリップと一緒に送れば、画面の人物が口をでたらめに動かしたり黙っていたりせず、実際にそのセリフを話します。
プロンプトガイドと実践のヒント
口元が映っている映像を選ぶ
人物は1人、顔が十分な大きさで、ほぼカメラを向いていること。カットの切り替わり、強いモーションブラー、口元近くの手、ごく小さな顔では同期がずれます。固定ショットなら、音声がクリップより長いときのループの継ぎ目も目立ちません。
吹き替えのつもりでセリフを用意する
BGM の入っていないドライな話し声を書き出し、前後の無音を削ってください。課金される長さは音声で決まります。1ファイル3〜60秒に収め、長い台本は自然な区切りで分けます。
待ち時間を見込んでおく
このセットで最も時間のかかるツールで、10秒のセリフに約4分かかりました。早めに送信して気長にポーリングし、台本全体を送る前に短いセリフで組み合わせを試してください。
API クイックスタート
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "spicyapi/lip-sync-v1/lip-sync",
"input": {
"audio_url": "https://example.com/reference.mp3",
"video_url": "https://example.com/reference.mp4"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
認証、完全なスキーマ、ポーリング、エラー処理は API リファレンスを参照してください。
