はじめに
InfiniteTalk の lip-sync は、元映像と差し替え録音を使い、口、頭、体の動きを新たに生成する発話の演技を作ります。任意のシーン指示と白い話者マスクでリクエストを導き、MP4 の尺は音声に従います。
| 項目 | 値 |
|---|---|
| 入力 | 動画 音声 |
| 出力 | 動画 |
| モデルの識別 | MeiGen-AI InfiniteTalk、標準オープンウェイトモデル、Apache-2.0 |
| タスク名 | meigen-ai/infinitetalk-v1/lip-sync |
| メディアの組み合わせ | 必須の |
| 入力音声の長さ | 3〜600 秒、出力尺を決定 |
| 出力グレード | 既定は 480p、任意の 720p は単価 2 倍 |
| 任意の演出 |
|
| 長さの計算 | 音声秒数を切り上げ、最低 3 秒 |
| 花店の実測出力 | 1264×720、25 fps、6.10 秒 |
| 受け取り形式 | ポーリングまたはコールバックによる非同期の MP4 |
| 保管期間 | 出力は 14 日後に削除 |
主な機能とハイライト
土星についての短い説明
当社のテストでは、天文家が屋上の望遠鏡のそばで約 9 秒話しました。録音に沿った発話と控えめで自然な動きが見られました。
バーのポートレートがせりふを話す
480p のバーの例では、ネクタイを緩めた男性が 'Last call already? Then stay for one more.' と話します。温かなバーの背景の前で、自然な頭の動きが加わりました。
人物を指定して細部を 1 つ変える
複数人の写真では任意マスクで話し手を白く示します。seed を固定すれば prompt や解像度を 1 項目ずつ変えて比較しやすくなりますが、同一結果の約束はありません。
リクエストパラメーター
| パラメーター | 必須 | 説明 |
|---|---|---|
video_url | はい | lip-sync に必須の、対象人物が明瞭に見える映像です。既定値はありません。 1 文字以上 |
audio_url | はい | lip-sync に必須の差し替え録音で、3〜600 秒、既定値なしです。出力尺と課金尺を決めます。 1 文字以上 |
prompt | いいえ | lip-sync の表情、動作、照明を指示する任意の文章で、2,000 文字までです。省略可能で、セリフは音声から来ます。 1 文字以上 · 2000 文字以内 |
mask_url | いいえ | lip-sync で複数人から話者を選ぶ任意の画像です。対象人物を白く示します。 1 文字以上 |
resolution | いいえ | 動画 lip-sync は 480p と 720p に対応し、既定値は 480p です。720p の課金対象の各秒は 480p の 2 倍の単価です。 |
seed | いいえ | 動画 lip-sync の比較用の任意のランダム seed です。ここでは数値範囲や既定値は指定されていません。 |
料金
3〜600 秒の入力音声を整数秒へ切り上げ、最低 3 秒分を計上します。720p の単価は 480p の 2 倍です。元動画の尺、マスク、プロンプト、seed は課金に影響しません。
| 仕様 | 料金 |
|---|---|
| $0.036 / 秒 |
| $0.072 / 秒 |
ユースケース
静止したキャラクターに録音した返答を話させる
出発点が写真なら talking-avatar を使います。録音が声とセリフを担い、モデルが話す動きを加えます。
既存映像の雰囲気を変える
元映像から新しい話し方を作る場合は lip-sync を選びます。花の工房のテストでは、ためらいから喜びへ変わる録音によって、頭を上げる動き、明るい表情、肩の動きが加わりました。
ナレーションからプレゼンター動画を作る
プレゼンターの写真や動画に、準備した説明音声を合わせます。3〜600 秒の音声に対応しています。長い録音を使う場合は結果全体を見直してください。
複数人の場面で 1 人を指定
mask_url で渡すマスクに、話してほしい人物を白く示します。元メディア内の人物を選ぶための設定です。掲載した花店のテストは、話者 1 人でマスクを使っていません。
長い生成の前に話し方を調整
短い録音と控えめな動作プロンプトで 480p を試します。seed を固定して指示を一つ変えた結果を比べ、最終動画を単価 2 倍の 720p にするか決めてください。
プロンプトガイドと実践のヒント
映像と新しい録音を組み合わせます
video_urlに話者が明瞭な映像、audio_urlに 3〜600 秒の録音を指定します。両方のメディアの権利を確かめ、登場する人物は成人とし、なりすましを避けてください。演技と単価を設定します
必要に応じて話者選択の
mask_urlや動作指示の prompt を加えます。既定の 480p を使うか、秒単価 2 倍の 720p を選びます。比較用の seed は任意です。発話動画を取得して評価します
ポーリングまたはコールバックで非同期の結果を受け取ります。録音を再生しながら新しく生成された表情と姿勢を見て、14 日後の削除までに MP4 を保存します。
話し方も変わる吹き替え
MeiGen-AI の InfiniteTalk は、Apache-2.0 で公開された標準のオープンウェイトモデルです。meigen-ai/infinitetalk-v1/lip-sync は映像と新しい録音を受け取り、MP4 を生成します。口元のアニメーション、頭の動き、表情、姿勢をまとめて再生成する場合があります。新しい言葉を見た目の演技にも反映したいときに選ぶ処理です。
MeiGen-AI はこの手法を、疎なフレームを用いた動画吹き替えと説明しています。元映像が人物の同一性、背景、カメラの状況を提供し、音声が生成される動きを導きます。元の動きがフレームごとに再現されると考えず、演技全体を確認してください。声は送信録音のもので、このエンドポイントでクローンする機能はありません。
パラメータの役割
| フィールド | 必須 | 受け付ける値と役割 |
|---|---|---|
video_url | はい | 対象人物が鮮明に見える元映像です |
audio_url | はい | 3〜600 秒の録音で、声と出力尺を提供します |
mask_url | いいえ | 話者を選ぶ画像です。複数人が映る場合、対象を白く示します |
prompt | いいえ | 表情、動作、照明を 2,000 文字までで説明します |
resolution | いいえ | 既定値は 480p です。720p は秒単価が 2 倍です |
seed | いいえ | 一つの入力変更を比較するための固定ランダム seed です。再現性は保証しません |
長さ専用のフィールドはないため、録音を希望の尺に仕上げます。録音より長い元映像は、結果で短くなります。花店の例では、6.04 秒の映像と 6.1 秒の音声から 6.10 秒の出力も得られました。この短い延長で、入力尺のあらゆる差の挙動を確認したわけではありません。
録音に応じた料金
入力音声の秒数を次の整数に切り上げ、最低 3 秒分として課金します。720p の単価は 480p の 2 倍です。元動画の尺、話者マスク、プロンプトの文章、seed の選択はこのルールに影響しません。現在の単価は InfiniteTalk のモデル価格を確認してください。
花店のリクエストは録音 6.1 秒で、720p の 7 秒分として計上しました。このトラックが発話の長さと課金尺の両方を決めるため、間や末尾も含め、まず録音全体を確認します。元映像を短くしても、課金する音声の秒数は減りません。
場面と録音を準備します
話者を見やすくします
対象人物の表情と動きを明瞭に評価できる映像を選びます。顔、動画、声の許可は個別に確かめてください。映る人物は全員成人でなければならず、結果で他人になりすましてはいけません。複数人の場面では、対象話者を白くした mask_url を渡します。マスクは人物を選ぶもので、音声トラックの代わりにはなりません。
演技に関する指示を書きます
実際のセリフは録音に入れてください。静かな工房の場面なら、「話者が顔を上げ、小さく驚いたほほえみと穏やかな肩の動きを見せます。工房の暖かな光は一定に保ちます」といった任意の指示が使えます。入力映像の場面に合わせて調整します。文章は目に見える話し方を導けますが、audio_url の代用にはなりません。
同じ素材、seed、解像度を保ちながら、指示を一つ変えて比較します。seed の固定は比較の助けになりますが、同じフレームや身振りを約束しません。両方を音付きで見て変化を確かめます。
サンプルで確認した内容
rainy-florist-surprise の例は、864×496、6.04 秒の静かな工房映像から始めました。6.1 秒の録音は、ためらいから喜びへ移ります。動きのプロンプトと resolution: 720p により、1264×720、25 fps、6.10 秒の結果が返りました。言葉に口元が合う間、女性は頭を上げ、表情を明るくし、肩と上半身を動かしました。
別の 480p のテストでは、5.4 秒の動画と 4.55 秒の録音から、512×768、25 fps、4.55 秒の出力が返りました。口元と頭の姿勢が新しいセリフに追従しました。短い動画の実測であり、特定のフレームサイズや 10 分間の録音全体の品質を保証するものではありません。
結果を取得して処理方法を選びます
リクエストは非同期です。送信後のタスク ID を保管し、ポーリングかコールバックで MP4 を受け取ります。録音の終わりまで、発話のタイミング、表情の変化、頭の動き、場面を見直します。生成ファイルは 14 日保管した後に削除するので、採用する出力は期限前に保存してください。
元素材が静止画なら、InfiniteTalkの写真用 talking-avatar エンドポイントを使います。既存映像で、元の話し方の保持や異なる尺の合わせ方が重要なら、Sync Lipsync 2と比較してください。写真から身振り、表情、カメラの文章指示を使う場合は、OmniHuman 1.5も検討できます。必要な入力素材と設定で選び、ご自身の利用許可済み素材を使って短い結果を評価してください。
API クイックスタート
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "meigen-ai/infinitetalk-v1/lip-sync",
"input": {
"audio_url": "https://example.com/reference.mp3",
"resolution": "480p",
"video_url": "https://example.com/reference.mp4"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
認証、完全なスキーマ、ポーリング、エラー処理は API リファレンスを参照してください。


