気に入った映像はできたのに、音がありません。アダルト向けのテーマかもしれませんし、一般的なツールでは弾かれそうな、少し艶のあるシーンかもしれません。セリフを言わせたい、口の動きを合わせたい、部屋の物音を少し足したい、そして映像が終わるところで一緒に終わるBGMも付けたい。そんな場面を想定しています。
結論: 音は映像が確定してから付けます。順番は、セリフ、口の同期、効果音、音楽、ミックスです。口の同期には完成した音声が必要なのでセリフが先、音楽の長さは最終カットに合わせる必要があるので音楽は最後です。各工程は単独でテストしましたが、1本のクリップで全工程を通した実測ではありません。以下の順番とミックスの音量は、個別のテスト結果から組んだ手順です。10秒のクリップなら音声まわり全体で約$0.51です。
30秒でわかる要点
- 作り直すか、後から足すか: 特定のセリフを言わせたい場合や、映像を作り直さずに1語だけ変えたい場合は後から足します。動画モデル内蔵の音声は環境音程度なら十分ですが、レンダリングに焼き込まれるため、セリフを間違えるとクリップ全体の料金をもう一度払うことになります。
- 音声: まずMiniMax Speech 2.8 HDから。
(sighs)のような丸括弧のタグは演技として再現されます。 - 口の動き: 顔が映っている動画ならLip Sync v1、静止画ならTalking Avatar v1。
- 効果音: Foley v1。
- 音楽: Studioの動画エディターにある「Score this cut」(このカットに音楽を付ける)。
- ミックス: 声を最大に、効果音はその下、音楽は最も小さく。
10秒クリップの手順例
これは実行記録ではなく手順例です。どの工程も、後述の設定を使います。
- セリフ。 普通の話速は1秒あたり約2.5語なので、10秒のクリップには約22語が入ります。Lip Syncは音声と同じ長さの動画を出力するため、クリップよりずっと短いセリフだと映像も短く切れます。例: "You're late again. (sighs) I almost gave up waiting. Come here, sit with me a minute, and tell me about your whole awful day."
- 音声。 MiniMax Speech 2.8 HDに上のセリフを入れます。感情を付けたい場合は7種類から1つ選びます。MP3またはWAVで書き出し、前後の無音を削ります。費用は約$0.02。
- 口の同期。 Lip Sync v1にクリップと音声ファイルを渡します。費用は音声1秒あたり$0.012で、約$0.12。
- 効果音。 口を同期したクリップにFoley v1を使い、durationは10。プロンプト: "soft fabric rustle, a chair creaking, quiet room tone"。ネガティブプロンプト: "music, speech, voices"。費用は約$0.012。
- 音楽。 エディターで「Score this cut」を開き、ムードはSultry(艶のある雰囲気)、メモは "slow, warm bass and soft electric piano"。費用は$0.36。APIで同じことをするなら、約10秒のインストゥルメンタルを頼むプロンプトでSeed Audio 1.0に1リクエスト送ります
- ミックス(エディター内): 声は100%、効果音は約50%、音楽は20〜30%。音楽はフェードインとフェードアウトを付けます。
合計: 約$0.02 + $0.12 + $0.012 + $0.36 = $0.51。20本なら約$10です。
Studioでのノーコード手順
どの工程もAPIなしで進められます。Studioでの場所は次のとおりです。
| 工程 | 場所 |
|---|---|
| セリフ | ツールパネルのVoiceoverツール |
| 口の同期 | ツールパネルのLip sync、またはビューアーで動画を開いて実行 |
| 効果音 | ツールパネルのAdd sound、またはビューアーの動画から。エディターでも、自分で生成したクリップに対して使えます |
| 音楽 | 動画エディターの「Score this cut」 |
| ミックスと書き出し | エディター。オーディオトラックは最大8本、フェード対応で、書き出しはブラウザー内で行われます |
APIで作った音声や音楽は「Save to My assets」(マイアセットに保存)で保存し、エディターのAudioタブでAssetsから選びます。
ステップ0: 映像を確定させる
まずクリップを最終的な長さに切ります。複数のクリップをつなぐ場合は、つないだ後に音を付けます(つなぎ方はラストフレームでつなぐ方法を参照)。Lip Syncの出力の長さは音声に従います。音声より長いクリップは音声の長さで切られ、音声より短いクリップはループされて、つなぎ目で映像が飛んで見えます。そのため、セリフはクリップに収まる長さで書き、元のクリップはセリフと同じかそれより長くしておきます。
ステップ1: セリフの音声
以下のモデルはいずれも、テストで露骨な台本を最後まで読み上げ、SpicyAPI上では制限なしと表示されています。違いは演技の指示の出し方で、セリフがうまくいかない原因もそこにあります。
| モデル | 演技の指示方法 | キューを入れた結果 |
|---|---|---|
| MiniMax Speech 2.8 HD(Turboも同様) | 7種類の感情、丸括弧のタグ | (sighs)のようなタグは演技された |
| Gemini 2.5 Pro TTS | 30種類の声、スタイル、アクセント、指示メモ | [sighs]のようなキューは演技された |
| Gemini 3.8 Flash TTS | 角括弧のキュー | 息づかいのキューは通常は演技されたが、ときどき文字として読み上げられた(頻度は数えていません) |
| Seed Speech 2.0 | 41種類の声、独立した指示欄 | 演技の指示は台本ではなく指示欄に入れる |
| Chatterbox v1 | 使用権のあるリファレンス音声 | <laugh>のようなタグが単語として読み上げられた |
Chatterboxはキュータグには向いていません。特定の声が必要なときに使い、タグは入れないでください。軽量のGemini 3.8 Flash-Liteもタグの文字を読み上げてしまうため、タグ付きのセリフにはFlashモデルを使ってください。モデルがタグを読み上げると、クリップの中で「sighs」と平坦な声で言われてしまいます。長い台本を流す前に、短い1行で試してください。1段落あたりの費用は、上の表にある各モデルのページで確認できます。
ステップ2: 口の動きを合わせる
顔が映った動画: Lip Sync v1。 口の部分だけを描き直すので、結果は元の映像次第です。人物は1人、顔がある程度大きく、口を何も隠しておらず、ワンカットが続いていることが条件です。音声は3〜60秒のMP3またはWAV。3秒未満のセリフ、たとえばため息ひとつだけだと拒否されるので、無音を足して長くします。返ってくるのは、新しいセリフを音声トラックにした同じクリップで、長さは音声と同じ、画質は最大で約720pです。料金は音声の秒数を切り上げて計算されます。映像のチェック項目はリップシンクのガイドにあります。
静止画だけの場合: Talking Avatar v1。 画像と音声ファイルを渡すと、話す映像が返ってきます。出力はコンパクトなトーキングビューで、シーン全体ではありません。動きのあるシーンには、動画に対してLip Syncを使ってください。ポートレートと音声の制限はTalking Avatarガイドにあります。
不要なケース: 画面上に話している人がいなければ、この工程は飛ばします。
ステップ3: 効果音
Foley v1は、MP4(最大90 MB)を受け取り、生成した音声を付けたMP4を返します。duration_seconds(1〜30)にはクリップの長さを設定してください。この値が課金対象です。プロンプトには音の発生源を書き、ネガティブプロンプトで話し声と音楽を除きます。手順例のとおり、プロンプトは "soft fabric rustle, a chair creaking, quiet room tone"、ネガティブプロンプトは "music, speech, voices" です。ネガティブプロンプトに入れなかった場合に声のような音が出るかは試していないので、必ず入れてください。
Foleyの音声は、ミックスの中の1本のトラックとして扱います。自分の声のファイルは別のトラックに分けて置いてください。FoleyのMP4に話したセリフが残っていて二重に聞こえる場合は、エディターでそのクリップ自身の音声を0にして、声のトラックにセリフを任せます。タイミングの確認方法とMP4からの音声の取り出し方はFoleyガイドにあります。
ステップ4: クリップと一緒に終わる音楽
5〜15秒のクリップなら: エディターの「Score this cut」。 ムード(Tender、Playful、Sultry、Tense、Epic、Bittersweet)を選び、必要なら1行のメモを足します。セリフがある場合は「Keep it under voices」(声の下に収める)をオンにします。このスイッチはスコアの抑揚を、声の入る余地が残るように整えるもので、トラックの音量を下げるわけではありません。カットの長さに合わせたインストゥルメンタルが作られ、長さは最短10秒、最長で約2分。オーディオトラックの0:00に置かれます。長さはリクエストに書き込むだけで厳密には指定できないため、少し長め・短めになることがあります。オーディオトラック上で終わりを切り、フェードアウトさせてください。料金はボタンに表示されます(執筆時点で$0.36)。
そのほかの方法:
- APIで使う: Seed Audio 1.0。 「Score this cut」の裏で動いているモデルです。1つのプロンプトで最長約2分のMP3が1本返り、料金は一律$0.36。インストゥルメンタルを頼み、欲しい長さをプロンプトに書きます。声、音楽、環境音まで含めたシーン全体をテキストだけで作りたいときも、同じプロンプトで話者や部屋の音を指定できます。プロンプトの例はSeed Audioガイドにあります。
- ショートフィルム: ショートフィルムツールの「Score this film」(この作品に音楽を付ける)は、作品のログライン、ルック、ムードからインストゥルメンタルのスコアを作り、セリフの下に小さく混ぜます。
スコアはインストゥルメンタルにしてください。MiniMax Music 3.0は曲を丸ごと作り、長さも自分で決めるため、クリップの下に敷くBGMには向きません。
ステップ5: ミックス
声のファイルをトラック1、Foleyの音声をトラック2、音楽をトラック3に置きます。エディターにはオーディオトラックが最大8本あり、フェードも使え、音声はローカルファイルかマイアセットから読み込めます。最初の目安(未検証)は、声100%、効果音約50%、音楽20〜30%です。ヘッドホンだけでなく、スマートフォンのスピーカーでも聴き、言葉と言葉の間でも効果音が聞こえるところまで効果音を上げます。音楽はフェードイン、フェードアウトで、いきなり始まったり音の途中で切れたりしないようにします。接触音のような効果音の立ち上がりの部分にフェードがかからないよう注意してください。あとでカットを変えたときは、新しい長さで音楽を作り直します。
音声まわりの費用
| 工程 | 課金単位 | 10秒クリップの場合 |
|---|---|---|
| 音声(TTS) | モデルにより、音声1秒あたり、または1,000文字あたり | 約$0.02 |
| Lip Sync v1 | 音声1秒あたり$0.012(切り上げ) | 約$0.12 |
| Foley v1 | 指定した長さ1秒あたり$0.0012 | 約$0.012 |
| Score this cut / Seed Audio 1.0 | 1リクエストにつき一律 | $0.36 |
音楽は最大の単独項目で、それ以外の合計の約2倍です。音声と効果音は安いので、やり直しがききます。やり直しで費用がかさむのはLip Syncなので、先に声を確定させてください。
FAQ
リップシンクは必要ですか? 画面の顔が話しているように見せたい場合だけです。シーンにナレーションを重ねるなら不要です。
映像と一緒に終わる音楽はどう作りますか? エディターの「Score this cut」を使ってください。カットの長さに合わせてスコアが作られるので、最後の1秒ほどを切るかフェードアウトさせます。
無音のAI動画に音を付けられますか? はい。Foleyが映像から効果音を作り、音声と音楽の工程でセリフとスコアを足します。
