本文へスキップ

アニメを実写化する AI:イラストを写真に、または実写映像の中へ

アニメやイラストを 1 枚 $0.03 でリアルな写真に変換し、同じキャラクターを実写映像に出演させる。実際の結果、制限、API 例。

執筆
Lydia
公開
読了時間
約 10 分
バーガンディのコートを着た女性のアニメ調イラストと、Anime to Real で作った同じ女性のリアルな写真が並んでいる。

「アニメを実写にしたい」には 2 つの意味があります。1 つは静止画で、イラストを写真として見ること。もう 1 つは動きで、そのキャラクターが本物の景色の中を歩く姿を見ることです。ネットの変換ツールの多くは前者しかできません。この記事では、今日から試せる 2 つのツールで両方を扱います。Anime to Real はイラストをリアルな写真に変換し、料金は 1 枚 $0.03 の定額です。MiniMax H3 Character Swap は、あなたが用意した動画クリップの人物を、描かれたキャラクターや 3D キャラクターに置き換え、実写の人物として描き出します。

以下の画像と動画の人物はすべて架空の成人です。画像はモデル自身のサンプルなので、モデルページを開けば同じ入力で再現できます。

この 2 つのステップをつなげてはテストしていません。 動画の例で参照にしたのは、画像ツールで作った写真ではなく、描かれた元のイラストです。また、動画ルートにはあなた自身の実写クリップが必要です。テストに使ったのは、きちんと服を着た普通の人物と場面で、成人向けの内容はここでは試していません。

ステップ 1:イラストが写真になる

Anime to Real は、アニメのワンシーン、カートゥーン、イラスト、絵画を 1 枚受け取り、同じ場面のリアルな写真を返します。ポーズ、服装、背景はそのままです。Qwen-Image-Edit-2511 に Anything2Real LoRA を組み合わせて動かすので、重みを自分で用意したり ComfyUI のワークフローを組んだりする必要はありません。結果は通常 16〜21 秒で届きます。

シダの温室に立つ女性のアニメ調キービジュアル。 プロンプトは 1 行だけでした。「a woman in her thirties with long silver hair in a burgundy wool coat in a glass greenhouse」。

シダの温室に立つ、長い銀髪でバーガンディのコートを着た女性のアニメイラスト。入力画像。
入力:イラスト。
同じ女性が同じコートで同じ温室に立つ、Anime to Real によるリアルな写真。
出力:コート、髪、温室がそのまま残った。

夕暮れのキャビンのポーチに立つひげの男性。 マグカップの湯気、ランタン、秋の谷が写真として戻ってきました。

丸太小屋のポーチで湯気の立つマグを持つ、黒いピーコートの男性のアニメイラスト。入力画像。
入力:イラスト。
夕暮れのポーチで湯気の立つマグを持つ、チャコールのピーコートを着たひげの男性のリアルな写真。
出力:同じポーチ、同じランタン、同じ谷。

3 つ目の例、雪の鉄道ホームでは、蒸気機関車、街灯、傘が元の位置のまま残りました。

雪の降る鉄道ホームで傘をさす二人と、背後の蒸気機関車のリアルな写真。
雪のホーム:機関車、街灯、傘は元の位置のまま。

効くこと、効かないこと

  • 人物を成人として描写する。 プロンプトは任意です。モデルページには、短い説明を添えると肌、布、光がリアルになるとあります。誰が見ても成人とわかるよう、年齢を書いてください(「a woman in her early thirties」など)。
  • 平坦な画風は未検証。 私たちの例はどれも描き込まれたキービジュアル調のイラストです。とても平坦で単純化された画風は試していないため、どう変換されるかは言えません。
  • 文字。 テストのうち 2 回は、絵に枠とタイトル文字、または駅の看板がありました。プロンプトに「no text and no border」を足すと、どちらも消えました。
  • アスペクト比は空欄のままだと元画像の形を保ちます。 9 種類から選ぶこともでき、どの比率でも料金は同じです。

ステップ 2:キャラクターが実写の中で動く

写真は「どんな見た目になるか」に答えます。動画は「本当にそこにいたらどう見えるか」に答えます。MiniMax H3 Character Swap は、クリップの中の 1 人を画像 1 枚のキャラクターに置き換え、元の演技、カメラ、シーンを保ちます。描かれたキャラクターや 3D アニメのキャラクターを参照にすると、そのキャラクターの実写版を起用します。カートゥーンを映像に貼り付けるわけではありません。

使ったのは理髪店のクリップ 1 本です。白いシャツの男性が立ち上がり、鏡で髪を整えて出ていきます。参照は 2 つ用意しました。

コミックのヒロイン。 参照は、赤い髪、茶色のフライトジャケット、オリーブ色のカーゴパンツのペン画です。

赤い髪で茶色のフライトジャケットとオリーブ色のカーゴパンツを着た女性のペン画コミックイラスト。キャラクター参照。
参照:イラスト、全身、無地の背景。
理髪店のクリップの 1 コマ。茶色のフライトジャケットの赤い髪の女性が鏡の前で髪を整えている。
結果のポスターフレーム。
白いシャツの男性がコミックのヒロインに置き換わった理髪店のクリップ。768p で 5 秒。

3D アニメのキャラクター。 参照は、グレーのひげで紺のピーコートを着た男性のレンダリングです。

無地の青い背景に立つ、笑顔でグレーのひげの 3D アニメ風の男性と紺のピーコートのレンダリング。キャラクター参照。
参照:3D レンダリング。
同じ理髪店のクリップの 1 コマ。紺のピーコートでグレーのひげの男性が鏡の前で髪を整えている。
結果のポスターフレーム。
元の男性の代わりに紺のピーコートの 3D アニメの男性が登場する、同じ理髪店のクリップ。

どちらのクリップでも、髪の色、ひげ、ジャケットやコート、ズボンが引き継がれ、新しい人物は元の映像と同じタイミングで立ち上がり、鏡を確かめ、出ていきました。引き継がれないのは画風です。線画やセル調の陰影は消えます。結果は実写の人物だからです。カートゥーンの見た目を残したいなら、このルートではなく、スタイライズ向けの動画モデルが合います。

参照画像はこう用意する

  • 頭から足先までの全身を、無地の背景で用意するのが最もうまくいきました。ここで使った参照はどちらも全身です(3D の方は無地の青い背景)。半身の参照、背景が込み入った画像、複数人が写る画像は試していません。
  • プロンプトでは誰を置き換えるかを短く書きます(「the man in the white shirt」)。空欄なら主役の人物です。
  • カットのない 1 ショットを使います。クリップは最初の 15 秒だけが使われます。長さとアスペクト比はクリップに合わせてください。
  • 上位の解像度に払う前に、480p で入れ替えを確認しましょう。

実際に当たった制限

  • 成功率は測っていません。例のために作った 768p の入れ替え 7 回のうち、採用したのは 4 回です。残る 3 回は、背景にダンサーが増えたのが 1 回(シードを変えて解消)、元の服が残ったのが 2 回で、どちらも二人ともジャンプスーツ姿のケースでした。理髪店の 2 回(描かれた参照と 3D の参照)は、どちらも 1 回目でうまくいきました。まず 480p で確認してください。
  • 1 リクエストにつき 1 キャラクターです。2 人を置き換えるには、クリップを 2 回実行し、毎回別の人物を指定します。
  • 出力は指定した長さで新しく生成されたクリップで、元のファイルの 1 人だけを塗り替えたものではありません。そのため背景の細部が変わることがあります。

コードから両方を呼ぶ

写真は 1 回のリクエストです。

bash
curl https://api.spicyapi.ai/api/v1/jobs/createTask \
  -H "Authorization: Bearer $SPICY_API_KEY" \
  -H "Idempotency-Key: $(uuidgen)" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "spicyapi/anime-to-real-v1/edit",
    "input": {
      "image_url": "https://example.com/drawing.webp",
      "prompt": "a woman in her thirties with long silver hair in a burgundy wool coat in a glass greenhouse",
      "aspect_ratio": "3:4",
      "output_format": "jpeg",
      "seed": 424242
    }
  }'

動画も同じリクエストの形です。

bash
curl https://api.spicyapi.ai/api/v1/jobs/createTask \
  -H "Authorization: Bearer $SPICY_API_KEY" \
  -H "Idempotency-Key: $(uuidgen)" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "minimax/h3-character-swap/video-edit",
    "input": {
      "video_url": "https://example.com/barbershop.mp4",
      "image_url": "https://example.com/character-full-body.jpg",
      "prompt": "the man in the white shirt",
      "duration_seconds": 5,
      "aspect_ratio": "16:9",
      "resolution": "480p",
      "seed": 42
    }
  }'

どちらもタスク ID が返ります。流れはタスクガイドにあります。Web の Playground では、同じ入力がフォームになっています。

料金

  • Anime to Real: 出力画像 1 枚につき $0.03 の定額。アスペクト比と形式で料金は変わりません。
  • MiniMax H3 Character Swap: 解像度ごとの秒課金で、480p は $0.06、540p は $0.09、768p は $0.135、1080p は $0.27 です。課金されるのは出力の秒数と元動画の秒数(開始した秒ごと、元動画は最大 15 秒)で、これに 1 リクエストあたりキャラクター画像の料金 $0.02 が加わります。元の 5 秒クリップから 5 秒の出力を作ると課金対象は 10 秒で、480p なら $0.62(10 × $0.06 + $0.02)、768p なら $1.37(10 × $0.135 + $0.02)、1080p なら $2.72(10 × $0.27 + $0.02)です。正確な合計はモデルページのライブ見積もりで確認できます。

同意と肖像

動画のルートは、処理する権限のある映像と肖像にのみ使ってください。本人、署名済みの同意書がある出演者、自分で生成した合成の人物です。実在の人物を、本人の明示的で十分な説明に基づく同意なしに、親密な内容や名誉を傷つける映像に入れる用途、誰かへのなりすまし、未成年が映る映像への使用は禁止です。写真が公開されていることは同意ではなく、同意はプロジェクト間で引き継げません。自分が権利を持たない描かれたキャラクターには著作権もありえるので、公開してよい範囲を確認してください。

どちらを使うか

  • 写真だけ欲しい: Anime to Real。
  • キャラクターに実写の場面で動いてほしい: 自分のクリップで Character Swap。入れ替えの挙動の詳細はAI で動画の人物を入れ替える方法をご覧ください。
  • 写真のポーズをあとで変えたい: Pose Changer。

FAQ

無料で試せますか? どちらのモデルにも無料枠はありません。写真は 1 枚 $0.03 で、5 秒 480p の入れ替えは実行前に正確な見積もりが表示されます。

アニメだけでなく 3D キャラクターや絵画でも使えますか?服装とポーズは保たれますか? 画像ツールはアニメのワンシーン、カートゥーン、イラスト、絵画なら何でも受け付けます。私たちの実行では、構図、ポーズ、服装、背景は絵に従い、顔と肌は新しく描き起こされました。動画ルートは 3D レンダリングを参照として受け付けました。

アニメの場面を実写動画にできますか? 2 つのステップをつなげる使い方は試していません。動画ルートは、あなたが用意した実写クリップの 1 人を置き換え、画像ツールは 1 枚のイラストを写真にします。

他の言語 English · 한국어 · Español · Русский

実際に試してみる

支払いは実行した分だけ。プランもサブスクリプションもありません。

使用モデル:MiniMax H3 · ByteDance Seedance 2.0 Fast