Перейти к основному контенту

Аниме в реальную жизнь с ИИ: превратите рисунок в фото или поместите его в игровое видео

Превратите аниме или рисунок в реалистичное фото за $0.03, а затем поместите того же персонажа в реальную съёмку. Результаты, ограничения, примеры API.

Автор
Lydia
Опубликовано
Время чтения
8 мин чтения
Иллюстрация в стиле аниме с женщиной в бордовом пальто рядом с её реалистичной фотографией, созданной в Anime to Real.

Под «аниме в реальную жизнь» понимают две разные вещи. Первая: неподвижная картинка, то есть рисунок, увиденный как фотография. Вторая: движение, то есть этот персонаж, идущий по настоящей сцене. Большинство онлайн-конвертеров умеют только первое. В этом руководстве обе задачи решаются двумя инструментами, которые можно попробовать сегодня. Anime to Real превращает рисунок в реалистичное фото по фиксированной цене $0.03 за изображение, а MiniMax H3 Character Swap заменяет человека в вашем видеоклипе нарисованным или 3D-персонажем, показанным как живой человек.

Все люди на изображениях и в клипах ниже вымышленные взрослые. Изображения взяты из собственных примеров моделей, поэтому можно открыть страницы моделей и повторить те же входные данные.

Мы не соединяли эти два шага в цепочку. В наших видеопримерах референсом был нарисованный оригинал, а не фото из инструмента для изображений, и для видеоподхода нужен ваш собственный игровой клип. В тестах мы использовали обычные портреты и сцены с одетыми людьми; контент для взрослых здесь не проверяли.

Шаг 1: рисунок становится фотографией

Anime to Real принимает один кадр из аниме, мультяшный рисунок, иллюстрацию или картину и возвращает реалистичное фото той же сцены: та же поза, та же одежда, тот же фон. Работает Qwen-Image-Edit-2511 с LoRA Anything2Real, поэтому не нужно хранить веса или собирать процесс в ComfyUI. Результат обычно приходит за 16–21 секунду.

Ключевая аниме-иллюстрация: женщина в оранжерее с папоротниками. Запрос состоял из одной строки: «a woman in her thirties with long silver hair in a burgundy wool coat in a glass greenhouse».

Аниме-иллюстрация: женщина с длинными серебристыми волосами в бордовом пальто стоит в оранжерее с папоротниками. Входное изображение.
Вход: рисунок.
Реалистичная фотография той же женщины в том же пальто в той же оранжерее, созданная в Anime to Real.
Выход: пальто, волосы и оранжерея сохранились.

Бородатый мужчина на крыльце бревенчатого дома на закате. Пар над кружкой, фонари и осенняя долина вернулись в виде фотографии.

Аниме-иллюстрация: мужчина в чёрном бушлате держит дымящуюся кружку на крыльце бревенчатого дома. Входное изображение.
Вход: рисунок.
Реалистичная фотография бородатого мужчины в угольно-сером бушлате с дымящейся кружкой на крыльце на закате.
Выход: то же крыльцо, те же фонари, та же долина.

Третий пример, заснеженная железнодорожная платформа, сохранил паровоз, фонари и зонт:

Реалистичная фотография пары под зонтом на заснеженной платформе, позади стоит паровоз.
Заснеженная платформа: паровоз, фонари и зонт остались на местах.

Что помогает, а что нет

  • Описывайте людей как взрослых. Запрос необязателен; на странице модели сказано, что короткое описание помогает коже, ткани и свету выглядеть реалистично. Указывайте возраст («a woman in her early thirties»), чтобы было ясно, что все взрослые.
  • Плоская графика не проверена. Все наши примеры — подробные иллюстрации в стиле key visual. Очень плоские, упрощённые стили мы не пробовали, поэтому не можем сказать, как они конвертируются.
  • Надписи. В двух наших тестах на рисунке были рамка с заголовком или вывеска станции. Добавка «no text and no border» в запросе их убрала.
  • Оставьте соотношение сторон пустым, чтобы сохранить форму вашего изображения, или выберите одно из девяти. Все соотношения стоят одинаково.

Шаг 2: персонаж двигается в реальной съёмке

Фото отвечает на вопрос «как бы он выглядел». Видео отвечает на вопрос «как бы это выглядело, если бы он действительно там был». MiniMax H3 Character Swap заменяет одного человека в вашем клипе персонажем с изображения и сохраняет исходную игру, камеру и сцену. Если дать нарисованный или 3D-анимационный референс, он подбирает игровую версию этого персонажа и не наклеивает мультяшный рисунок на съёмку.

Мы взяли один клип в барбершопе: мужчина в белой рубашке встаёт, поправляет волосы у зеркала и уходит. И два референса.

Героиня комикса. Референс — рисунок тушью: рыжие волосы, коричневая лётная куртка, оливковые брюки карго.

Комикс-рисунок тушью: рыжая женщина в коричневой лётной куртке и оливковых брюках карго, референс персонажа.
Референс: рисунок, в полный рост, простой фон.
Кадр из клипа в барбершопе: рыжая женщина в коричневой лётной куртке поправляет волосы перед зеркалом.
Кадр-постер результата.
Клип в барбершопе, где мужчина в белой рубашке заменён героиней комикса, пять секунд в 768p.

3D-анимационный персонаж. Референс — рендер седобородого мужчины в тёмно-синем бушлате.

Рендер улыбающегося седобородого мужчины в стиле 3D-анимации в тёмно-синем бушлате на однотонном синем фоне, референс персонажа.
Референс: 3D-рендер.
Кадр из того же клипа в барбершопе: седобородый мужчина в тёмно-синем бушлате поправляет волосы перед зеркалом.
Кадр-постер результата.
Тот же клип в барбершопе, где вместо исходного мужчины 3D-анимационный мужчина в тёмно-синем бушлате.

В обоих клипах перенеслись цвет волос, борода, куртка или пальто и брюки, а новый человек вставал, смотрел в зеркало и уходил в те же моменты, что и исходный. Не переносится стиль рисунка: контурные линии и целлулоидная заливка исчезают, потому что результат — живой человек. Если нужно сохранить мультяшный вид, подойдёт стилизованная видеомодель, а не этот путь.

Как подготовить референс

  • Лучше всего сработали полный рост, с головы до ног, на простом фоне. Оба референса здесь в полный рост (3D — на однотонном синем фоне). Референсы по пояс, пёстрые фоны и изображения с несколькими людьми мы не проверяли.
  • В запросе коротко укажите, кого заменить («the man in the white shirt»). Пустое поле означает главного человека.
  • Берите один непрерывный план. Используются только первые 15 секунд клипа. Длительность и соотношение сторон задайте по клипу.
  • Начните с 480p, чтобы проверить замену до оплаты более высоких разрешений.

Ограничения, с которыми мы столкнулись

  • Долю успешных запусков мы не измеряли. Из семи замен в 768p, сделанных для примеров, мы оставили четыре. Из остальных трёх в одной добавились танцоры на фоне (другое зерно это исправило), в двух сохранилась исходная одежда, причём оба человека были в комбинезонах. Обе замены в барбершопе, с нарисованным и 3D-референсом, получились с первой попытки. Сначала проверьте в 480p.
  • Один персонаж на запрос. Чтобы заменить двоих, запустите клип дважды и каждый раз называйте другого человека.
  • Результат — заново сгенерированный клип нужной длины, а не ваш файл с перерисованным человеком, поэтому мелкие детали фона могут отличаться.

Вызов обоих из кода

Фото — один запрос:

bash
curl https://api.spicyapi.ai/api/v1/jobs/createTask \
  -H "Authorization: Bearer $SPICY_API_KEY" \
  -H "Idempotency-Key: $(uuidgen)" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "spicyapi/anime-to-real-v1/edit",
    "input": {
      "image_url": "https://example.com/drawing.webp",
      "prompt": "a woman in her thirties with long silver hair in a burgundy wool coat in a glass greenhouse",
      "aspect_ratio": "3:4",
      "output_format": "jpeg",
      "seed": 424242
    }
  }'

Видео — запрос той же формы:

bash
curl https://api.spicyapi.ai/api/v1/jobs/createTask \
  -H "Authorization: Bearer $SPICY_API_KEY" \
  -H "Idempotency-Key: $(uuidgen)" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "minimax/h3-character-swap/video-edit",
    "input": {
      "video_url": "https://example.com/barbershop.mp4",
      "image_url": "https://example.com/character-full-body.jpg",
      "prompt": "the man in the white shirt",
      "duration_seconds": 5,
      "aspect_ratio": "16:9",
      "resolution": "480p",
      "seed": 42
    }
  }'

Оба возвращают идентификатор задачи; процесс описан в руководстве по задачам. В веб-Playground те же входные данные оформлены как форма.

Сколько это стоит

  • Anime to Real: $0.03 за выходное изображение, фиксированно. Соотношение сторон и формат цену не меняют.
  • MiniMax H3 Character Swap: оплата посекундно по разрешению: $0.06 для 480p, $0.09 для 540p, $0.135 для 768p и $0.27 для 1080p. Оплачиваются секунды результата и секунды исходного видео (каждая начатая секунда, исходник не больше 15), плюс $0.02 за запрос за изображение персонажа. Результат в 5 секунд из клипа в 5 секунд — это 10 оплачиваемых секунд: $0.62 в 480p (10 × $0.06 + $0.02), $1.37 в 768p (10 × $0.135 + $0.02) и $2.72 в 1080p (10 × $0.27 + $0.02). Точную сумму показывает оценка на странице модели.

Согласие и право на изображение

Используйте видеоподход только для съёмки и образов, которые вы вправе обрабатывать: ваших собственных, исполнителя с подписанным согласием или синтетического человека, которого вы создали. Нельзя помещать реального человека в интимные или порочащие кадры без его явного осознанного согласия, выдавать себя за кого-либо или использовать материалы с несовершеннолетними. Публичная фотография не означает согласия, а согласие не переносится с проекта на проект. У нарисованных персонажей, которые вам не принадлежат, тоже могут быть авторские права, поэтому проверьте, что вам можно публиковать.

Что выбрать

FAQ

Можно ли попробовать бесплатно? У обеих моделей нет бесплатного уровня. Одно фото стоит $0.03, а для 5-секундной замены в 480p точная оценка показывается до запуска.

Работает ли это с 3D-персонажами и картинами и сохраняет ли фото одежду и позу? Инструмент для изображений принимает любой кадр из аниме, мультяшный рисунок, иллюстрацию или картину. В наших запусках композиция, поза, одежда и фон следовали рисунку, а лица и кожа создавались заново. Видеоподход принял 3D-рендер как референс.

Можно ли превратить нарисованную аниме-сцену в игровое видео? Цепочку из двух шагов мы не проверяли. Видеоподход заменяет человека в вашем игровом клипе, а инструмент для изображений превращает один рисунок в фото.

Другие языки English · 日本語 · 한국어 · Español