Перейти к основному контенту

Рабочий процесс ИИ от скетча к видео: сохраните рисунок, добавьте движение

Оживите линейный рисунок, не превращая его в фото: подготовьте первый кадр, запрос про плоские чернила и выберите Wan 2.6, LTX 2.5 или H3 LoRA.

Автор
Lydia
Опубликовано
Время чтения
13 мин чтения
Обновлено
Два художника сравнивают рисунок птицы, птицу из сложенной бумаги и раскадровку

Чтобы оживить скетч и сохранить его скетчем, отправьте очищенный рисунок первым кадром, попросите одно небольшое действие и следите, остаются ли линии линиями до последнего кадра. Модели image-to-video начинают с вашего изображения, но вольны переосмыслить его, поэтому обычный провал — это клип, который начинается как ваш рисунок и постепенно превращается в затенённый фотографический материал.

В SpicyAPI нет отдельной задачи «скетч в видео». Путь такой: подготовить рисунок, при желании доработать его моделью изображения, затем запустить задачу image-to-video. Это сохраняет вид вашего рисунка, но не сохраняет редактируемые пути штрихов.

Примеры ниже используют одну сцену: нарисованная от руки птица в угловатом стиле сложенной бумаги, выполненная как незаполненный контур тушью на кремовой бумаге, с раскрытым крылом и маленьким настольным колокольчиком, по которому птица постукивает. Полые формы и пустая бумага делают дрейф легко заметным.

Что вам нужноЧто должно выжитьС чего начать
Исходный линейный рисунок движетсяСтиль штриха, силуэт, бумагаОчищенный рисунок первым кадром, небольшое действие
Скетч превращается в готовую иллюстрацию и потом движетсяКомпозиция, ключевые черты персонажаУтвердите доработанный кадр, потом анимируйте
Скетч превращается в реалистичную сценуКадрировка и идея действияСкажите в запросе, что носитель может измениться
Точные штрихи движутся предсказуемоРедактируемые пути и слоиСлойная или векторная анимация, а не видеомодель
Три цели рисунка ведут к трём разным маршрутам.
Три цели рисунка ведут к трём разным маршрутам.

Определите, что значит «сохранить скетч»

Запишите до написания запроса, что не должно меняться. Для птицы: чёрный контур остаётся незаполненным, внутренняя часть крыла остаётся открытой, страница остаётся кремовой и почти пустой, толщина штриха остаётся свободной, а колокольчик остаётся простым контуром. Это четыре проверки, по которым вы сверяете клип (см. «Сначала проверьте сохранность линий»).

Определите также, насколько строги вы. «Узнаваемо как мой рисунок» достижимо с видеомоделью. «Мои настоящие, редактируемые штрихи» — нет: модель синтезирует новые кадры и может перерисовать контур, сохранив стиль.

Описывайте движение максимально точно: «правое крыло поднимается один раз и касается колокольчика; тело остаётся на месте» можно проверить, «оживите его» — нет. Небольшое действие покажет, выживет ли стиль, прежде чем вы добавите вращение или постановку.

Почему скетчи дрейфуют

Модель читает ваше изображение вместе с запросом и синтезирует последовательность; она не трассирует штрихи. Слова вроде реалистичный, кинематографичный свет, детализированные перья подталкивают её воспринимать линии как описание физического животного. Неоднозначные линии делают то же самое: строительный овал может читаться как тень, открытый контур — как незаконченная форма.

Дрейф постепенный. Первые кадры совпадают с вашей загрузкой; последующие добавляют мягкое затенение, текстуру или заполненные области, поэтому проверяйте середину и конец, а не начало.

Исправления следуют из причины. Запрос просит реализма: перепишите его вокруг анимации плоскими чернилами. Ввод неоднозначен: очистите его. Если модель всё равно изобретает носитель заново, используйте контролируемую анимацию.

Прямая анимация или сначала этап с изображением

Анимируйте рисунок напрямую, когда он уже является готовой работой: один утверждённый источник, одна инструкция «двигай её». Это маршрут для птицы.

Добавляйте этап с изображением, когда скетч — всего лишь план, например чтобы исправить пропорции, добавить палитру или превратить грубую раскадровку в цельную иллюстрацию. Утвердите новый кадр до анимации; если он залил тело или подменил бумагу, видеомодель ни при чём.

Пропускайте этап с изображением, когда единственная проблема — кривой или плохо освещённый скан. Обычная обработка изображений решает это без генеративного редизайна.

Грубый скетч, чистый контур и проработанная цветная иллюстрация птицы рядом с колокольчиком.
Три возможных ввода: грубый скетч, чистый контур, проработанная иллюстрация.

Подготовьте первый кадр

  • Уберите артефакты съёмки, которые вы не хотите анимировать: тени, пальцы, края стола, перекошенную рамку. Иначе модель может анимировать лист как физический объект вместо рисунка как плоской фигуры.
  • Сканируйте или фотографируйте при ровном свете и выровняйте лист. Обрежьте до той формы, которая нужна, поскольку кадр задаёт пропорции клипа, и оставьте место для движения.
  • Сотрите строительные овалы и случайные направляющие, если они не часть стиля; модель не отличит незаконченную линию от выразительной.
  • Сохраните тонкую фактуру бумаги, но без сильной тени на объекте.
  • Оставьте место для действия: крылу нужно пространство, чтобы подняться, а колокольчик должен быть в досягаемости. Если птице нужно дотянуться через полстраницы, модель растянет тело или выдумает вторую конечность.
  • Уберите стрелки и подписи из отправляемого изображения; они могут появиться в клипе. Вынесите их на отдельный лист для проверки.
  • Экспортируйте в JPEG, PNG без прозрачности или WEBP. Wan 2.6 принимает от 240 до 8 000 пикселей по стороне, до 20 MB, а поле загрузки ограничено 10 MB, поэтому держитесь ниже 10 MB.

Напишите запрос, продолжающий рисунок

Сначала назовите носитель, затем одно действие, камеру и границы:

text
Continue this flat black-ink drawing on cream paper. The bird stays in the same
position and lifts its right wing once to tap the small outlined desk bell.
The wing lowers again. Preserve the loose ink contours, unfilled shapes and
blank paper background. No camera movement and no scene change.
Audio: one soft bell tap, otherwise quiet.

Держите язык плоским. Детали перьев, блестящие глаза и объёмный свет тянут к физическому животному. Скажите кратко, что сохранить («незаполненное тело, без новой декорации»), вместо перечисления каждого запрещённого фотографического признака. Только у семейства Wan 2.6 (Wan 2.6 и Wan 2.6 Flash) есть отдельное поле negative_prompt; у LTX 2.5 и H3 LoRA граница идёт в основной запрос.

Зафиксируйте камеру для первого теста. Медленный наезд выглядит аккуратно, но скрывает, сдвинулась ли фигура. Движения камеры тестируйте отдельно.

Запустите первый тест на Wan 2.6

Попробуйте в Playground до написания кода:

  1. Откройте Wan 2.6 image to video, останьтесь на вкладке Playground в режиме Form и войдите, чтобы запустить.
  2. В разделе Input image добавьте очищенный рисунок через Choose a file или Asset URL.
  3. Вставьте приведённый выше запрос в Prompt и впишите shading, color fill, photographic texture, camera movement в Negative prompt.
  4. Поставьте Resolution на 720p, Duration на 5, а Shot structure на Single take; зафиксируйте Seed.
  5. Запустите модель и проверьте весь клип по четырём проверкам линий ниже.

Открыть Wan 2.6 с этим запросом →

Чтобы выполнить тот же запрос из кода, загрузите рисунок и создайте задачу через CLI. spicyapi files upload печатает адрес spicy://; вставьте его как image_url:

bash
spicyapi files upload ./bird.png   # copy the spicy:// address it prints
cat > input.json <<'EOF'
{
  "image_url": "spicy://f/PASTE_ADDRESS",
  "prompt": "Continue this flat black-ink drawing on cream paper. The bird stays in the same position and lifts its right wing once to tap the small outlined desk bell. The wing lowers again. Preserve the loose ink contours, unfilled shapes and blank paper background. No camera movement and no scene change. Audio: one soft bell tap, otherwise quiet.",
  "negative_prompt": "shading, color fill, photographic texture, camera movement",
  "duration_seconds": 5,
  "resolution": "720p",
  "shot_type": "single",
  "seed": 14327
}
EOF
spicyapi tasks create --model alibaba/wan-2.6/image-to-video --input-file input.json --wait

Пятисекундный запуск в 720p стоит $0.45. Ожидание, результаты и повторы — в руководстве по image-to-video.

Чтобы тест выполнил Агент, добавьте сервер MCP (spicyapi_upload_file, spicyapi_task_create, spicyapi_task_wait; он остановится для подтверждения цены). npx skills add spicyapi-ai/spicy-skill устанавливает Skill, который учит ассистента пользоваться CLI или MCP.

Выберите задачу по нужному контролю

Все три принимают открывающее изображение; различаются они контролями.

ЗадачаДлительностьЧто важно для рисунковЦена в секунду
Wan 2.6 image-to-video5, 10 или 15 сnegative_prompt, single take или multi-shot, расширение запроса по умолчанию выключено, звук$0.09 на 720p, $0.135 на 1080p
LTX 2.5 image-to-videoот 5 до 20 сНеобязательный финальный кадр, до 4K, звук$0.09 на 720p, $0.13 на 1080p, $0.19 на 2K, $0.30 на 4K
H3 LoRA image-to-videoот 3 до 15 сНеобязательный финальный кадр, необязательные LoRA (до трёх своих), звук$0.05 на 480p, $0.075 на 540p, $0.10 на 768p, $0.20 на 1080p

Цены указаны в каталоге за октябрь 2026; на странице модели показан актуальный тариф.

  • Нужен список «не должно появляться»: Wan 2.6. Оставьте тип плана на single, чтобы рисунок остался одним непрерывным дублем; склейки в multi-shot ломают непрерывность и включают расширение запроса.
  • Нужна запланированная конечная поза: LTX 2.5 или H3 LoRA. Финальный кадр задаёт желаемую конечную позу, а не маршрут, и длинные клипы LTX от неё отходят дальше. H3 работает без LoRA, поэтому тест с финальным кадром 3 с в 480p ($0.15) — самый дешёвый способ это попробовать.
  • У вас есть LoRA, обученная под стиль рисунка: H3 LoRA, которая также принимает финальный кадр. Она должна быть обучена под MiniMax H3; LoRA line art под SDXL не сработает. Начинайте концептуальные LoRA с масштаба от 0.6 до 0.8, потому что на 1 они могут увести клип от вашего кадра.
  • Вы итерируете при ограниченном бюджете: Wan 2.6 Flash принимает то же открывающее изображение по $0.0225 в секунду в 720p, только картинка. Используйте его, чтобы отладить запрос и действие, а потом повторите удачный дубль на Wan 2.6, если нужен звук; ожидайте другой дубль, поэтому перепроверьте линии на финальной модели.

Начните с 5 секунд, держите seed фиксированным и меняйте по одной инструкции запроса за раз, чтобы дубли было легче сравнивать; фиксированный seed не гарантирует одинаковых кадров.

Используйте финальный кадр только по делу

Второй рисунок помогает, когда нужен конкретный финал, например опущенное после касания крыло. Он должен показывать ту же сцену: та же бумага, то же кадрирование, тот же масштаб и тот же язык линий. Если птица крупнее на финальном изображении, модель должна решить, приблизилась она, выросла или была перерисована.

Смотрите на последние моменты. Некоторые клипы движутся правдоподобно, а затем прыгают в финальную композицию с внезапной перерисовкой контура или скачком объекта. Это годится для стилизованной склейки, но не для мягкого действия.

Если оба конца показывают одну позу, слойная анимация с чистым возвратом к исходному рисунку обычно точнее сгенерированного цикла.

Карточки начального и конечного рисунков с совпадающими пропорциями; фигуры условны.
Первый и последний кадры должны разделять пропорции, бумагу и язык линий.

Сначала проверьте сохранность линий

Запустите один рисунок, одно действие, одно условие камеры. Перед отправкой задайте четыре проверки: контур остаётся чёрной тушью, тело остаётся незаполненным, страница остаётся кремовой и почти пустой, крыло делает одно понятное движение к колокольчику. Клип может пройти часть проверок и провалить остальные, и проваленные скажут, что менять.

Если причина неясна, выполните второе условие, где звенит только колокольчик, а птица стоит. Если там линии держатся, а при касании крыла нет, перерисовку вызывает движение конечностей.

Держите ввод одинаковым во всех условиях. Если менять контраст, обрезку и запрос одновременно, вы не поймёте, что помогло; сохраните очищенный ввод как отдельную версию.

Смотрите на обычной скорости, затем пройдите покадрово участок, где контуры выглядят нестабильными. Отдельные кадры из начала, середины и конца пропускают мерцание между ними.

Что проверять

  • Силуэт: тело, голова и расположение крыла переживают касание.
  • Топология: раскрытое крыло остаётся раскрытым, клюв остаётся прикреплённым, лишняя конечность не появляется, колокольчик остаётся одним связным контуром.
  • Ритм линии: небольшая вариация читается как ручная работа; исчезающие контуры и постоянно переписываемые линии читаются как нестабильность. Свободный скетч терпит больше, чем обучающая схема.
  • Масштаб: наезд делает линии тяжелее. Сравнивайте в одном масштабе, в полном разрешении и в размере выдачи.

Движущийся рисунок не может удержать каждый пиксель, поэтому оценивайте структуру и носитель, а не тождество пикселей.

Заштрихованная птица-оригами в карандашном стиле и серебряный настольный колокольчик, с двумя обведёнными деталями (связный контур тела, открытая внутренняя часть крыла) и тремя зачёркнутыми ошибками: заполненное крыло, разорванный контур, слишком много линий перьев.
Подписи к проверкам: связный контур и открытая внутренняя часть крыла; зачёркнутые примеры показывают заполненное крыло, разорванный контур и избыточно детализированные перья.

Исправление типичных сбоев

Модель заливает рисунок или добавляет текстуру. Сначала проверьте ввод: серая заливка внутри птицы даёт модели тональную информацию для проработки, поэтому подготовьте незаполненную версию, если незаполненные формы важны. Уберите из запроса «detailed feathers», «realistic shadows» и «cinematic depth» и опишите носитель позитивно. Держите движение небольшим: полный поворот в 3D заставляет модель придумывать спину и низ, и текстура приходит вместе. Если заливку вызвал этап с изображением, исправьте кадр до дальнейшей генерации видео. Если приемлем гибрид (птица тушью, колокольчик акварелью), укажите это.

Линии мерцают. Небольшая дрожь — часть обаяния скетча; появляющийся и исчезающий глаз или крыло, получающее новые штрихи каждый кадр, — нет. Сократите движущиеся части: зафиксируйте тело и голову и тестируйте только крыло. Сделайте тонкие бледные линии жирнее во вводе, поскольку они исчезают в размере выдачи, и сохраните это как новую версию ввода. Если скачанный клип стабилен, а загрузка в соцсети мерцает, дело в сжатии, поэтому сравните один и тот же отрезок до и после экспорта.

Двигается только камера. Медленный зум может скрыть неподвижную фигуру. Зафиксируйте камеру и дайте действию видимое следствие, например крыло, дотянувшееся до колокольчика, и наклоняющийся колокольчик. Не складывайте полёт, вращение и падающую бумагу на статичный результат; сначала попросите меньший и более ясный жест.

Как собрать длинный ролик из коротких моментов

Сначала утвердите небольшой словарь движений (касание крыла, поворот головы, смена страницы), а затем считайте каждый из них единицей монтажа. Растягивание нерешённого запроса до 15 секунд лишь даёт дефекту больше времени.

Используйте один и тот же тон бумаги, толщину штриха и пропорции во всех входных кадрах; несогласованность между планами начинается до генерации. Склейки безопаснее, чем наплывы, создающие двойные контуры, похожие на ошибки. Для повторяющегося персонажа берите согласованные исходные рисунки вместо повторного описания в каждом запросе. Тихий удар колокольчика или комнатный гул может связать планы; если сгенерированный звук не тот, добавьте свою дорожку.

Смотрите собранный фильм в размере выдачи: повторяющиеся мелкие изменения линий, нормальные в одном клипе, утомляют на длинном монтаже.

Бюджет

По указанным тарифам тест Wan 2.6 длительностью 5 секунд стоит $0.45 в 720p и $0.675 в 1080p, так что два кандидата в 720p обходятся в $0.90. Трёхсекундный тест H3 LoRA в 480p стоит $0.15. LTX 2.5 на 5 секунд стоит $0.45 в 720p. Генерации этапа с изображением и дополнительные кандидаты оплачиваются отдельно.

Задайте правило остановки. Если оба кандидата бросают носитель line art, смените маршрут или ввод, прежде чем генерировать дальше. Если рисунок держится, а жест не получается, упростите движение.

Каталожный расчёт цены теста длительностью 5 секунд.
Расчёт цены пятисекундного теста. Запуск с финальным кадром требует отдельного расчёта цены.

Когда подходит другой маршрут

Если штрихи должны оставаться редактируемыми или тайминг должен повторяться точно, используйте традиционную или слойную анимацию. Раскрытия подходят ей лучше, чем шарнирное движение: панорама или нарисованная подсветка по архитектурному плану, либо поэтапное появление логотипа по штрихам из редактируемых путей. Для птицы разделите крыло, тело и колокольчик на слои, поверните крыло вокруг оси, наклоните колокольчик и верните оба на место. Каждое изменение контура принадлежит вам.

Для исследовательской работы с управлением по скетчам репозиторий SketchVideo (один-два ключевых кадра скетча со специальными модулями управления) описывает собственную настройку, веса и ограничения; это отдельный проект, а не задача SpicyAPI.

Раскадровка птицы в стиле сложенной бумаги, поднимающей крыло к колокольчику, в трёх нарисованных тушью панелях.
Раскадровка из трёх панелей с предполагаемым действием: покой, подъём крыла, удар по колокольчику.

Итог

Если исходные штрихи должны двигаться предсказуемо, используйте слойную анимацию; иначе следующий тест — пятисекундное касание крылом при фиксированной камере из очищенного рисунка на Wan 2.6, проверенное по всему клипу на незаполненные формы, связные контуры и стабильную бумагу. Если скетч должен стать иллюстрацией или реалистичной сценой, утвердите этот кадр до анимации.

Другие языки English · 日本語 · 한국어 · Deutsch · Français · Español · Português (Brasil) · Italiano · Polski