Введение
Wan 2.6 Референсы в видео переносит людей, животных или предметы из одного-трёх коротких клипов в новую сцену, которую вы описываете. Клипы определяют, кто или что появится в кадре; место, действие, камера и свет целиком задаются промптом. Результат длится целое число секунд от 2 до 10, в 720p или 1080p, в одном из пяти форматов, одним непрерывным дублем или многокадровым монтажом. Вызов — alibaba/wan-2.6/reference-to-video, он асинхронный: создайте задачу, затем опрашивайте её статус или примите callback.
В том же запросе к роликам можно добавить до двух неподвижных изображений или отправить только изображения; вместе с роликами это не больше пяти референсов. Изображения нумеруются после роликов — при двух роликах первое изображение будет character3 — и не оплачиваются.
Выберите режим по исходному материалу
| С чего вы начинаете | Режим |
|---|---|
| описанная сцена или сценарий | Wan 2.6 Текст в видео |
| утверждённое стартовое изображение | Wan 2.6 Изображение в видео |
| отдельные референсы внешности, движения или звука | Wan 2.6 Референсы в видео |
Ключевые возможности и особенности
Объекты переносятся, обстановка пишется
Референсные клипы решают, кто или что появится, а промпт — где они находятся, что делают и как их показывают камера и свет. В этом отличие от режима «изображение в видео», где стартовый кадр фиксирует ещё и декорации, свет и пропорции. Здесь ведущую, снятую один раз, можно поставить на крышу в сумерках, в другом формате, без второго съёмочного дня.
До трёх клипов в одной сцене
Отправьте один клип, если узнаваемым должен остаться один объект, или до трёх, если сцене нужны сразу несколько. Ссылайтесь в промпте на клипы по порядку отправки и указывайте, что даёт каждый, чтобы модель понимала, кто ведущая, а кто собака. Перегруженные клипы с несколькими людьми затрудняют выбор того, кого нужно перенести.
Формат и размер — параметры, а не наследство
aspect_ratio выбирается в каждом запросе: 16:9, 9:16, 1:1, 4:3 или 3:4, все доступны в обоих разрешениях. 720p даёт 1280×720, 720×1280, 960×960, 1088×832 или 832×1088; 1080p — 1920×1080, 1080×1920, 1440×1440, 1632×1248 или 1248×1632. Из референсного материала ничего не наследуется, поэтому для вертикальной поставки не нужны вертикальные исходники, а один набор референсов можно выдать в нескольких форматах.
Параметры запроса
| Параметр | Обязательно | Описание |
|---|---|---|
prompt | Да | Новая сцена: скажите, что даёт каждый референсный ролик, затем опишите обстановку, действие, камеру и свет. Держитесь в пределах 1 500 символов. Не менее 1 символов · Не более 1500 символов |
negative_prompt | Нет | Что не должно появляться: лишние люди, титры, реквизит из референсного ролика, который вы не хотите тащить дальше. Не более 1500 символов |
reference_video_urls | Нет | До трёх роликов с персонажами или предметами, которых нужно задействовать. Не менее 1 элементов · Не более 3 элементов |
reference_image_urls | Нет | До двух неподвижных изображений с персонажами или предметами — вместе с роликами или вместо них; вместе с роликами запрос принимает не больше пяти референсов. Не менее 1 элементов · Не более 2 элементов |
aspect_ratio | Нет | 16:9, 9:16, 1:1, 4:3 или 3:4, по умолчанию 16:9, доступно в обоих разрешениях; размеры в пикселях для каждой комбинации приведены в характеристиках. |
resolution | Нет | 720p или 1080p, по умолчанию 720p. Задаёт посекундную ставку и время выполнения задачи, и оба разрешения принимают все пять соотношений сторон. |
duration_seconds | Нет | Любое целое число от 2 до 10, по умолчанию 5. |
shot_type | Нет | single держит один непрерывный план; multi позволяет модели монтировать переходы между планами внутри той же сцены. |
seed | Нет | От 0 до 2147483647. Держите его, пока меняете по одному референсному ролику за раз: случайная выборка остаётся постоянной, и двигается только изменённое. |
Стоимость
Референсные клипы добавляются к оплачиваемым секундам. Поскольку измерить ваши клипы до запуска невозможно, мы сначала резервируем сумму за максимальные 5 секунд, а неиспользованную часть возвращаем сразу при расчёте — оплачиваются только фактически использованные секунды.
| Спецификация | Стоимость |
|---|---|
| $0.065 / секунду |
| $0.0975 / секунду |
Сценарии использования
Перенести ведущую в новое место
Один клип с человеком, затем промпт о помещении, свете и движении камеры. Внешность ведущей берётся из референса, а обстановка пишется, так что один съёмочный день даёт материал для локаций, которые в тот день были недоступны.
Сезонная подача продукта
Отправьте уже имеющийся ролик с вращением продукта и опишите новую поверхность, новый сезон, новый свет. Предмет сохраняет форму и фактуру, а сцена вокруг него собирается заново, поэтому один продуктовый клип обслуживает несколько кампаний без повторной постановки съёмки.
Свести два объекта вместе
Клип с ведущей и клип с животным или предметом, которые должны оказаться в одном кадре, затем промпт о том, что делает каждый. Так решаются сцены, для которых иначе понадобилось бы собрать обоих на площадке в один день.
Повторно использовать то, что не переснять
Архивный клип с ведущей, которая больше недоступна, или образец продукта, уже возвращённый клиенту, по-прежнему несёт объект. Отправьте его как референс и опишите новую обстановку: старый материал даёт объект, промпт — сцену.
Руководство по промптам и практические советы
Выбирайте клипы, которые модель сможет прочитать
Лучше всего переносится короткий материал, где объект крупный в кадре, хорошо освещён и виден больше чем с одного ракурса. Объект, который остаётся мелким или в контровом свете, обычно возвращается лишь приблизительно. Обрезайте до загрузки, а не после: отправленные секунды оплачиваются, а несколько секунд, где объект виден лучше всего, обычно переносятся лучше длинного блуждающего дубля.
Пишите сцену, а не референс
Сначала назовите, что даёт каждый клип, например женщина из клипа 1 и собака из клипа 2, затем опишите обстановку, действие, камеру и свет так же, как для режима «текст в видео», уложившись в 1500 символов. Повторное описание того, что уже показывает материал, расходует этот объём и иногда спорит с клипами. Используйте negative_prompt для того, что постоянно появляется, хотя не должно: лишних людей, субтитров на экране или реквизита из референса, который следует за объектом в новую сцену.
Посчитайте секунды до отправки
Оплачиваемые секунды — это длительность результата плюс суммарная длина референсных клипов, каждая округлена вверх до целых секунд, причём референсная часть учитывается максимум в пять секунд. Рендер на 5 секунд с одним трёхсекундным референсом оплачивается как 8 секунд по ставке выбранного разрешения; тот же рендер с тремя клипами общей длиной девять секунд — как 10, потому что учитываются только пять секунд референса. Оценка в реальном времени перед отправкой показывает сумму, а если длину клипа нельзя прочитать заранее, оценка исходит из пяти секунд, и итоговое списание использует измеренную длину.
Адаптируйте приложенный пример
Начните с опубликованного примера с aspect_ratio: 16:9, duration_seconds: 5, resolution: 720p и одним клипом в reference_video_urls. Замените объект и постановку, сохранив этот контракт входных данных.
Keep character1, the amber glass bottle, exactly - its shape, colour and the marble block it stands on. Move it to a sunlit kitchen windowsill in the morning, lemons and a linen cloth beside it. The camera circles it slowly the way the reference clip does. Soft birdsong outside.
Один продуктовый клип в качестве референса, заново поставленный в новой комнате, а камера повторяет его медленный облёт.
Проверьте сходство, прежде чем итерировать
Смотрите весь клип, а не только первую секунду: на длинных хронометражах сходство к концу склонно уплывать, поэтому проверьте последнюю секунду, прежде чем остановиться на этой длине. На 2–3 секундах места для склейки почти нет, так что multi окупается в основном примерно с 6 секунд. Фиксируйте seed и при сравнении меняйте по одному референсному клипу за раз: случайная составляющая остаётся постоянной, и меняется только то, что вы изменили, хотя покадрово идентичный повтор не гарантируется. Сгенерированные клипы удаляются через 14 дней, поэтому копируйте всё, что хотите сохранить.
Быстрый старт API
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "alibaba/wan-2.6/reference-to-video",
"input": {
"aspect_ratio": "16:9",
"duration_seconds": 5,
"prompt": "A slow aerial shot drifting over a misty pine forest at sunrise",
"resolution": "720p",
"shot_type": "single",
"reference_video_urls": [
"https://example.com/reference.mp4"
]
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
Аутентификация, полная схема, опрос статуса и обработка ошибок описаны в справочнике API.
