Введение
Передайте Lipsync 2 видео с видимым лицом и запись MP3 либо WAV для замены реплик. Выберите sync_mode для исходников разной длины, затем получите MP4 по завершении асинхронной задачи.
| Характеристика | Значение |
|---|---|
| Ввод | Видео Аудио |
| Вывод | Видео |
| Разработчик / версия | Sync / стандартная Lipsync 2 |
| Входные поля | Обязательные |
| Длина видео | 1–120 с; превышение отклоняется при приёме |
| Новая речь | Аудио MP3 или WAV |
| Выбор времени | Пять режимов; по умолчанию |
| Основание оплаты | Длительность переданного видео с округлением вверх до секунд |
| Асинхронный результат | MP4 после завершения задачи |
| Срок хранения | Сгенерированные файлы удаляются через 14 дней |
Ключевые возможности и особенности
Портной договаривает длинное приглашение
В примере из ателье исходное видео длилось 5,04 секунды, а новая реплика — 6,5 секунды. С loop результат составил 6,5 секунды: видео повторялось, пока губы воспроизводили всю запись. Размер кадра — 864×496, частота — 24 кадра/с.
Улыбка и приподнятая бровь сохраняются
После замены реплики в нашем результате остались лёгкая улыбка портного и движение брови. По словам Sync, Lipsync 2 перенимает манеру речи из исходника без обучения на конкретном человеке. Этот ролик показывает отдельное наблюдение; подачу своего говорящего проверяйте на собственном материале.
Подберите концовку под монтаж
cut_off завершает результат по короткому исходнику, silence дополняет короткую запись тишиной, а remap меняет темп видео под длину аудио. loop и bounce продлевают ролик повтором либо чередованием прямого и обратного воспроизведения. Во всех случаях оплата рассчитывается по исходному видео.
Параметры запроса
| Параметр | Обязательно | Описание |
|---|---|---|
video_url | Да | Обязательный URL готового видео с хорошо видимым лицом длительностью 1–120 секунд. Значения по умолчанию нет. Не менее 1 символов |
audio_url | Да | Обязательный URL MP3 или WAV с новыми словами и голосом; значения по умолчанию нет. Не менее 1 символов |
sync_mode | Нет | Необязателен в каждом запросе; по умолчанию |
Стоимость
$0.06 / секунда
Для оплаты длительность переданного видео округляется вверх до целых секунд; допустимый диапазон — 1–120 секунд. Длина аудио и sync_mode не меняют плату за это видео; ролики длиннее 120 секунд отклоняются при приёме.
Сценарии использования
Приглашение в магазин после закрытия
Возьмите разрешённый ролик из магазина и запишите более длинное приглашение по образцу сцены с портным. loop повторяет изображение до конца аудио; перед публикацией проверьте стык повтора.
Перевод выступления ведущего
Подготовьте перевод в MP3 или WAV для готового ролика с ведущим. Sync заявляет о переносе манеры речи между языками; эндпоинт согласует губы с переданной записью, а текст и перевод нужно подготовить отдельно.
Реплики для сгенерированного персонажа
По данным Sync, Lipsync 2 работает с анимационными и созданными ИИ персонажами, а также с реальной съёмкой. Передайте готовое видео персонажа и новую речь, затем подберите режим длительности для этой пары файлов.
Исправление фразы в уроке
Обрежьте запись преподавателя до заменяемой фразы и запишите исправленный вариант. Оплачиваются секунды видео, поэтому короткий исходный фрагмент важен даже тогда, когда cut_off дополнительно сокращает результат.
Руководство по промптам и практические советы
Подготовьте URL видео и голоса
Выберите исходник на 1–120 секунд с чётко видимым лицом и готовую реплику в MP3 либо WAV. Удалите лишнее видео до отправки: его длительность оплачивается.
Задайте концовку через
sync_modeСоздайте задачу sync/lipsync-2/lip-sync с
video_url,audio_urlи необязательным режимом времени. По умолчаниюcut_offостанавливается на коротком исходнике; выберите другой доступный режим, если это обрежет нужную фразу.Дождитесь завершения и проверьте воспроизведение
Отслеживайте обработку по полученному идентификатору задачи опросом или уведомлением. Сохраните MP4 в течение 14 дней и сопоставьте движения губ и финальные кадры с записью.
Замена реплик стандартной моделью
Lipsync 2 от Sync подстраивает движения губ в готовой съёмке под загруженную запись. Sync описывает её как модель zero-shot, которая перенимает манеру речи из исходника, в том числе для реплик на другом языке. Обучать её на говорящем не нужно. Для задачи с видео и аудио используйте sync/lipsync-2/lip-sync; результат — MP4 с переданным голосом.
Эндпоинт предоставляет три поля. Текст сценария не заменяет голосовую запись, а входного промпта для управления сценой здесь нет. Запишите или сгенерируйте реплику отдельно, затем отправьте URL медиафайлов.
Поля запроса
| Поле | Что передать | Значение по умолчанию и влияние на оплату |
|---|---|---|
video_url | Обязательный URL ролика с хорошо видимым лицом длительностью 1–120 секунд. | Значения по умолчанию нет; оплачиваемые секунды определяет длина исходного видео. Ролики длиннее 120 секунд отклоняются при приёме. |
audio_url | Обязательный URL новой реплики в MP3 или WAV. | Значения по умолчанию нет; изменение длины аудио не меняет плату за то же видео. |
sync_mode | Необязательное правило длительности: cut_off, loop, bounce, silence или remap. | По умолчанию cut_off; выбор другого режима не влияет на плату. |
Выберите поведение в конце
| Режим | Согласование длительности |
|---|---|
cut_off | Завершает результат вместе с более коротким исходником. |
loop | По необходимости начинает видео заново, пока звучит более длинная запись речи. |
bounce | Продлевает видео под длинную речь, чередуя прямое и обратное воспроизведение и повторяя эту последовательность. |
silence | Добавляет тишину после короткой записи, чтобы доиграло оставшееся видео. |
remap | Меняет скорость воспроизведения, укладывая всё видео в длительность записи. |
Выбирайте loop, если повтор уместен в кадре. В готовом ролике проверьте момент начала повтора. Для bounce оцените, подходит ли сцене движение в обратную сторону. remap согласует время видео с аудио; перед монтажом просмотрите получившийся темп.
Длина результата и расчёт стоимости
Сосчитайте секунды входного видео и округлите вверх до ближайшего целого. Принимаются ролики длиной 1–120 секунд. Ни длительность аудио, ни режим синхронизации не меняют оплачиваемый объём для этого исходника. Текущая цена секунды указана на странице Sync Lipsync 2.
В нашем тесте cut_off исходник на 5,4 секунды оплачивался как 6 секунд, хотя результат длился 4,56 секунды. Если запись использует лишь небольшую часть длинного дубля, обрежьте видео перед отправкой. Сокращение результата выбранным режимом не уменьшает длину переданного исходника.
Подготовьте съёмку и реплики
Выделите нужный фрагмент и проверьте его длину. Лицо должно быть хорошо видно. По словам Sync, lipsync-2 нужны естественные речевые движения в исходнике; неподвижный фрагмент может остаться без речевой анимации после обработки. Это замечание разработчика важно и для анимационных или созданных ИИ персонажей, и для реальных людей.
Прослушайте весь MP3 или WAV и сравните его окончание с запланированным видео. Голос берётся из этого файла; операция не клонирует человека из кадра. Используйте лица, видео и записи, на которые у вас есть права; каждый показанный человек должен быть совершеннолетним, а выдавать себя за другого человека запрещено.
Отправьте запрос, отслеживайте задачу и сохраните файл
Передайте два обязательных URL и выбранный sync_mode либо опустите режим для применения cut_off. Обработка асинхронная: сохраните идентификатор задачи и проверяйте завершение опросом или через уведомление. Принятие задачи означает начало обработки запроса; MP4 можно получить после её завершения.
Смотрите на губы, слушая новые слова, и проверяйте повторы, обратное воспроизведение и изменённый темп. Скачайте готовое видео за 14 дней хранения. Затем сгенерированные файлы удаляются.
Результаты тестов коротких роликов
Пример midnight-tailor-invitation сочетает 5,04 секунды съёмки ателье 864×496 с приглашением на 6,5 секунды и sync_mode: loop. В наших тестах повтор видео покрыл всю реплику, а MP4 длился 6,5 секунды при 864×496 и 24 кадрах/с. Лёгкая улыбка и движение брови портного оставались заметны, пока губы произносили новые слова.
Отдельный исходник 512×768 длился 5,4 секунды при 25 кадрах/с. С аудио на 4,55 секунды и cut_off итоговый MP4 составил 4,56 секунды и сохранил размеры кадра и частоту. Эти короткие тесты описывают конкретные результаты и не задают предельного разрешения или гарантированного времени обработки.
Когда сравнить соседнюю модель
Для крупного плана, где выбор зависит от деталей лица, оцените Sync Lipsync 2 Pro. Sync позиционирует Pro как более точную версию. Она оплачивается по секундам аудио, а список её режимов не включает silence; проверьте эти условия перед повторной отправкой запроса.
Также можно изучить условия Lipsync 3 от Sync, VEED Lipsync 2.0 и Lip Sync v1. Сопоставляйте документированные входные данные и поведение времени со своим монтажом: поля запросов у моделей могут различаться.
Быстрый старт API
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "sync/lipsync-2/lip-sync",
"input": {
"audio_url": "https://example.com/reference.mp3",
"sync_mode": "cut_off",
"video_url": "https://example.com/reference.mp4"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
Аутентификация, полная схема, опрос статуса и обработка ошибок описаны в справочнике API.


