Перейти к основному контенту

sync/lipsync-3/lip-sync

Интерфейс lipsync-3 от sync. согласует готовое видео с лицом и переданную запись речи, возвращая MP4. Длина результата зависит от аудио, оплата — от секунд исходного ролика с округлением вверх.

От $0.162/с

Рабочая область

Ввод

Синхронизация губ
влияет на цену1/1

Перетащите видео или выберите файл на устройстве · 1 файл · Не более 90 МБ · MP4 · WEBM

  • 1
Файлы: 1 / 1
Обязательный URL видео с лицом длиной 1–300 секунд. Для оплаты длительность округляется вверх до целой секунды. Заранее удалите лишние кадры: исходник вне диапазона отклоняется до списания. Не менее 1 символов
1/1
Файлы: 1 / 1
Обязательный URL новой речи; в тестах использовались WAV и MP3. Запись задаёт длину результата, включая обрезку или обратное продление изображения, но не меняет оплачиваемый объём исходного видео. Не менее 1 символов
Фильтр безопасностиВыключен

SpicyAPI не применяет фильтр безопасности к этой модели. Промпт и материалы передаются модели без изменений, а результат определяет сама модель.

Проверяем аккаунт перед включением отправки и расчёта стоимости.

Вывод

Готово к запуску
Пример результата

Связанные модели и следующие шаги

Нужной модели нет?

SYNC. · LIPSYNC-3

Замените реплики в готовом видео с лицом: движения губ в итоговом MP4 будут согласованы с вашей речевой дорожкой.

Ключевые цифры

Длина исходного видео
1–300 с
Оставьте в исходнике нужный диалог: при оплате длительность округляется вверх до целых секунд.
Обязательных медиафайла
2
Для синхронизации нужны видео с лицом и отдельная запись речи.
Замер обработки, с
76 / 173
Эти приблизительные значения получены для исходных роликов длиной 5,04 и 5,00 секунды соответственно.
Частота кадров, кадров/с
24 / 25
В итоговых MP4 сохранились частоты кадров тестовых видео размером 1280×720 и 1358×680.

Прежде чем платить

Все режимы

Используйте съёмку и голоса с разрешения правообладателей и не выдавайте результат за речь реального человека. Перед распространением переозвученного ролика проверьте движения губ и продлённый участок в конце.

Синхронизация губ
  • Исходный ролик должен длиться от 1 до 300 секунд. Длительность результата зависит от аудио: короткая речь обрезает видео, а длинная продлевает его кадрами, воспроизводимыми в обратном порядке от конца.
  • Запрос принимает video_url и audio_url. Здесь недоступны встроенный синтез речи, входное изображение и варианты sync_mode из API разработчика. Подготовьте речевой файл до отправки.

Что умеет модель

Видео и реплики

Сохраните выбранный дубль в рабочем процессе

Исходный ролик задаёт изображение лица, а новая запись — слова. lipsync-3 возвращает MP4 с обновлённой синхронизацией: исправленная реплика ведущего или разрешённый перевод урока становятся парой конкретных файлов вместо текстового описания.

Поведение длительности

Согласуйте концовку с длиной речи

Речь на 6,48 секунды продлила наш исходник на 5,00 секунды до 6,48 секунды за счёт обратного воспроизведения кадров от конца. Если такое движение мешает восприятию, приблизьте длину аудио к длине плана. Перед монтажом просмотрите хвост ролика.

Проверка медиа

Сохраните размеры кадра и проверьте микс

Оба измеренных ролика сохранили исходные разрешение и частоту кадров: 1280×720 при 24 кадрах/с и 1358×680 при 25 кадрах/с. Итоговый звук — моно AAC, поэтому отдельно от размеров изображения проверьте финальное сведение.

Описание разработчика

Проверьте сложные движения лица

В документации sync. сказано, что sync-3 учитывает контекст сцены и автоматически обрабатывает перекрытия лица. Проверьте характерный поворот головы или движение руки на своём материале. Наши два запуска фиксируют длительность и время обработки, но не дают балльного сравнения этих визуальных ситуаций.

Где пригодится

  • Локализуйте запись урока

    Соедините lesson.mp4 с преподавателем, давшим согласие, и отдельно записанный перевод lesson.wav. Вы получите MP4, в котором движения губ следуют этой речи. Перевод и запись нужно подготовить до вызова синхронизации.

  • Исправьте реплику в анонсе продукта

    Отправьте исходный дубль ведущего и WAV с исправленным названием продукта и фразой. В возвращённом видео движения губ будут соответствовать новому тексту: просмотрите реплику, прежде чем заменить ею фрагмент монтажа.

  • Подготовьте рекламу для разных регионов

    Используйте один ролик с представителем бренда и отдельные утверждённые записи для каждого рынка. Каждая пара видео и аудио даёт свой синхронизированный MP4; оплата каждого запроса зависит от длины исходного ролика.

  • Переозвучьте фрагмент интервью

    Добавьте к разрешённому фрагменту интервью новую речевую дорожку MP3. Если она длиннее исходника, внимательно изучите последние кадры MP4: для покрытия аудио изображение продлевается обратным воспроизведением кадров от конца.

Документация модели

Справочник по API Sync Lipsync 3

Спецификации API Sync Lipsync 3

Разработчик и модель
sync. · lipsync-3 (sync-3)
Публичное имя API
sync/lipsync-3/lip-sync
Задача
Синхронизация губ в готовом видео с новой речью
Обязательные поля
video_url и audio_url
Длина исходного видео
1–300 секунд
Контейнер результата
MP4
Размеры и частота кадров
Сохраняются разрешение и частота кадров исходника
Звуковая дорожка
Перекодирование в моно AAC
Длительность результата
Зависит от аудио; исходное видео обрезается или продлевается
Единица оплаты
Секунда входного видео с округлением вверх
Замеры обработки
Около 76 с и 173 с в двух тестах коротких роликов
Недоступные настройки
sync_mode, встроенный синтез речи и входное изображение

Как вызвать API Sync Lipsync 3

  1. Выберите и обрежьте видео с лицом

    Найдите дубль с хорошо различимым ртом и измерьте длительность до загрузки. Оставьте 1–300 секунд и удалите материал, за который не требуется платить.

  2. Подготовьте новую запись речи

    Запишите нужную реплику в аудиофайл; в наших тестах использовались WAV и MP3. Подгоните длину к будущему монтажу, если хотите избежать обрезки или обратного продления видео.

  3. Передайте URL видео и аудио

    Отправьте POST /api/v1/jobs/createTask, задав model как sync/lipsync-3/lip-sync и указав video_url и audio_url внутри input. Добавьте Bearer API-ключ и возьмите JSON ниже за основу тела запроса.

  4. Получите и проверьте MP4

    Сохраните возвращённый taskId и проверяйте завершение через /api/v1/jobs/recordInfo?taskId=YOUR_TASK_ID. Скачайте готовый файл и сопоставьте согласные звуки, переходы движений рта и концовку с речевой записью.

Коротко

Начните работу с lipsync-3 с готовой речевой записи и нужного фрагмента видео с лицом. Два URL задают исходные материалы: длина видео определяет оплачиваемые секунды, а длина аудио — итоговую временную шкалу. Если запись длиннее, кадры в конце воспроизводятся в обратном порядке. Проверьте этот участок, движения губ и монофоническую дорожку AAC. Приведённые ниже замеры помогут спланировать пробный запуск. Если важен бюджет, сравните те же материалы с lip-sync/v1. Используйте видео и голоса, на которые у вас есть разрешение.

Вопросы об API Sync Lipsync 3