Введение
Согласуйте движения губ в записи с чистой новой голосовой дорожкой с помощью Lite или Basic. Аудио задаёт целевую длину результата, а набор настроек зависит от режима: распознавание сцен либо очистка шума и повторения в Lite.
| Характеристика | Значение |
|---|---|
| Ввод | Видео Аудио |
| Вывод | Видео |
| Разработчик сервиса | ByteDance Lip Sync |
| Идентификатор интерфейса | bytedance/lip-sync/lip-sync |
| Допустимое видео | MOV / MP4 / MKV; 360p–1080p, 24–60 кадров/с, 1–30 Мбит/с |
| Допустимые голосовые файлы | MP3 / WAV / AAC / M4A / OGG, до 10 МБ |
| Режим и предел аудио | Lite: >1–240 с; Basic: >1–210 с |
| Настройка Basic |
|
| Настройки Lite по умолчанию | Очистка шума false; повторение true; обратное false; начало исходника 0 с |
| Получаемое видео | MP4, 25 кадров/с; целевая длительность следует речи |
| Основа оплаты | Секунды входного аудио с округлением вверх; одна ставка в обоих режимах |
Ключевые возможности и особенности
Короткая реплика сокращает план в комнате прослушивания
В наших тестах дубль из магазина пластинок длился 6,04 секунды; в Lite к нему добавили запись на 5,2 секунды. Результат завершился на отметке 5,20 секунды, а движения губ женщины соответствовали новой реплике. Конец монтажа определило аудио.
Подберите настройки под свою сцену
В Basic параметр scene_detection позволяет определять границы планов и распознавать говорящего в видео с одним участником. В Lite доступны очистка фонового шума, повторение, повторение в обратном направлении и выбор начальной позиции исходника. Несовместимые с режимом сочетания отклоняются при приёме запроса, до начала обработки.
Повторите дубль, чтобы вместить весь диалог
В тесте настроек Lite мы совместили loop_video, loop_reverse, video_start_seconds со значением 1 и очистку фонового шума. Исходник на 5,04 секунды покрыл запись на 6,5 секунды, а результат составил 6,52 секунды. В своём монтаже проверьте повторяющиеся движения и смену их направления.
Оцените изображение при 25 кадрах в секунду
Результат из комнаты прослушивания имел размер 864×496 при 25 кадрах/с. На женщине бордовый атласный топ и тёмный жакет, у неё короткая тёмная стрижка пикси. Пример показывает подстройку движений губ под новую речь в готовом видео; указанные размеры относятся именно к этому результату.
Параметры запроса
| Параметр | Обязательно | Описание |
|---|---|---|
video_url | Да | Обязательное поле в Lite и Basic без значения по умолчанию: передайте MOV, MP4 или MKV с разрешением 360p–1080p, частотой 24–60 кадров/с и битрейтом 1–30 Мбит/с. Не менее 1 символов |
audio_url | Да | Обязательное поле для обоих режимов без значения по умолчанию: чистая человеческая речь в MP3, WAV, AAC, M4A или OGG размером до 10 МБ. Не менее 1 символов |
generation_mode | Нет | Необязательный выбор lite или basic, по умолчанию lite. Lite предназначен для одного говорящего анфас, Basic — для сложных сцен с одним говорящим. |
remove_background_noise | Нет | Необязательное логическое поле Lite, по умолчанию false. Отделяет фоновые звуки от записи перед синхронизацией губ. По умолчанию: |
scene_detection | Нет | Необязательное логическое поле Basic, по умолчанию false. Включает распознавание сцен и говорящего при обработке видео с одним участником. По умолчанию: |
loop_video | Нет | Необязательное логическое поле Lite, по умолчанию true. Повторяет видеоряд, если речь длиннее видео. По умолчанию: |
loop_reverse | Нет | Необязательное логическое поле Lite, по умолчанию false; имеет смысл при включённом |
video_start_seconds | Нет | Необязательная числовая позиция исходника для Lite, по умолчанию 0 секунд. Выберите начальную точку внутри переданного видео; в Basic опустите поле. |
Стоимость
$0.048 / секунда
Оплачивается длительность загруженного аудио с округлением вверх до целых секунд. Запись должна быть длиннее 1 секунды, максимум — 240 секунд в Lite или 210 секунд в Basic. Ставка одинакова для обоих режимов; длина видео и совместимые настройки её не меняют. Ответы о занятости сервера не оплачиваются, попытки повторяются автоматически.
Сценарии использования
Замените приглашение в комнате прослушивания
Ориентируйтесь на тайминг примера из магазина пластинок при замене диалога, на которую у вас есть разрешение. Более короткая новая запись позволяет убрать неиспользованную концовку и согласовать движения губ с новыми словами.
Переозвучьте ведущего, снятого анфас
Выберите Lite для одного ведущего, обращённого к камере. Подготовьте перевод или исправленную речь отдельно, затем отправьте запись вместе с исходным видео для синхронизации губ.
Обработайте последовательность планов с одним говорящим
Выберите Basic и включите scene_detection, если в ролике с одним говорящим есть смена сцен. После завершения асинхронной задачи проверьте синхронизацию возле каждой склейки.
Покройте длинную голосовую дорожку коротким видео
Lite может повторять исходник, если речь длится дольше видео. Задайте начальную секунду и при необходимости чередуйте направление воспроизведения, затем оцените, подходят ли повторяющиеся действия к нужной подаче.
Подготовьте голосовую дорожку с фоновым звуком
В задаче Lite параметр remove_background_noise отделяет фоновые звуки от управляющего голоса перед синхронизацией губ. Прослушайте исходную запись и речь в результате; в запросе Basic этот параметр нужно опустить.
Руководство по промптам и практические советы
Подготовьте пару медиафайлов
Укажите URL допустимого видео и URL чистой речи. Проверьте размер аудиофайла и его длительность по ограничениям выбранного режима.
Используйте поля выбранного режима
Задайте
generation_modeили оставьте Lite по умолчанию, затем добавьте совместимые настройки. Отправьте задачу и запишите её идентификатор для проверки статуса.Сохраните готовый монтаж
Дождитесь завершения через опрос статуса или уведомление, проверьте MP4 и сохраните файл до его удаления через 14 дней.
ByteDance Lip Sync: выбор режима сцены
ByteDance Lip Sync — сервис синхронизации губ от ByteDance из набора инструментов перевода видео. Готовый ролик с одним говорящим служит источником изображения, а отдельная запись человеческого голоса управляет новыми движениями губ. Результат в MP4 имеет частоту 25 кадров/с и следует длительности записи: лишние кадры исходника обрезаются, а короткий видеоряд повторяется, чтобы покрыть более длинную речь.
Выбирайте lite для одного человека, снятого анфас. Для сложных сцен с одним говорящим используйте basic с дополнительным распознаванием сцен и говорящего. Это режимы обработки сцен с одинаковой ставкой. Интерфейс не клонирует голоса: звук результата берётся из загруженного вами аудио.
Параметры и доступные настройки
В запросе укажите модель bytedance/lip-sync/lip-sync. Оба URL обязательны. Дополнительные настройки должны соответствовать выбранному режиму; несовместимые сочетания отклоняются при приёме запроса, до начала генерации.
| Поле | Значение или значение по умолчанию | Режим и действие |
|---|---|---|
video_url | Обязательный URL; значения по умолчанию нет | Оба режима: MOV, MP4 или MKV; 360p–1080p, 24–60 кадров/с, 1–30 Мбит/с; рекомендуется H.264. |
audio_url | Обязательный URL; значения по умолчанию нет | Оба режима: чистая речь в MP3/WAV/AAC/M4A/OGG, до 10 МБ, длиннее 1 секунды; максимум 240 секунд в Lite и 210 секунд в Basic. |
generation_mode | lite или basic; по умолчанию lite | Выбирает режим сцены без изменения ставки за секунду аудио. |
remove_background_noise | Логическое значение; по умолчанию false | Lite: отделяет фоновые звуки перед синхронизацией губ; не передавайте в Basic. |
scene_detection | Логическое значение; по умолчанию false | Basic: распознаёт сцены и определяет говорящего; не передавайте в Lite. |
loop_video | Логическое значение; по умолчанию true | Lite: повторяет изображение, чтобы покрыть более длинную запись; не передавайте в Basic. |
loop_reverse | Логическое значение; по умолчанию false | Lite с включённым повторением: чередует прямое и обратное воспроизведение; не передавайте в Basic. |
video_start_seconds | Число; по умолчанию 0 | Lite: начинает воспроизведение с указанной секунды исходника; не передавайте в Basic. |
В наборе публичных полей нет текстового промпта или выбора разрешения. Нужные слова должны быть в записи. Видео выше 1080p уменьшается до 1080p; материал ниже 360p отклоняется.
Расчёт стоимости по записи речи
Измерьте входное аудио в секундах и округлите вверх до целого числа. Для Lite и Basic действует одна ставка за секунду; доступные настройки и длина исходного видео не меняют основу расчёта. Актуальная цена указана в тарифе ByteDance Lip Sync.
Запись из магазина пластинок на 5,2 секунды учитывается как 6 оплачиваемых секунд. Сокращение её видео не уменьшит этот объём, поскольку он определяется аудио. До отправки обрежьте лишнюю тишину и ненужную речь, сохранив длительность больше 1 секунды и в пределах выбранного режима.
Подготовка совместимой пары файлов
Убедитесь, что на видео отчётливо виден один говорящий, и проверьте формат файла, разрешение, частоту кадров и битрейт. Для Lite нужна съёмка анфас. Для сложной сцены, требующей анализа планов, выберите Basic и при необходимости включите scene_detection.
Прослушайте отдельную голосовую запись перед загрузкой. Заранее подготовьте перевод и его озвучку. В Lite параметр remove_background_noise позволяет отделить фоновые звуки; Basic эту настройку не принимает. При выборе Basic также опустите loop_video, loop_reverse и video_start_seconds, в том числе если они были скопированы из запроса Lite.
Сравните длительности двух входных файлов. Запись задаёт целевую длину монтажа. В Lite настройте повторение через loop_video, добавьте loop_reverse для чередования направления и задайте начальную точку исходника через video_start_seconds. После завершения оцените повторяющиеся жесты.
Результаты тестов
В примере из магазина пластинок ролик на 6,04 секунды с размером 864×496 объединили с репликой на 5,2 секунды в Lite, отключив очистку фонового шума. Движения губ женщины в комнате прослушивания изменились под новые слова. Результат длился 5,20 секунды при 864×496 и 25 кадрах/с, показав обрезку под запись.
Отдельный запуск Basic с распознаванием сцен объединил исходник на 6,04 секунды и речь на 5,2 секунды, выдав 5,28 секунды. В другом запуске Lite включили повторение, обратное повторение, очистку шума и начало исходника с 1 секунды: видео на 5,04 секунды покрыло речь на 6,5 секунды, результат составил 6,52 секунды. В этих запусках измеренная длительность немного отклонялась от длины записи.
Три попытки Basic с очисткой фонового шума завершились ошибкой в наших тестах. Lite успешно обработал эту настройку, поэтому правила совместимости разрешают её только в Lite. Эти наблюдения объясняют распределение полей по режимам, но не гарантируют результат для любых входных данных.
Завершение, ожидание и ограничения файлов
Отправка создаёт асинхронную задачу и возвращает идентификатор. Опрашивайте статус до завершения или дождитесь уведомления, затем получите готовый MP4. Сервис может сообщить о занятости сервера; такие ответы не оплачиваются, попытки повторяются автоматически. Пиковая нагрузка может увеличить ожидание, поэтому приём задачи ещё не означает её завершения.
Используйте видео, изображения лиц и голосовые записи, на которые у вас есть права; все люди в кадре должны быть совершеннолетними. Не выдавайте себя за другого человека. Сгенерированные файлы удаляются через 14 дней, поэтому скачайте копию готового монтажа, который нужно сохранить.
Сравнение с другими моделями синхронизации губ
Sync Lipsync 2 предлагает пять режимов согласования длительности и оплачивается по секундам исходного видео. Рассмотрите его, если эти варианты тайминга подходят вашему монтажу, учитывая другую основу расчёта стоимости. Ещё два близких варианта — VEED Lipsync 2.0 и Lip Sync. Проверьте собственные видео и запись, на которые у вас есть разрешение, с учётом допустимых входных данных каждого интерфейса.
Быстрый старт API
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "bytedance/lip-sync/lip-sync",
"input": {
"audio_url": "https://example.com/reference.mp3",
"generation_mode": "lite",
"video_url": "https://example.com/reference.mp4"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
Аутентификация, полная схема, опрос статуса и обработка ошибок описаны в справочнике API.
