Перейти к основному контенту

ByteDance Lip Sync — сервис синхронизации губ в видео от ByteDance, входящий в набор инструментов перевода видео. Lite подходит для одного говорящего анфас, Basic — для сложных сцен с одним говорящим. Результат — MP4 с частотой 25 кадров/с и длительностью по аудио.

От $0.048/с

Рабочая область

Ввод

Синхронизация губ
1/1

Перетащите видео или выберите файл на устройстве · 1 файл · Не более 90 МБ · MP4 · WEBM

  • 1
Файлы: 1 / 1
Обязательное поле в Lite и Basic без значения по умолчанию: передайте MOV, MP4 или MKV с разрешением 360p–1080p, частотой 24–60 кадров/с и битрейтом 1–30 Мбит/с. Рекомендуется H.264. Видео выше 1080p уменьшается до 1080p, вход ниже 360p отклоняется. Его длина не определяет оплачиваемые секунды. Не менее 1 символов
влияет на цену1/1
Файлы: 1 / 1
Обязательное поле для обоих режимов без значения по умолчанию: чистая человеческая речь в MP3, WAV, AAC, M4A или OGG размером до 10 МБ. Длительность — больше 1 секунды и не более 240 секунд для Lite или 210 для Basic. Она определяет оплачиваемые секунды после округления вверх и целевую длину результата. Не менее 1 символов
Фильтр безопасностиВыключен

SpicyAPI не применяет фильтр безопасности к этой модели. Промпт и материалы передаются модели без изменений, а результат определяет сама модель.

Проверяем аккаунт перед включением отправки и расчёта стоимости.

Вывод

Готово к запуску
Пример результата

Связанные модели и следующие шаги

Нужной модели нет?

BYTEDANCE · ДИАЛОГИ В ВИДЕО

Выберите режим для своей сцены и передайте голосовую дорожку — её длительность задаст длину монтажа.

Ключевые цифры

Профили Lite и Basic
2 режима
Lite рассчитан на одного человека анфас; Basic обрабатывает более сложное видео с одним говорящим и поддерживает распознавание сцен.
Предел аудио Lite
240 с
Lite принимает аудио до 240 секунд, Basic — до 210. В обоих случаях запись должна быть длиннее 1 секунды.
Частота кадров на выходе
25 fps
Готовый MP4 имеет частоту 25 кадров/с, даже если у исходного видео была другая допустимая частота.
Макс. разрешение входа
1080p
Видео выше 1080p уменьшается до 1080p; материал ниже 360p отклоняется.
Оплата по секундам аудио
За сек.
Длительность загруженной записи округляется вверх до целых секунд; ставка за секунду одинакова в Lite и Basic.
Направления повтора Lite
2 повт.
Включите loop_reverse вместе с loop_video, чтобы при повторениях чередовать направление воспроизведения.

Прежде чем платить

Все режимы
  • Получите права на использование передаваемых лиц, видео и голосов; все люди в кадре должны быть совершеннолетними. Выдавать себя за другого человека запрещено.
  • Сгенерированные файлы хранятся 14 дней, затем удаляются. Скачайте готовый результат до истечения этого срока.
Синхронизация губ
  • Оба режима рассчитаны на одного говорящего. Lite предполагает съёмку анфас; Basic поддерживает более сложные сцены и дополнительное распознавание их смены.
  • Передайте чистую запись человеческой речи длиннее 1 секунды и размером не более 10 МБ. Верхний предел — 240 секунд для Lite и 210 секунд для Basic.
  • Используйте исходное видео 360p–1080p с частотой 24–60 кадров/с и битрейтом 1–30 Мбит/с. Более высокое разрешение уменьшается до 1080p; материал ниже 360p не принимается.
  • Используйте scene_detection только в Basic. В запросах Basic не передавайте очистку шума, повторение, обратное повторение и начальную позицию: эти настройки относятся к Lite.

Что умеет модель

МОНТАЖ В МАГАЗИНЕ ПЛАСТИНОК

Короткая реплика сокращает план в комнате прослушивания

В наших тестах дубль из магазина пластинок длился 6,04 секунды; в Lite к нему добавили запись на 5,2 секунды. Результат завершился на отметке 5,20 секунды, а движения губ женщины соответствовали новой реплике. Конец монтажа определило аудио.

НАСТРОЙКИ РЕЖИМОВ

Подберите настройки под свою сцену

В Basic параметр scene_detection позволяет определять границы планов и распознавать говорящего в видео с одним участником. В Lite доступны очистка фонового шума, повторение, повторение в обратном направлении и выбор начальной позиции исходника. Несовместимые с режимом сочетания отклоняются при приёме запроса, до начала обработки.

ДЛИННЫЕ ЗАПИСИ

Повторите дубль, чтобы вместить весь диалог

В тесте настроек Lite мы совместили loop_video, loop_reverse, video_start_seconds со значением 1 и очистку фонового шума. Исходник на 5,04 секунды покрыл запись на 6,5 секунды, а результат составил 6,52 секунды. В своём монтаже проверьте повторяющиеся движения и смену их направления.

ПАРАМЕТРЫ РЕЗУЛЬТАТА

Оцените изображение при 25 кадрах в секунду

Результат из комнаты прослушивания имел размер 864×496 при 25 кадрах/с. На женщине бордовый атласный топ и тёмный жакет, у неё короткая тёмная стрижка пикси. Пример показывает подстройку движений губ под новую речь в готовом видео; указанные размеры относятся именно к этому результату.

Где пригодится

  • Замените приглашение в комнате прослушивания

    Ориентируйтесь на тайминг примера из магазина пластинок при замене диалога, на которую у вас есть разрешение. Более короткая новая запись позволяет убрать неиспользованную концовку и согласовать движения губ с новыми словами.

  • Переозвучьте ведущего, снятого анфас

    Выберите Lite для одного ведущего, обращённого к камере. Подготовьте перевод или исправленную речь отдельно, затем отправьте запись вместе с исходным видео для синхронизации губ.

  • Обработайте последовательность планов с одним говорящим

    Выберите Basic и включите scene_detection, если в ролике с одним говорящим есть смена сцен. После завершения асинхронной задачи проверьте синхронизацию возле каждой склейки.

  • Покройте длинную голосовую дорожку коротким видео

    Lite может повторять исходник, если речь длится дольше видео. Задайте начальную секунду и при необходимости чередуйте направление воспроизведения, затем оцените, подходят ли повторяющиеся действия к нужной подаче.

  • Подготовьте голосовую дорожку с фоновым звуком

    В задаче Lite параметр remove_background_noise отделяет фоновые звуки от управляющего голоса перед синхронизацией губ. Прослушайте исходную запись и речь в результате; в запросе Basic этот параметр нужно опустить.

Документация модели

Справочник по API ByteDance Lip Sync

Спецификации API ByteDance Lip Sync

Разработчик и сервис
ByteDance Lip Sync, часть инструментов ByteDance для перевода видео
Модель в запросе
bytedance/lip-sync/lip-sync
Режим по умолчанию
generation_mode: lite; также доступен basic
Видеофайлы
MOV, MP4, MKV; рекомендуется H.264
Разрешение исходника
360p–1080p; более высокое уменьшается до 1080p
Параметры кодирования исходника
24–60 кадров/с; 1–30 Мбит/с
Файлы речи
MP3, WAV, AAC, M4A, OGG; до 10 МБ
Длительность речи
Более 1 с; Lite — до 240 с, Basic — до 210 с
Длительность и формат результата
Длительность по аудио; MP4 с частотой 25 кадров/с
Правило оплаты
Секунды аудио с округлением вверх; одна ставка для Lite и Basic
Дополнительный анализ сцен
scene_detection в Basic; по умолчанию выключен
Доступность результата
14 дней, затем удаление

Как вызвать API ByteDance Lip Sync

  1. Проверьте исходник и запись

    Убедитесь, что видео отвечает требованиям к разрешению, частоте кадров и битрейту. Подготовьте чистую речь в допустимом аудиоформате, затем измерьте длительность и размер файла.

  2. Выберите Lite или Basic

    Используйте Lite для одного говорящего анфас или Basic для сложных сцен с одним говорящим. Прежде чем добавлять настройки, проверьте предел длительности аудио для выбранного режима.

  3. Отправьте совместимый набор входных данных

    Передайте video_url и audio_url в bytedance/lip-sync/lip-sync, при необходимости указав generation_mode. Добавьте распознавание сцен для Basic или подходящие настройки Lite и сохраните полученный идентификатор задачи.

  4. Проверьте тайминг и сохраните результат

    Опрашивайте статус задачи или дождитесь уведомления о завершении, затем проверьте в MP4 синхронизацию речи, склейки и повторения видео. Скачайте одобренный монтаж в течение 14 дней.

Коротко

Пусть запись речи задаст нужную длину, а режим обработки соответствует вашему видео. В примере из магазина пластинок исходный дубль на 6,04 секунды превратился в реплику на 5,20 секунды при 25 кадрах/с; отдельный тест повторения в Lite показал, как короткое видео может покрыть более длинную речь. Распознавание сцен относится к Basic, а очистка фонового шума и настройки повторения — к Lite. Измерьте аудио перед отправкой: в обоих режимах оплата зависит от его секунд с округлением вверх. По завершении проверьте произнесённые слова, стыки планов и повторяющиеся движения, затем скачайте MP4 до истечения 14 дней хранения.

Вопросы об API ByteDance Lip Sync