Перейти к основному контенту

ByteDance Lip Sync — сервис синхронизации губ в видео от ByteDance, входящий в набор инструментов перевода видео. Lite подходит для одного говорящего анфас, Basic — для сложных сцен с одним говорящим. Результат — MP4 с частотой 25 кадров/с и длительностью по аудио.

От $0.048/с

Рабочая область

Отправить запрос

Быстрый старт

Примеры используют публичные параметры выбранного эндпоинта. Замените API-ключ и примеры медиафайлов, затем отправьте запрос со своего сервера.

SDK и интеграции
POSThttps://api.spicyapi.ai/api/v1/jobs/createTask

Аутентификация API

Храните API-ключ в серверной переменной окружения SPICY_API_KEY. Используйте Bearer-аутентификацию и Content-Type: application/json для JSON-запросов.

Authorization: Bearer $SPICY_API_KEY
Пример результатаИспользовать пример
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
  -H "Authorization: Bearer $SPICY_API_KEY" \
  -H "Content-Type: application/json" \
  -H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
  -d '{
  "model": "bytedance/lip-sync/lip-sync",
  "input": {
    "audio_url": "https://example.com/reference.mp3",
    "generation_mode": "lite",
    "video_url": "https://example.com/reference.mp4"
  }
}'

# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
  -H "Authorization: Bearer $SPICY_API_KEY"

Пример построен по входной схеме этой модели — той же, по которой API проверяет каждый запрос.

Входные параметры

Поместите эти поля в объект input тела запроса. Имена и типы соответствуют API. Не предполагайте значение по умолчанию, если оно не задано.

audio_urlstringОбязательноВлияет на цену

Обязательное поле для обоих режимов без значения по умолчанию: чистая человеческая речь в MP3, WAV, AAC, M4A или OGG размером до 10 МБ. Длительность — больше 1 секунды и не более 240 секунд для Lite или 210 для Basic. Она определяет оплачиваемые секунды после округления вверх и целевую длину результата.

По умолчанию
Не задано
Ограничения
minLength:1
format:"uri"
contentMediaType:["audio/mpeg","audio/wav"]
video_urlstringОбязательно

Обязательное поле в Lite и Basic без значения по умолчанию: передайте MOV, MP4 или MKV с разрешением 360p–1080p, частотой 24–60 кадров/с и битрейтом 1–30 Мбит/с. Рекомендуется H.264. Видео выше 1080p уменьшается до 1080p, вход ниже 360p отклоняется. Его длина не определяет оплачиваемые секунды.

По умолчанию
Не задано
Ограничения
minLength:1
format:"uri"
contentMediaType:["video/mp4","video/webm","video/quicktime"]
video_start_secondsnumberНеобязательно

Необязательная числовая позиция исходника для Lite, по умолчанию 0 секунд. Выберите начальную точку внутри переданного видео; в Basic опустите поле. Более поздний старт меняет выбор кадров, но оплачиваемые секунды аудио по-прежнему определяются всей загруженной записью.

По умолчанию
0
Ограничения
minimum:0
maximum:3600
loop_reversebooleanНеобязательно

Необязательное логическое поле Lite, по умолчанию false; имеет смысл при включённом loop_video. Повторяющийся видеоряд чередует прямое и обратное воспроизведение. В Basic опустите поле. Смена направления не меняет оплачиваемую длительность аудио.

По умолчанию
false
loop_videobooleanНеобязательно

Необязательное логическое поле Lite, по умолчанию true. Повторяет видеоряд, если речь длиннее видео. В Basic опустите это поле, в том числе при переносе настроек из запроса Lite; основой оплаты остаётся загруженное аудио.

По умолчанию
true
scene_detectionbooleanНеобязательно

Необязательное логическое поле Basic, по умолчанию false. Включает распознавание сцен и говорящего при обработке видео с одним участником. Не включайте в Lite: такое сочетание отклоняется до обработки. Ставку за секунду аудио не меняет.

По умолчанию
false
remove_background_noisebooleanНеобязательно

Необязательное логическое поле Lite, по умолчанию false. Отделяет фоновые звуки от записи перед синхронизацией губ. В Basic опустите поле: такое сочетание отклоняется при приёме запроса; ограничение введено по результатам трёх неудачных тестов Basic. Оплата по секундам аудио не меняется.

По умолчанию
false
generation_modestringНеобязательно

Необязательный выбор lite или basic, по умолчанию lite. Lite предназначен для одного говорящего анфас, Basic — для сложных сцен с одним говорящим. При выборе Basic меняются совместимые настройки и предел аудио, но ставка остаётся прежней.

По умолчанию
"lite"
Допустимые значения
"lite""basic"

Отследить задачу

HTTP 202 означает принятие задачи, а не завершение генерации. Сохраните полученный taskId и проверяйте эту задачу. Не создавайте новую, пока ждёте результат.

Ответ при приёме задачи
HTTP/1.1 202 Accepted
Location: /api/v1/jobs/recordInfo?taskId=job_01k3m8x9q2z4v7n5p6r8s0t1w3

{
  "code": 200,
  "msg": "success",
  "request_id": "req_example_create",
  "data": {
    "taskId": "job_01k3m8x9q2z4v7n5p6r8s0t1w3",
    "state": "queued",
    "estimatedCost": "0.750000"
  }
}

В ответе о приёме есть оценка стоимости — приложение сможет показать ту же сумму в истории задач и в расчётах.

Получить задачу
curl --get "https://api.spicyapi.ai/api/v1/jobs/recordInfo" \
  --data-urlencode "taskId=$TASK_ID" \
  -H "Authorization: Bearer $SPICY_API_KEY"

Начните с интервала около 2 секунд и постепенно увеличивайте его. Прекратите опрос при конечном состоянии. После сбоя соединения используйте исходный taskId. Повторно создавать задачу можно только с исходным ключом идемпотентности и исходным телом запроса.

Или пусть вызов придёт сам
import { verifyWebhook } from "@spicyapi/sdk";

// express.raw keeps the bytes we signed; express.json never matches.
app.post("/hooks/spicy", express.raw({ type: "application/json" }), (req, res) => {
  const { payload } = verifyWebhook({
    rawBody: req.body,
    timestamp: req.header("X-Webhook-Timestamp"),
    signature: req.header("X-Webhook-Signature"),
    payloadVersion: Number(req.header("X-Webhook-Payload-Version")),
    secret: process.env.SPICY_WEBHOOK_SECRET,
  });
  res.status(200).end();
  void handleFinishedTask(payload);
});

Передайте callBackUrl при создании задачи — готовая запись придёт к вам POST-запросом, и никакого опроса не понадобится. В каждой доставке есть X-Webhook-Timestamp, X-Webhook-Signature и X-Webhook-Payload-Version. Подпись — это HMAC-SHA256 в base64 от taskId.timestamp.sha256(body), поэтому проверять её нужно по исходным байтам: если разобрать JSON и сериализовать заново, байты изменятся и проверка не пройдёт. Неудачные доставки повторяются, так что один и тот же taskId может прийти дважды — сделайте обработчик идемпотентным. Сначала ответьте 2xx, работу выполняйте после: медленный обработчик считается неудачной доставкой.

Прочитать результат

Обрабатывайте output только при state, равном succeeded. При ошибке проверьте errorCode, errorMessage и request_id. Стоимость и состояния в примерах не являются фактическим счётом.

Пример ответа после завершения
{
  "code": 200,
  "msg": "success",
  "request_id": "req_example_record",
  "data": {
    "taskId": "job_01k3m8x9q2z4v7n5p6r8s0t1w3",
    "model": "bytedance/lip-sync/lip-sync",
    "state": "succeeded",
    "output": {
      "assets": [
        {
          "key": "tasks/2026/08/28/job_01k3m8x9q2z4v7n5p6r8s0t1w3/3f7a1c9e5b2d48f0a6c1e3d5b7f9a1c3.mp4",
          "mime": "video/mp4",
          "url": "https://example.r2.cloudflarestorage.com/results/job_01k3m8x9q2z4v7n5p6r8s0t1w3/result.mp4?X-Amz-Signature=SIGNATURE_FROM_RESPONSE",
          "expiresAt": "2026-08-28T12:20:08.000Z"
        }
      ]
    },
    "cost": "0.750000",
    "settled": true,
    "createdAt": "2026-08-28T12:00:00Z",
    "completedAt": "2026-08-28T12:00:30Z"
  }
}

Доступные файлы можно открыть или скачать по assets[].url без заголовка API Authorization. Подписанная ссылка действует до expiresAt. Чтобы обновить её, повторно запросите задачу в течение срока хранения файла. У ожидающих или недоступных файлов URL отсутствует. Не передавайте подписанные ссылки посторонним.

SDK и интеграции

Используйте SpicyAPI в приложении, терминале, ИИ-ассистенте или визуальном процессе. Выберите руководство по настройке.

Использование в ComfyUI

Установите узлы SpicyAPI через ComfyUI Manager или командой ниже и найдите на холсте ByteDance Lip Sync · Lip Sync a Video to New Audio. У узла те же параметры, что и на этой странице, а цена показывается до запуска.

cd ComfyUI/custom_nodes
git clone https://github.com/spicyapi-ai/comfyui-spicyapi