Введение
InfiniteTalk lip-sync использует съёмку и новую запись для говорящего видео с обновлёнными движениями рта, головы и фигуры. Необязательные указания сцены и белая маска говорящего направляют запрос, а длина MP4 следует аудио.
| Характеристика | Значение |
|---|---|
| Ввод | Видео Аудио |
| Вывод | Видео |
| Модель | MeiGen-AI InfiniteTalk; стандартная модель с открытыми весами, Apache-2.0 |
| Имя задачи | meigen-ai/infinitetalk-v1/lip-sync |
| Пара медиафайлов | Обязательные |
| Диапазон входного аудио | 3–600 секунд; задаёт длину результата |
| Разрешения результата | По умолчанию 480p; необязательное 720p по двойному тарифу |
| Необязательные указания |
|
| Учёт длительности | Секунды аудио с округлением вверх, минимум три секунды |
| Замер результата с флористом | 1264×720, 25 кадров/с, 6,10 секунды |
| Формат выдачи | Асинхронный результат MP4 через опрос или уведомление |
| Срок хранения | Результаты удаляются через 14 дней |
Ключевые возможности и особенности
Краткое объяснение Сатурна
В наших проверках астроном говорил у телескопа на крыше около девяти секунд. Подача следовала записи со сдержанным естественным движением.
Барный портрет произносит реплику
В примере 480p мужчина с ослабленным галстуком говорит: «Last call already? Then stay for one more.» Естественное движение головы сопровождает тёплую барную обстановку.
Выберите человека и меняйте одну деталь
При нескольких людях отметьте нужного белым на необязательной маске. Фиксированный seed помогает сравнить одну правку prompt или разрешения, не обещая идентичного результата.
Параметры запроса
| Параметр | Обязательно | Описание |
|---|---|---|
video_url | Да | Обязательная съёмка для lip-sync с хорошо видимым нужным человеком. Значения по умолчанию нет; длина видео не задаёт оплачиваемые секунды, которые зависят от аудио и разрешения. Не менее 1 символов |
audio_url | Да | Обязательная новая запись для lip-sync на 3–600 секунд, значения по умолчанию нет. Не менее 1 символов |
prompt | Нет | Необязательные указания lip-sync по мимике, действиям и свету до 2 000 символов. Можно опустить; реплика берётся из аудио. Не менее 1 символов · Не более 2000 символов |
mask_url | Нет | Необязательное изображение выбора говорящего для lip-sync, если людей несколько; отметьте нужного человека белым. Для запроса без маски поле опускайте. Не менее 1 символов |
resolution | Нет | Видео lip-sync принимает 480p или 720p, по умолчанию 480p. Каждая оплачиваемая секунда 720p стоит вдвое дороже 480p; разрешение не меняет выбор входной длительности для расчёта. |
seed | Нет | Необязательный seed для сравнений видео lip-sync; числовой диапазон и значение по умолчанию здесь не заданы. |
Стоимость
Учитываются секунды входного аудио с округлением вверх до целой секунды, минимум три секунды; допустимая длина аудио — 3–600 секунд. Тариф 720p вдвое выше 480p; длина исходного видео, маска, промпт и seed не меняют расчёт.
| Спецификация | Стоимость |
|---|---|
| $0.036 / секунду |
| $0.072 / секунду |
Сценарии использования
Дайте неподвижному персонажу записанный ответ
Используйте talking-avatar, если начинаете с портрета. Запись задаёт голос и фразу, а модель добавляет речевые движения.
Измените настроение готовой съёмки
Выберите lip-sync для новой подачи в исходном ролике. В тесте цветочной мастерской запись с переходом от замешательства к радости привела к поднятию головы, оживлению мимики и движениям плеч.
Сделайте ролик с ведущим из объяснения
Соедините фото или видео ведущего с готовым объяснением. Принимается аудио на 3–600 секунд; при длинной записи просмотрите результат целиком.
Направьте одного человека в общей сцене
Отметьте нужного говорящего белым в маске через mask_url. Так выбирается человек в исходном материале; показанный тест с флористом использует одного говорящего без маски.
Уточните подачу перед длинным запуском
Попробуйте короткую запись и сдержанный промпт движений в 480p. Сравните одно изменённое указание с фиксированным seed, затем решите, нужен ли итоговый ролик в 720p по двойному тарифу.
Руководство по промптам и практические советы
Соедините съёмку с новой записью
В
video_urlукажите ролик с хорошо видимым говорящим, вaudio_url— запись на 3–600 секунд. Проверьте права на оба файла; используйте совершеннолетних без имитации чужой личности.Настройте подачу и тариф
При необходимости добавьте
mask_urlдля выбора человека или prompt для движений. Оставьте 480p по умолчанию либо выберите 720p по двойной цене секунды; seed необязателен и служит сравнению.Получите и оцените говорящий ролик
Заберите асинхронный результат опросом или через уведомление. Просмотрите обновлённую мимику и позу под звучащую запись, затем сохраните MP4 до удаления через 14 дней.
Переозвучка с изменением подачи
InfiniteTalk от MeiGen-AI — стандартная модель с открытыми весами по Apache-2.0. Эндпоинт meigen-ai/infinitetalk-v1/lip-sync принимает съёмку и новую запись, возвращая MP4. Анимация рта, движения головы, мимика и поза могут создаваться заново вместе. Выбирайте этот процесс, если новая фраза должна влиять на видимое исполнение.
MeiGen-AI описывает метод как дубляж видео по разреженным кадрам: исходник задаёт личность, фон и контекст камеры, а аудио направляет сгенерированные движения. Оценивайте исполнение целиком, не ожидая покадрового повторения исходных движений. Голос берётся из загруженной записи; эндпоинт его не клонирует.
Шесть полей запроса
| Поле | Обязательно | Допустимое значение и роль |
|---|---|---|
video_url | Да | Исходная съёмка, где нужный человек хорошо виден. |
audio_url | Да | Запись на 3–600 секунд; задаёт голос и длительность результата. |
mask_url | Нет | Изображение выбора говорящего; если людей несколько, отметьте нужного белым. |
prompt | Нет | До 2 000 символов с описанием мимики, действий или света. |
resolution | Нет | По умолчанию 480p либо 720p по двойному тарифу за секунду. |
seed | Нет | Фиксированный источник случайности для сравнения одного изменённого входного значения; повторяемость не гарантируется. |
Отдельного поля длительности нет: подготовьте запись нужной длины. Если исходный ролик длиннее аудио, результат сокращается. В примере с флористом аудио на 6,1 секунды и видео на 6,04 секунды дали 6,10 секунды результата; такое небольшое продление не устанавливает поведение для любой разницы длительностей.
Сосчитайте секунды аудио и выберите разрешение
Оплачиваются секунды входного аудио с округлением вверх до ближайшей целой секунды и минимумом три секунды. Тариф 720p вдвое выше 480p. Длина исходного видео, выбор говорящего маской, формулировка промпта и seed не меняют это правило. Текущая ставка приведена в цене InfiniteTalk.
В запросе с флористом запись на 6,1 секунды оплачивалась как семь секунд в 720p. Сначала прослушайте всю запись, включая паузы и окончание: эта дорожка определяет и длину речи, и оплачиваемую длительность. Более короткий исходный ролик не уменьшает количество оплачиваемых секунд аудио.
Подготовьте сцену и запись
Сделайте говорящего видимым
Выберите съёмку, в которой можно отчётливо оценить выражение лица и движения нужного человека. Проверьте разрешения на лицо, видео и голос отдельно: каждый показанный человек должен быть совершеннолетним, а результат не должен выдавать себя за другого человека. Для групповой сцены передайте mask_url с белой областью на нужном говорящем. Маска выбирает человека и не заменяет звуковую дорожку.
Задавайте указания об исполнении
Саму реплику поместите в запись. Полезное необязательное указание для спокойной сцены в мастерской: «Говорящая поднимает взгляд с лёгкой удивлённой улыбкой и небольшим движением плеч; сохраните ровный тёплый свет мастерской». Согласуйте указания со сценой в переданном видео. Текстовое поле направляет видимую подачу, но не заменяет audio_url.
Сравнивайте одно изменённое указание, сохраняя те же медиафайлы, seed и разрешение. Постоянный seed делает сравнение полезнее, но не обещает идентичных кадров или повторённого жеста. Чтобы увидеть разницу, посмотрите оба результата со звуком.
Наблюдения результатов видео
Пример rainy-florist-surprise начался со спокойного ролика из мастерской на 6,04 секунды размером 864×496. Запись на 6,1 секунды переходит от замешательства к радости. С промптом движения и resolution: 720p результат составил 1264×720 при 25 кадрах/с и длине 6,10 секунды. Женщина подняла голову, её мимика оживилась, а плечи и верхняя часть фигуры двигались, пока губы следовали словам.
В отдельном тесте 480p исходник на 5,4 секунды с записью на 4,55 секунды вернул 4,55 секунды при 512×768 и 25 кадрах/с. Движения рта и положение головы следовали новой фразе. Это замеры коротких роликов, а не гарантия определённого размера кадра или стабильного качества на десятиминутной записи.
Получите, проверьте и выберите процесс
Запросы асинхронные. После отправки сохраните идентификатор задачи, затем получите MP4 через опрос завершения или уведомление. Проверяйте время речи, изменения мимики, движения головы и сцену до самого конца записи. Сгенерированные файлы хранятся 14 дней, затем удаляются; сохраните подходящие результаты до истечения срока.
Если исходник — неподвижное изображение, используйте фотоэндпоинт talking-avatar в InfiniteTalk. Для готовой съёмки сравните Sync Lipsync 2, если монтажу важны исходная манера речи и выбор способа согласования разной длины файлов. Для портрета с текстовыми указаниями жестов, мимики и камеры рассмотрите OmniHuman 1.5. Выбирайте по исходному материалу и нужным настройкам, затем оцените короткий результат на собственных разрешённых медиафайлах.
Быстрый старт API
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "meigen-ai/infinitetalk-v1/lip-sync",
"input": {
"audio_url": "https://example.com/reference.mp3",
"resolution": "480p",
"video_url": "https://example.com/reference.mp4"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
Аутентификация, полная схема, опрос статуса и обработка ошибок описаны в справочнике API.


