Перейти к основному контенту

elevenlabs/dubbing/audio-to-audio

ElevenLabs Dubbing — сервис перевода записанной речи от ElevenLabs; аудиоэндпоинт превращает исходник до 15 минут в MP3 с дубляжом на одном из 33 целевых языков.

От $0.012/с

Рабочая область

Ввод

Аудио в аудио
влияет на цену1/1
Файлы: 1 / 1
Передайте запись для перевода через audio_url длительностью до 15 минут. Более длинный материал обрежьте или разделите перед отправкой; используйте записи, на дубляж которых есть разрешение. Не менее 1 символов
Фильтр безопасностиВыключен

SpicyAPI не применяет фильтр безопасности к этой модели. Промпт и материалы передаются модели без изменений, а результат определяет сама модель.

Проверяем аккаунт перед включением отправки и расчёта стоимости.

Вывод

Готово к запуску

Связанные модели и следующие шаги

Нужной модели нет?

API ELEVENLABS DUBBING

Переводите записанную речь, сохраняя характер голоса говорящего на другом языке.

Ключевые цифры

Целевых языка
33
Предел длины исходника
15 мин
Заданное число говорящих
1–32
Тест: обработка 4,5 с
9,6 с

Прежде чем платить

Все режимы

Записи длиннее 15 минут отклоняются при отправке. Доступны 33 целевых языка, 57 исходных и auto; число говорящих можно задать от 1 до 32 или опустить для определения. Перед использованием дубляжа проверьте перевод имён, терминов и смену говорящих.

Перевод видео

Перевод видео сохраняет изображение и заменяет аудиодорожку. Движения губ остаются исходными, субтитров в MP4 нет; для этих требований нужен отдельный процесс.

Что умеет модель

Два процесса для медиа

Дубляж в MP3 или переведённый MP4

audio-to-audio принимает запись и возвращает MP3 с дубляжом. video-translate создаёт MP4 с сохранённой картинкой и заменённой аудиодорожкой. Оба принимают исходники до 15 минут: выбирайте эндпоинт по нужному итоговому медиа.

Языки и управление говорящими

33 целевых языка и определение голосов

Выберите из 33 целевых и 57 исходных языков либо включите автоматическое определение исходного. При известном составе задайте speaker_count от 1 до 32, иначе опустите его. По словам ElevenLabs, дубляж переносит характер каждого голоса в переведённую речь.

Выбор звукового фона

Оставьте атмосферу исходной записи

Включите keep_background_audio, если музыка или атмосфера нужны в переводе. До использования результата проверьте их баланс с новыми голосами. Для видео этот выбор не меняет снятое изображение и не создаёт субтитры.

Замеры коротких клипов

9,6 с обработки нашего аудиообразца

Тест перевода английского аудио на 4,5 с на испанский дал MP3 на 4,50 с примерно за 9,6 с обработки. Файл — моно 44,1 кГц, 128 кбит/с. Отдельное видео на 6,04 с заняло около 14,8 с и вернулось MP4 с новой монофонической AAC-дорожкой; это наблюдения по образцам.

Где пригодится

  • Подкаст-интервью на испанском

    Отправьте 12-минутное английское интервью через audio_url, выберите es и задайте speaker_count 2 для ведущего и гостя. Аудиоэндпоинт вернёт переведённый MP3 для проверки и включения в испанский выпуск.

  • Голосовое сообщение клиентам на английском

    Предоставьте 45-секундную заметку коллеги, согласившегося на перевод, с целевым en. Получите MP3 с дубляжом и проверьте его, прежде чем делиться сообщением.

  • Озвученный урок с сохранённым экраном

    Передайте 6-минутную запись урока с экрана через video_url и выберите целевой язык. MP4 сохранит демонстрацию, заменив речь; при необходимости подготовьте субтитры отдельно.

  • Аудиореклама с музыкой

    Используйте 30-секундную рекламу, на которую имеете права, и включите keep_background_audio. Получится MP3 с переведёнными голосами и сохранённой под ними музыкой или атмосферой.

  • Демонстрация продукта для другого рынка

    Отправьте 90-секундный обзор продукта как видео и выберите поддерживаемый язык. MP4 с тем же изображением и дубляжом подойдёт для языковой проверки перед выпуском.

Документация модели

Справочник по API ElevenLabs Dubbing

Спецификации API ElevenLabs Dubbing

Разработчик и продукт
ElevenLabs — ElevenLabs Dubbing
Дата выпуска
10 октября 2023
Публичное имя аудио API
elevenlabs/dubbing/audio-to-audio
Публичное имя видео API
elevenlabs/dubbing/video-translate
Предел длительности исходника
15 минут; более длинные записи отклоняются при отправке
Целевые языки
33; target_language по умолчанию en
Исходные языки
57 плюс автоопределение
Количество говорящих
1–32; опустите speaker_count для автоопределения
Фоновый звук
keep_background_audio сохраняет музыку и атмосферу
Наблюдавшийся аудиорезультат
MP3; 4,50 с, моно 44,1 кГц, 128 кбит/с в нашем аудиотесте
Наблюдавшийся видеорезультат
MP4; 6,04 с с новым моно AAC и побайтово идентичным видеопотоком в нашем тесте
Единица оплаты
Секунды исходного медиа с округлением вверх

Как вызвать API ElevenLabs Dubbing

  1. Подберите запись с разрешением на дубляж

    Выберите аудио или видео не длиннее 15 минут: собственную запись либо говорящих, согласившихся на дубляж. Убедитесь в наличии прав на речь и музыку.

  2. Настройте языки и говорящих

    Выберите один из 33 целевых языков и автоопределение либо один из 57 исходных. Если известно, укажите speaker_count от 1 до 32 и решите, сохранять ли фон.

  3. Создайте запрос на дубляж

    Выполните POST https://api.spicyapi.ai/api/v1/jobs/createTask с авторизацией Bearer и JSON, например {"model":"elevenlabs/dubbing/audio-to-audio","input":{"audio_url":"https://example.com/narration.mp3","target_language":"es"}}. Для видео выберите elevenlabs/dubbing/video-translate и замените поле на video_url.

  4. Получите медиа и проверьте перевод

    Читайте задачу через GET /api/v1/jobs/recordInfo?taskId=<taskId> до state succeeded, затем скачайте возвращённый файл. Проверьте речь и смену говорящих; в дубляже видео движения губ остаются снятыми.

Коротко

Выбирайте ElevenLabs Dubbing, когда записанную речь нужно перевести на другой язык. Для MP3 отправьте подкаст или озвучку в audio-to-audio; для MP4 с сохранённым изображением передайте снятую демонстрацию в video-translate. До отправки проверьте предел 15 минут, языки, число говорящих и настройку фона. Оцените смысл и постоянство голосов на коротком отрывке, затем просмотрите готовую запись перед распространением. Для бюджета используйте указанную посекундную цену; если речь должна совпадать с движениями рта на экране, выбирайте процесс с изменением движений губ.

Вопросы об API ElevenLabs Dubbing