Перейти к основному контенту

nvidia/nemotron-3.5-transcribe/speech-to-text

Nemotron 3.5 Transcribe, модель NVIDIA с открытыми весами, превращает в текст до часа речи на 40 языках, по желанию с пословным временем и номерами говорящих или с переводом.

От $0.00003/с

Рабочая область

Ввод

Речь в текст
1/1
Файлы: 1 / 1
Обязательно. Загруженный MP3, WAV, MP4 или WebM до 90 МБ либо публичная ссылка на аудиофайл или видео со звуковой дорожкой. Длина от 1 секунды до 60 минут; более длинные файлы отклоняются без оплаты. Не менее 1 символов
Word Timestamps
По умолчанию выключено. Если включить, в результат добавляется каждое слово со временем начала и конца в секундах и номером говорящего с 0. Не совмещается с target_language. На цену не влияет.
Оставьте пустым, чтобы расшифровать на языке речи. Выберите язык, чтобы вместо этого получить перевод; перевод идёт на английский или с английского. Не совмещается с пословными метками. На цену не влияет.

Проверяем аккаунт перед включением отправки и расчёта стоимости.

Вывод

Готово к запуску
Пример результата
Ответ модели

Связанные модели и следующие шаги

Нужной модели нет?

NVIDIA · РЕЧЕВАЯ МОДЕЛЬ С ОТКРЫТЫМИ ВЕСАМИ

NVIDIA Nemotron 3.5 Transcribe: часовые записи в текст на 40 языках, с пословным временем, сменой говорящих или переводом.

Ключевые цифры

Языки
40
Nemotron 3.5 Transcribe сам определяет язык речи; выбирать ничего не нужно.
Самый длинный файл
60 min
Одна запись до часа на запрос; более длинные файлы отклоняются бесплатно.
Метки времени
Пословно
Начало, конец и номер говорящего для каждого слова, если включены пословные метки.
Пары перевода
31
Речь переводится на английский или с английского вместо расшифровки.

Прежде чем платить

Все режимы
  • Одна запись на запрос, от 1 секунды до 60 минут. Более длинные файлы отклоняются до обработки и ничего не стоят. Загрузка ограничена 90 МБ; публичная ссылка может вести на файл побольше.
  • Пословные метки и перевод не совмещаются. У Nemotron 3.5 Transcribe нет настройки языка, пользовательского словаря и потокового вывода; результат приходит, когда обработан весь файл.
  • Похожие голоса могут слиться в одного говорящего, а время начала слов может смещаться примерно на полсекунды. Аудио, где один и тот же фрагмент повторяется снова и снова, может вернуться обрезанным; в нашем часовом тесте с петлёй текст остановился после нескольких повторов.

Что умеет модель

В тёмном зале женщина в чёрном атласном топе на бретелях говорит в ближайший микрофон; за ней взрослые из разных регионов мира говорят каждый в свой микрофон, а золотые нити от всех микрофонов сходятся в одну линию.

Определение языка

40 языков без поля для выбора языка

Достаточно загрузить файл: язык определяется по самому голосу, поэтому архив с записями на разных языках не нужно заранее сортировать. В наших тестах японский прогноз погоды вернулся японской письменностью, а английский звонок сохранил знаки препинания и вопросительные знаки.

Слова и говорящие

Начало, конец и номер говорящего у каждого слова

При включённых пословных метках у каждого слова в результате есть время начала и конца в секундах и номер говорящего, который отсчитывается от 0. Наш радиозвонок на два голоса разделился на говорящего 0 и говорящего 1 в нужных местах. Время начала может смещаться примерно на полсекунды, а похожие голоса могут слиться, так что результат годится для строк субтитров, но не для покадровой синхронизации.

Перевод

Перевод в том же запросе

Укажите target_language, и вместо расшифровки вы получите речь на этом языке. В наших запусках испанская запись с дикторским голосом вышла на английском, а английский звонок — на японском. Перевод работает на английский и с английского для 31 другого языка, но не сочетается с пословными метками.

Мужчина в чёрной рубашке с расстёгнутым воротом, с наушниками на шее, откинулся в кожаном кресле и с улыбкой смотрит на катушечный магнитофон, чьи бобины вращаются так быстро, что сливаются в золотое пятно, а рядом стоят уже опустевшие песочные часы.

Длинные записи

Файл на 58 минут за 52 секунды

Один запрос принимает запись до 60 минут, а результат приходит, когда обработан весь файл. В наших тестах глава аудиокниги длиной 58 минут была готова примерно за 52 секунды, а тот же файл с пословными метками дал 10 594 слова с отметками времени. Файлы длиннее 60 минут отклоняются до запуска и не оплачиваются.

Где пригодится

  • Расшифровки подкастов и интервью

    Текст, разделённый по говорящим, для цитат, описаний выпусков и поиска.

  • Тайминг субтитров

    Пословное время для файлов субтитров на языке оригинала.

  • Многоязычные архивы

    Записи на любом из 40 языков расшифровываются без предварительной разметки.

  • Черновые переводы

    Первый английский черновик иноязычной записи или английская речь для другого рынка.

Документация модели

Справочник по API Nemotron 3.5 Transcribe

Спецификации API Nemotron 3.5 Transcribe

Модель
NVIDIA Nemotron 3.5 Transcribe (открытые веса, OpenMDW-1.1)
Эндпоинт
Речь в текст
Языки
40 для расшифровки, определение автоматически
Перевод
На английский или с английского, ещё 31 язык
Вход
Загрузка MP3, WAV, MP4 или WebM до 90 МБ или публичная ссылка; от 1 секунды до 60 минут
Выход
Полный текст; с метками — начало, конец и говорящий для каждого слова
Скорость
58-минутный файл примерно за 52 секунды в наших тестах

Как вызвать API Nemotron 3.5 Transcribe

  1. Загрузите или укажите ссылку

    MP3, WAV, MP4 или WebM до 90 МБ загрузкой либо публичная ссылка на файл побольше; до 60 минут речи.

  2. Простой текст или со временем

    Пословные метки выключены — быстрая простая расшифровка, включены — для субтитров и смены говорящих.

  3. Или переведите вместо этого

    Выберите целевой язык, чтобы получить речь на нём. Nemotron 3.5 Transcribe переводит на английский или с английского.

  4. Прочитайте результат

    Расшифровка приходит текстом, а с метками — ещё и списком слов со временем и номерами говорящих.

Коротко

Nemotron 3.5 Transcribe — ответ NVIDIA с открытыми весами на длинные многоязычные записи: отправьте до часа речи на любом из 40 языков и получите полный текст примерно за минуту, с пословным временем и сменой говорящих, когда нужны субтитры, или с переводом, когда нужен другой язык.

Вопросы об API Nemotron 3.5 Transcribe