소개
OmniHuman 2.0 말하는 아바타는 ByteDance의 오디오 기반 아바타 모델입니다. 인물 사진(image_url)과 발화 또는 노래 오디오 파일(audio_url)을 보내면, 그 사람이 오디오를 연기하는 720p 영상을 돌려줍니다. 얼굴, 입술, 머리, 상체가 오디오와 함께 움직이며 상체가 굳어 있지 않습니다. 클립 길이는 오디오와 같으며 4~300초입니다. 길이, 해상도, 화면 비율을 정하는 필드는 없습니다. 선택 사항인 prompt(최대 300자)로 분위기, 몸짓, 시선 방향을 지정할 수 있고, 제작사에 따르면 카메라 움직임도 지정할 수 있습니다.
이 페이지의 예시 네 개 중 세 개(슈퍼클럽 가수, 바 카운터, 심야 쇼)는 Kling Avatar 2.0과 같은 인물 사진과 오디오를 약 5초로 잘라 쓴 것이므로, 두 페이지를 나란히 비교할 수 있습니다.
핵심 기능 및 하이라이트
오디오가 길이를 정합니다
클립을 보내기 전에 원하는 길이로 오디오를 잘라 두세요. 4초보다 짧거나 300초보다 긴 오디오는 과금 전에 거절됩니다. 저희 테스트에서 클립은 오디오보다 0.2~1초 길게, 정수 초 단위로 나왔습니다. 4.55초 오디오는 5초 클립이 되었고, 5.2초 오디오는 6초 클립이 되었습니다. 과금은 완성된 클립이 아니라 오디오 길이를 따릅니다.
저희가 측정한 것
인물 사진 네 장을 각각 4.555.2초 오디오와 한 줄짜리 프롬프트로 테스트했습니다. 네 장 모두 16:9였습니다. 모든 클립은 오디오 트랙을 포함해 1280×720, 24 fps로 나왔고, 클립당 처리 시간은 약 2분이었습니다. 제출부터 완성 파일까지 110133초입니다. 프레임을 입력 인물 사진과 비교했을 때, 네 클립 모두 얼굴이 같은 사람으로 분명히 알아볼 수 있었습니다.
립싱크, 표정, 몸짓
네 클립 모두 입술이 오디오를 따랐습니다. 프롬프트는 작고 구체적인 동작을 요청했고, 대부분이 나타났습니다. 마지막 단어에서 미소와 작은 고개 기울임이 나타나며 손은 마이크에 그대로 머물렀습니다. 반쯤 짓는 미소와 치켜올린 눈썹이 대사를 따르는 동안 바 뒤의 술병은 흔들리지 않았습니다. 마지막 1초에는 고개가 바다 쪽으로 돌아갔고, 마지막 단어에서 짧은 웃음과 크게 올라간 눈썹이 나타났습니다. 한 가지 지시는 눈에 띄게 나타나지 않았습니다. 심야 쇼 클립에서 마이크 쪽으로 기대는 동작입니다.
프롬프트는 선택 사항입니다
prompt를 비워 두면 모델이 오디오만 따라 움직입니다. 제작사는 프롬프트 언어로 중국어, 영어, 일본어, 한국어, 스페인어(멕시코), 인도네시아어를 밝히고 있습니다. 저희 프롬프트 네 개는 모두 영어였고, 표정, 몸짓, 시선 방향을 지정했습니다. 카메라 움직임 지시는 테스트하지 않았습니다.
테스트하지 않은 부분
제작사는 여러 사람이 나오는 장면을 지원한다고 밝히고 있지만 저희는 테스트하지 않았습니다. 저희 클립은 모두 약 5초 오디오였으므로, 300초에 가까운 긴 클립, 전곡 노래, 16:9가 아닌 인물 사진은 테스트하지 않았습니다.
콘텐츠 심사
ByteDance의 콘텐츠 심사를 통과하지 못한 인물 사진은 거절되며 과금되지 않습니다. 저희 테스트 인물 사진 중 하나가 이렇게 거절되어 클립도 과금도 없었습니다. 모든 요청이 이 심사를 거친다고 보고 계획하세요.
요청 파라미터
| 파라미터 | 필수 | 설명 |
|---|---|---|
prompt | 아니요 | 선택 사항이며 최대 300자입니다. 분위기, 몸짓, 시선 방향, 카메라 움직임을 지정하세요. 300자 이하 |
image_url | 예 | 애니메이션화할 인물 사진입니다. JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC 또는 HEIF, 30MB 미만, 각 변 300 |
audio_url | 예 | 발화 또는 노래 오디오입니다. WAV 또는 MP3, 15MB 미만, 4~300초입니다. |
요금
$0.108 / 초
입력 오디오의 초당 과금이며, 최소 4초, 최대 300초입니다. 보류 금액은 오디오 길이를 따르고(길이를 읽을 수 없으면 최대 300초 기준), 차액은 전달 시 해제됩니다. 실패하거나 거절된 요청은 과금되지 않습니다.
활용 사례
녹음된 대사에 얼굴 입히기
녹음했거나 생성한 대사를 인물 사진과 짝지으면, 그 사람이 대사를 전달하는 클립을 얻습니다. 이미 얼굴을 정해 둔 캐릭터의 내레이션 인트로, 후기, 대사에 유용합니다.
짧은 진행자 인트로와 콜드 오프닝
밝고 장난스러운 오프닝 대사에, 분위기와 마지막 단어의 동작을 적은 프롬프트를 더했더니 이 페이지의 심야 쇼 예시처럼 큰 표정, 생동감 있는 눈썹, 웃음이 나왔습니다.
스틸 사진에서 부르는 노래 한 소절
제작사는 노래를 발화와 함께 지원한다고 밝혔습니다. 저희 테스트는 빈티지 마이크 앞에서 느리게 노래하듯 말한 한 줄, 약 5초였습니다. 전곡은 아직 해보지 않았습니다.
휴대폰 사진 그대로
인물 사진은 JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC 또는 HEIF 형식으로 30MB 미만이면 됩니다. 휴대폰에서 바로 찍은 사진을 먼저 변환하지 않고 넣을 수 있습니다.
프롬프트 가이드 및 실전 팁
표정을 대사의 한 순간에 묶으세요
‘마지막 단어에서 나른하게 미소 짓기’와 ‘끝에서 시선 돌리기’는 둘 다 우리가 정한 위치에 맞게 나타났습니다. 슈퍼클럽 클립에서는 미소와 고개 기울임이 끝에 나타났고, 테라스 클립에서는 마지막 1초에 고개가 바다 쪽으로 돌아갔습니다. 대사의 어느 위치에서 동작이 일어나야 하는지 적어 주면 모델이 타이밍을 맞출 기준이 생깁니다.
동작은 몇 가지로 제한하세요
저희 프롬프트는 각각 분위기 하나, 얼굴 동작 한두 개, 때로는 자세 하나를 요청했습니다. 5초짜리 클립을 만들기에는 이 정도면 충분합니다. 저희 실행에서는 얼굴 동작이 몸의 움직임보다 프롬프트를 더 안정적으로 따랐습니다.
몸 동작 하나에만 기대지 마세요
심야 쇼 프롬프트의 ‘마이크 쪽으로 기대기’는 눈에 띄게 나타나지 않았지만, 옆의 웃음과 눈썹은 나타났습니다. 한 번의 실행에서 얻은 한 가지 관찰이지만, 몸 동작이 중요하다면 한 번 생성해 보고 확인한 뒤에 기반으로 삼으세요.
제약을 염두에 두고 인물 사진을 고르세요
가로와 세로는 각각 3006000픽셀이어야 하고, 가로 대 세로 비율은 0.42.5 사이여야 합니다. 저희는 16:9 인물 사진만 테스트했습니다.
오디오를 연기에 맞게 잘라내세요
클립은 오디오와 같은 길이로 나오고 과금도 오디오 길이를 따르므로, 원하는 발화나 노래에 맞게 파일을 잘라내세요. WAV 또는 MP3, 15MB 미만입니다.
API 빠른 시작
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "bytedance/omnihuman-2.0/talking-avatar",
"input": {
"audio_url": "https://example.com/reference.mp3",
"image_url": "https://example.com/reference.png",
"prompt": "A slow aerial shot drifting over a misty pine forest at sunrise"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
인증, 전체 스키마, 폴링과 오류 처리는 API 레퍼런스에서 확인하세요.
