소개
InfiniteTalk lip-sync는 원본 촬영본과 교체 녹음으로 입·고개·신체 움직임이 새로 구성된 발화 연기를 만듭니다. 선택 장면 지시와 흰색 화자 마스크로 요청을 유도하며 MP4는 오디오 길이를 따릅니다.
| 항목 | 값 |
|---|---|
| 입력 | 영상 오디오 |
| 출력 | 영상 |
| 모델 정보 | MeiGen-AI InfiniteTalk; 표준 공개 가중치 모델, Apache-2.0 |
| 작업명 | meigen-ai/infinitetalk-v1/lip-sync |
| 미디어 쌍 | 필수 |
| 입력 오디오 범위 | 3–600초; 출력 길이 결정 |
| 출력 단계 | 기본 480p; 단가 2배의 선택 720p |
| 선택 지시 |
|
| 길이 계산 | 오디오 초 수 올림, 최소 3초 |
| 플로리스트 출력 실측 | 1264×720, 25fps, 6.10초 |
| 전달 형식 | 폴링 또는 콜백으로 비동기 MP4 결과 수신 |
| 보관 기간 | 출력은 14일 후 삭제 |
핵심 기능 및 하이라이트
토성에 관한 짧은 설명
테스트에서 천문학자가 옥상 망원경 옆에서 약 9초 동안 녹음을 따라 말하며 미묘하고 자연스럽게 움직였습니다.
바의 인물 사진이 대사를 말합니다
480p 바 예시는 넥타이를 느슨하게 한 남성이 ‘Last call already? Then stay for one more.’라고 말합니다. 따뜻한 바 장면에 자연스러운 머리 움직임이 더해졌습니다.
인물을 정하고 한 요소 변경
여러 사람이 사진을 공유하면 선택 마스크에서 화자를 흰색으로 표시합니다. 고정 seed는 prompt·해상도 하나씩 바꿔 비교하도록 도우며 동일 결과를 약속하지 않습니다.
요청 파라미터
| 파라미터 | 필수 | 설명 |
|---|---|---|
video_url | 예 | lip-sync 필수 촬영본으로 원하는 인물이 선명하게 보여야 합니다. 기본값은 없습니다. 1자 이상 |
audio_url | 예 | lip-sync 필수 교체 녹음으로 3–600초이며 기본값은 없습니다. 출력 길이와 과금 길이를 정합니다. 1자 이상 |
prompt | 아니요 | 표정·동작·조명을 위한 최대 2,000자의 선택 lip-sync 지시입니다. 생략할 수 있으며 대사는 오디오에서 나옵니다. 1자 이상 · 2000자 이하 |
mask_url | 아니요 | 여러 인물이 나오는 lip-sync용 선택 화자 이미지입니다. 원하는 인물을 흰색으로 표시합니다. 1자 이상 |
resolution | 아니요 | 영상 lip-sync는 480p 또는 720p를 받으며 기본값은 480p입니다. 720p의 과금 초당 단가는 480p의 2배입니다. |
seed | 아니요 | 영상 lip-sync 비교용 선택 난수 seed이며 여기서는 수치 범위나 기본값을 명시하지 않습니다. 동일 출력을 기대하지 않고 설정 하나를 바꿀 때 고정합니다. |
요금
3–600초 입력 오디오 초 수를 정수로 올림하며 최소 3초를 과금합니다. 720p 단가는 480p의 2배입니다. 원본 영상 길이·마스크·prompt·seed는 과금을 바꾸지 않습니다.
| 사양 | 요금 |
|---|---|
| $0.036 / 초 |
| $0.072 / 초 |
활용 사례
정지 캐릭터에 녹음 답변 더하기
인물 사진으로 시작할 때는 talking-avatar를 사용합니다. 녹음이 목소리와 대사를 제공하고 모델이 말하는 움직임을 더합니다.
기존 촬영본 분위기 바꾸기
원본 클립의 새로운 발화에는 lip-sync를 고릅니다. 꽃 작업실 테스트에서는 망설임에서 기쁨으로 바뀌는 녹음에 맞춰 고개를 들고 표정이 밝아지며 어깨가 움직였습니다.
내레이션으로 발표 영상 만들기
발표자의 사진이나 영상에 준비한 설명을 결합합니다. 3–600초 오디오를 받으며 긴 녹음을 쓸 때는 결과 전체를 검토합니다.
공유 장면의 한 사람 지시
mask_url로 제공하는 마스크에서 원하는 화자를 흰색으로 표시합니다. 원본 미디어의 인물을 선택하는 기능이며 제시된 플로리스트 테스트는 마스크 없는 단일 화자입니다.
긴 실행 전 발화 조정
480p에서 짧은 녹음과 절제된 움직임 prompt를 시험합니다. seed를 고정해 지시 하나의 변경을 비교한 뒤 최종 클립에 단가가 2배인 720p를 쓸지 결정합니다.
프롬프트 가이드 및 실전 팁
촬영본과 새 녹음 결합
video_url에는 화자가 선명한 클립, audio_url에는 3–600초 녹음을 설정합니다. 두 미디어의 권리를 확인하며 성인을 대상으로 사칭 없이 사용합니다.
발화와 단가 설정
필요에 따라 화자 선택 mask_url이나 동작 지시 prompt를 추가합니다. 기본 480p 또는 초당 단가가 2배인 720p를 고릅니다. 비교용 seed는 선택 사항입니다.
발화 클립 수신과 평가
폴링 또는 콜백으로 비동기 결과를 받습니다. 녹음을 재생하며 다시 생성된 표정·자세를 보고 14일 후 삭제되기 전에 MP4를 저장합니다.
발화 연기를 바꾸는 재더빙
MeiGen-AI의 InfiniteTalk는 Apache-2.0 표준 공개 가중치 모델입니다. meigen-ai/infinitetalk-v1/lip-sync 엔드포인트는 촬영본과 새 녹음을 받아 MP4를 만듭니다. 입 애니메이션·고개 움직임·표정·자세를 함께 다시 생성할 수 있습니다. 새 대사가 보이는 연기에도 영향을 줘야 할 때 이 작업을 고릅니다.
MeiGen-AI는 이를 희소 프레임 영상 더빙으로 설명합니다. 원본이 인물 정체성·배경·카메라 맥락을 제공하고 오디오가 생성 움직임을 이끕니다. 원본 동작이 프레임마다 재현되리라 기대하지 말고 전체 연기를 검토합니다. 목소리는 업로드한 녹음에서 나오며 음성을 복제하는 엔드포인트는 아닙니다.
파라미터 역할
| 필드 | 필수 | 지원 값과 역할 |
|---|---|---|
video_url | 예 | 원하는 인물이 선명하게 보이는 원본 촬영본입니다. |
audio_url | 예 | 3–600초 녹음으로 목소리와 출력 길이를 제공합니다. |
mask_url | 아니요 | 화자 선택 이미지입니다. 여러 사람이 보이면 원하는 인물을 흰색으로 표시합니다. |
prompt | 아니요 | 표정·동작·조명을 설명하는 최대 2,000자입니다. |
resolution | 아니요 | 기본 480p 또는 초당 단가가 2배인 720p입니다. |
seed | 아니요 | 입력 하나의 변경을 비교하기 위한 고정 난수 seed입니다. 반복 재현은 보장하지 않습니다. |
별도 길이 필드는 없으므로 원하는 길이로 녹음을 준비합니다. 녹음보다 긴 원본 클립은 결과에서 줄어듭니다. 플로리스트 예시는 6.04초 촬영본과 6.1초 오디오로 6.10초를 반환했습니다. 이 짧은 확장으로 모든 입력 길이 차이의 처리 동작을 단정할 수는 없습니다.
녹음에 따른 과금
입력 오디오 초 수를 다음 정수 초로 올림하며 최소 3초를 적용합니다. 720p 단가는 480p의 2배입니다. 원본 영상 길이·화자 마스크·prompt 문구·seed 선택은 이 규칙을 바꾸지 않습니다. 현재 단가는 InfiniteTalk 모델 가격에서 확인합니다.
플로리스트 요청의 6.1초 녹음은 720p 단계에서 7초로 계산됐습니다. 해당 트랙이 발화 길이와 과금 길이를 모두 정하므로 먼저 쉼과 끝부분까지 녹음 전체를 확인합니다. 원본 클립이 짧아져도 과금 오디오 초 수는 줄지 않습니다.
장면과 녹음 준비
화자가 잘 보이게 구성
원하는 인물의 표정과 움직임을 뚜렷하게 평가할 수 있는 촬영본을 고릅니다. 얼굴·영상·목소리의 허가를 각각 확인합니다. 화면 속 인물은 모두 성인이어야 하며 타인을 사칭하는 결과를 만들어서는 안 됩니다. 단체 장면에는 원하는 화자를 흰색으로 표시한 mask_url을 제공합니다. 마스크는 인물을 선택하며 오디오 트랙을 대신하지 않습니다.
연기에 관한 지시 작성
실제 대사는 녹음에 넣습니다. 조용한 작업실 장면에는 ‘화자가 작은 놀란 미소와 부드러운 어깨 움직임으로 고개를 듭니다. 따뜻한 작업실 조명은 일정하게 유지합니다.’ 같은 선택 지시가 유용합니다. 제공 영상의 장면에 맞게 지시를 조정합니다. 텍스트 필드는 보이는 발화를 유도할 수 있지만 audio_url을 대체할 수는 없습니다.
미디어·seed·해상도는 유지하고 지시 하나를 바꿔 비교합니다. 고정 seed는 비교에 도움이 되지만 같은 프레임이나 몸짓의 반복을 약속하지 않습니다. 두 출력에 소리를 켜고 보며 무엇이 바뀌었는지 확인합니다.
샘플이 보여 준 점
rainy-florist-surprise 예시는 864×496의 차분한 6.04초 작업실 클립으로 시작했습니다. 6.1초 녹음은 망설임에서 기쁨으로 바뀝니다. 동작 prompt와 resolution: 720p를 적용하자 1264×720, 25fps, 6.10초 결과가 나왔습니다. 입이 대사를 따르는 동안 고개가 들리고 표정이 밝아지며 어깨와 상체가 움직였습니다.
별도 480p 테스트에서는 5.4초 원본과 4.55초 녹음으로 512×768, 25fps, 4.55초 결과가 나왔습니다. 입과 고개 자세가 교체 대사를 따랐습니다. 이는 짧은 클립 실측이며 특정 화면 크기나 10분 녹음 전체의 지속 품질을 보장하지는 않습니다.
결과 수신과 검토, 작업 선택
요청은 비동기로 실행됩니다. 제출 후 작업 ID를 보관하고 완료를 폴링하거나 콜백으로 MP4를 받습니다. 녹음 끝까지 발화 타이밍·표정 변화·고개 움직임·장면을 확인합니다. 생성 파일은 14일 보관 후 삭제되므로 사용할 출력은 기한 전에 저장합니다.
원본이 정지 이미지이면 InfiniteTalk의 사진 기반 talking-avatar 엔드포인트를 사용합니다. 기존 촬영본의 발화 스타일 유지와 다른 입력 길이의 처리 선택이 중요하면 Sync Lipsync 2를 비교합니다. 몸짓·표정·카메라 움직임을 텍스트로 지시하는 인물 사진 작업에는 OmniHuman 1.5를 살펴봅니다. 필요한 입력 자료와 제어로 선택한 뒤 사용 허가가 있는 자료로 짧은 결과를 평가합니다.
API 빠른 시작
# Generate the idempotency key once; reuse it when retrying after a lost response.
export SPICY_IDEMPOTENCY_KEY="${SPICY_IDEMPOTENCY_KEY:-$(uuidgen)}"
curl -X POST https://api.spicyapi.ai/api/v1/jobs/createTask \
-H "Authorization: Bearer $SPICY_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: $SPICY_IDEMPOTENCY_KEY" \
-d '{
"model": "meigen-ai/infinitetalk-v1/lip-sync",
"input": {
"audio_url": "https://example.com/reference.mp3",
"resolution": "480p",
"video_url": "https://example.com/reference.mp4"
}
}'
# Copy data.taskId from the response into TASK_ID, then poll the status.
TASK_ID="TASK_ID_FROM_RESPONSE"
curl "https://api.spicyapi.ai/api/v1/jobs/recordInfo?taskId=$TASK_ID" \
-H "Authorization: Bearer $SPICY_API_KEY"
인증, 전체 스키마, 폴링과 오류 처리는 API 레퍼런스에서 확인하세요.


