본문으로 건너뛰기

작업별 AI 모델 순위

작업별 공개 사용자 투표에, 모델마다 어디까지 생성하는지 자체 테스트를 더했습니다.

2026년 10월 19일 기준 공개 사용자 투표의 작업별 1위: 텍스트→영상 부문 Wan 3.0, 이미지→영상 부문 MiniMax H3 Max, 레퍼런스→영상 부문 Seedance 2.5, 텍스트→이미지 부문 GPT Image 2.5 Sunburst 및 이미지 편집 부문 GPT Image 2.5 Sunburst.

음성 품질 순위

음성 합성에 대한 독립적인 사람 청취 투표입니다. 이 Elo 점수는 Spicy Index에 포함되지 않습니다.

조회일 2026년 9월 29일 · 외부 순위의 92개 모델 중 카탈로그의 5개 모델을 확인했습니다.

  1. 1Gemini 3.8 Flash TTS
    1,267 Elo95% CI 1,251–1,283

    청취 투표 2,211건

  2. 2Gemini 3.8 Flash-Lite TTS
    1,241 Elo95% CI 1,225–1,257

    청취 투표 2,180건

  3. 3MiniMax Speech 2.8 HD
    1,171 Elo95% CI 1,160–1,182

    청취 투표 4,498건

  4. 4MiniMax Speech 2.8 Turbo
    1,151 Elo95% CI 1,140–1,162

    청취 투표 4,391건

  5. 5Chatterbox
    1,023 Elo95% CI 1,012–1,034

    청취 투표 4,603건

순위는 점 추정값을 기준으로 합니다. 95% 신뢰구간이 겹치면 명확한 품질 차이가 입증된 것은 아닙니다.

Artificial Analysis

긴 문서 작업의 지시 준수

동일한 고정 문서 6개에 각각 4문제를 냅니다. 검색, 다단계 추론, 갱신된 사실과 누락 정보를 다루며 엄격한 JSON 형식의 정답만 채점합니다. Spicy Index에는 포함되지 않습니다.

  1. Claude Opus 5.5

    2026년 9월 30일 업데이트

    실측 입력: 47,180–47,180 토큰

    100.0 / 100

    요구 형식으로 정답 24/24개

  2. DeepSeek V4 Flash

    2026년 9월 30일 업데이트

    실측 입력: 32,087–32,087 토큰

    100.0 / 100

    요구 형식으로 정답 24/24개

  3. DeepSeek V4 Pro

    2026년 9월 30일 업데이트

    실측 입력: 32,087–32,087 토큰

    100.0 / 100

    요구 형식으로 정답 24/24개

  4. GLM 5.2

    2026년 9월 30일 업데이트

    실측 입력: 38,336–38,429 토큰

    100.0 / 100

    요구 형식으로 정답 24/24개

  5. GLM 5.3

    2026년 9월 30일 업데이트

    실측 입력: 38,336–38,429 토큰

    100.0 / 100

    요구 형식으로 정답 24/24개

  6. GLM 5.3 Flash

    2026년 9월 30일 업데이트

    실측 입력: 38,336–38,429 토큰

    100.0 / 100

    요구 형식으로 정답 24/24개

  7. Kimi K3

    2026년 9월 30일 업데이트

    실측 입력: 32,084–32,086 토큰

    100.0 / 100

    요구 형식으로 정답 24/24개

  8. Gemini 3.5 Flash-Lite

    2026년 9월 30일 업데이트

    실측 입력: 53,282–53,282 토큰

    95.8 / 100

    요구 형식으로 정답 23/24개

  9. Claude Opus 4.6

    2026년 9월 30일 업데이트

    실측 입력: 33,716–33,716 토큰

    표본: 거부 0개 · JSON 형식 오류 1개 · 출력 한도 도달 0개. 항목은 중복될 수 있습니다.

    83.3 / 100

    요구 형식으로 정답 20/24개

  10. Gemini 3 Flash Preview

    2026년 9월 30일 업데이트

    실측 입력: 53,282–53,283 토큰

    표본: 거부 0개 · JSON 형식 오류 1개 · 출력 한도 도달 0개. 항목은 중복될 수 있습니다.

    83.3 / 100

    요구 형식으로 정답 20/24개

  11. Grok 4.6

    2026년 9월 30일 업데이트

    실측 입력: 32,211–32,211 토큰

    표본: 거부 0개 · JSON 형식 오류 1개 · 출력 한도 도달 0개. 항목은 중복될 수 있습니다.

    83.3 / 100

    요구 형식으로 정답 20/24개

  12. Claude Sonnet 5

    2026년 9월 30일 업데이트

    실측 입력: 47,178–47,178 토큰

    표본: 거부 0개 · JSON 형식 오류 2개 · 출력 한도 도달 0개. 항목은 중복될 수 있습니다.

    66.7 / 100

    요구 형식으로 정답 16/24개

  13. Gemini 3.1 Pro Preview

    2026년 9월 30일 업데이트

    실측 입력: 53,283–53,283 토큰

    표본: 거부 0개 · JSON 형식 오류 2개 · 출력 한도 도달 0개. 항목은 중복될 수 있습니다.

    66.7 / 100

    요구 형식으로 정답 16/24개

  14. Grok 4.5

    2026년 9월 30일 업데이트

    실측 입력: 32,211–32,211 토큰

    표본: 거부 0개 · JSON 형식 오류 4개 · 출력 한도 도달 0개. 항목은 중복될 수 있습니다.

    33.3 / 100

    요구 형식으로 정답 8/24개

  15. Claude Opus 4.5

    2026년 9월 30일 업데이트

    실측 입력: 33,716–33,745 토큰

    표본: 거부 0개 · JSON 형식 오류 5개 · 출력 한도 도달 0개. 항목은 중복될 수 있습니다.

    16.7 / 100

    요구 형식으로 정답 4/24개

  16. Gemini 3.7 Flash

    2026년 9월 30일 업데이트

    실측 입력: 53,283–53,283 토큰

    표본: 거부 0개 · JSON 형식 오류 5개 · 출력 한도 도달 0개. 항목은 중복될 수 있습니다.

    16.7 / 100

    요구 형식으로 정답 4/24개

  17. Claude Opus 5

    2026년 9월 30일 업데이트

    실측 입력: 47,178–47,178 토큰

    표본: 거부 6개 · JSON 형식 오류 6개 · 출력 한도 도달 0개. 항목은 중복될 수 있습니다.

    0.0 / 100

    요구 형식으로 정답 0/24개

  18. Claude Sonnet 4.5

    2026년 9월 30일 업데이트

    실측 입력: 33,745–33,745 토큰

    표본: 거부 0개 · JSON 형식 오류 6개 · 출력 한도 도달 0개. 항목은 중복될 수 있습니다.

    0.0 / 100

    요구 형식으로 정답 0/24개

  19. Claude Sonnet 4.6

    2026년 9월 30일 업데이트

    실측 입력: 33,716–33,716 토큰

    표본: 거부 0개 · JSON 형식 오류 6개 · 출력 한도 도달 0개. 항목은 중복될 수 있습니다.

    0.0 / 100

    요구 형식으로 정답 0/24개

  20. Gemini 2.5 Flash

    2026년 9월 30일 업데이트

    실측 입력: 53,282–53,282 토큰

    표본: 거부 0개 · JSON 형식 오류 6개 · 출력 한도 도달 0개. 항목은 중복될 수 있습니다.

    0.0 / 100

    요구 형식으로 정답 0/24개

모든 모델에 동일한 문서를 입력합니다. 문서당 기준 토큰 수는 31,998개(o200k_base, tiktoken 0.14.0), 출력 한도는 4,096개입니다. 코드 블록은 내용이 맞아도 형식 오류로 처리합니다. 6개 표본이 모두 완료된 결과만 공개합니다. 최대 컨텍스트 길이나 긴 문서 능력 전체를 측정하지 않습니다.

테스트 방법

짧은 영어 낭독 음성 전사

화자 6명의 고정 낭독 음성 6개, 총 53.6초와 참조 단어 146개를 사용하는 소규모 테스트입니다. 노래 가사, 소음 환경의 음성이나 전반적인 전사 능력을 평가하지 않으며 Spicy Index에 포함되지 않습니다.

  • Grok STT

    2026년 9월 30일 업데이트

    대치 2 · 삭제 0 · 삽입 0 / 참조 단어 146개

    1.37% WER

    낮을수록 좋음

  • HeartMuLa Transcribe

    2026년 9월 30일 업데이트

    대치 4 · 삭제 0 · 삽입 2 / 참조 단어 146개

    4.11% WER

    낮을수록 좋음

단어 오류율(WER)은 대치·삭제·삽입의 합을 전체 참조 단어 수로 나눈 값입니다. 대소문자와 문장 부호를 같은 규칙으로 정규화하며 단어 안의 아포스트로피는 유지합니다. 6개 음성의 처리가 모두 끝난 결과만 표시합니다. WER은 100%를 넘을 수 있습니다.

전사 평가 방법

리더보드 질문