AI 모델 평가 방식

각각 리더보드가 있는 핵심 점수 두 개와, 모든 모델 계열에 대한 측정값 세 개입니다.

점수 읽는 법

모든 숫자는 공개된 채점표로 고정된 기준에 맞춰 계산합니다. 100은 업계가 제공하는 최고 수준을 완전히 검증했다는 뜻이며, 카탈로그에서 1위라는 뜻이 아닙니다. 같은 종류 중 선두라는 이유로 100점을 받는 모델은 없습니다.

Spicy Index는 품질·기능 기본 점수 70%와 공개 가능한 Freedom Score 30%를 합칩니다. 근거가 모두 있으면 품질 59.5%, 기능 10.5%, 자유도 30%입니다. 가격과 속도는 별도 지표입니다.

Spicy Index = 품질·기능 70% + Freedom 30%. 근거가 모두 있으면 품질 59.5% + 기능 10.5% + Freedom 30%입니다.

원래 품질·기능 점수에서는 품질이 85%, 기능이 15%입니다. 데이터가 없는 품질 출처는 제외하고 나머지는 품질 그룹 안에서 다시 배분하며, 빠진 가중치가 기능으로 넘어가지는 않습니다. 품질 근거가 없으면 원래 점수는 기능만 사용합니다. 기능 표가 없는 도구는 충분히 검증된 품질만 사용하거나 아직 기본 점수가 없습니다. Index는 이 기본 점수 70%와 공개 가능한 Freedom Score 30%를 합칩니다. 유효한 Freedom Score가 0이면 실제로 0점을 반영합니다. 자유도가 미측정이거나 근거가 부족하면 기본 점수와 잠정 표시를 유지합니다. 기본 점수가 없으면 자유도가 채점되어도 Index를 만들지 않습니다. 잠정 점수도 사용 가능한 Index로 순위에 포함됩니다.

현재 품질 점수는 이미지·영상의 경우 공개 리더보드와 자체 블라인드 결과물 테스트에서, 언어 모델의 경우 공개 리더보드와 자체 테스트 세트에서 가져옵니다. 자체 아레나는 투표가 충분히 모인 모델부터 반영합니다.

출력 품질은 디테일, 움직임, 카메라 제어, 프롬프트 준수를 평가하며 소리가 있는 영상은 오디오도 평가합니다. 원래 품질·기능 점수에서는 품질이 85%, 기능이 15%입니다. 데이터가 없는 품질 출처는 제외하고 나머지는 품질 그룹 안에서 다시 배분하며, 빠진 가중치가 기능으로 넘어가지는 않습니다. 품질 근거가 없으면 원래 점수는 기능만 사용합니다. 기능 표가 없는 도구는 충분히 검증된 품질만 사용하거나 아직 기본 점수가 없습니다. Index는 이 기본 점수 70%와 공개 가능한 Freedom Score 30%를 합칩니다. 유효한 Freedom Score가 0이면 실제로 0점을 반영합니다. 자유도가 미측정이거나 근거가 부족하면 기본 점수와 잠정 표시를 유지합니다. 기본 점수가 없으면 자유도가 채점되어도 Index를 만들지 않습니다. 잠정 점수도 사용 가능한 Index로 순위에 포함됩니다.

공개 리더보드를 쓰는 이유

자체 아레나는 이제 막 시작했고, 수백 표로 만든 순위는 흔들림이 큽니다. 기능 채점표로는 결과물의 품질을 전혀 볼 수 없습니다. arena.ai, Artificial Analysis, Design Arena 같은 공개 리더보드는 수십만 건의 사람 블라인드 투표에 기반하므로, 자체 블라인드 테스트·아레나와 함께 품질 점수의 기준으로 씁니다.

공개 리더보드

모델이 정확히 일치하는 항목만 씁니다. 개발사, 버전, 등급이 모두 같아야 합니다. Fast, Mini, Spicy 같은 파생 버전이 기본 모델의 점수를 빌려 쓰는 일은 없습니다. 한 리더보드에 같은 모델의 파생 버전이 여러 개 올라 있으면 투표 수가 가장 많은 것 하나만 셉니다. 리더보드마다 따로 환산하고, 모델이 올라 있는 리더보드들의 가중 평균을 그 모델의 점수로 삼습니다.

리더보드 하나의 점수 = 50 + 40 × (레이팅 − 중앙값) ÷ (1위 − 중앙값). 0–100 범위로 제한합니다. 1위는 90, 중앙값 모델은 50이 됩니다.

모든 리포트에는 사용한 리더보드를 링크와 함께 전부 싣습니다. 그 리더보드에서의 모델 이름, 레이팅과 구간, 순위, 투표 수, 확인한 날짜입니다.

블라인드 결과물 테스트

모든 모델에 같은 프롬프트를 씁니다. 개발사가 서로 다른 심사위원 셋이 어느 모델의 결과물인지 모르는 상태에서 기준이 고정된 척도로 결과물마다 1–10점을 매깁니다. 평가 항목마다 모든 심사위원과 프롬프트의 평균을 낸 뒤 테스트 안에서 가중치를 줍니다.

평가 항목 하나의 점수 = (평균 − 1) ÷ 9 × 100. 1점은 0, 10점은 100이 됩니다.

• 점수는 같은 프롬프트 안에서의 상대 점수입니다. 각 결과물을 먼저 같은 프롬프트에 대한 다른 모델의 결과물과 비교하므로, 프롬프트의 난이도와 심사위원이 얼마나 후하게 또는 엄하게 채점했는지가 상쇄됩니다.
• 평가 항목은 프롬프트가 6개 이상 모인 뒤에 공개합니다.
• 글자 렌더링은 테스트에 글자가 들어간 프롬프트가 있을 때만, 편집 일관성은 편집 엔드포인트가 있는 모델만, 오디오는 소리를 생성하는 모델만 반영합니다. 해당하지 않는 항목은 빼고 나머지로 가중치를 다시 조정하므로, 그 때문에 감점되는 모델은 없습니다.
• 오디오는 효과음, 감정 표현, 입 모양 동기화를 봅니다. 소리를 들을 수 있는 심사위원 한 명만 채점하며, 리포트에도 그렇게 적습니다.
• 리포트에는 항목별 심사위원 수를 싣지만, 심사위원의 모델명은 싣지 않습니다.
• 블라인드 테스트는 매번 사람 투표로 정해지는 공개 리더보드와 대조합니다. 어떤 부문에서 결과가 맞지 않으면(순위 상관이 0.60 미만이거나 양쪽에 모두 오른 모델이 8개 미만) 그 부문의 블라인드 테스트는 품질의 35%가 아니라 10%로 계산하며, 해당 부문의 리포트에도 그렇게 밝힙니다.
• 이 부문에서 당사의 블라인드 테스트만으로 평가한 모델도 잠정 표시를 유지하며 현재 Index 점수로 순위를 부여합니다. 공개 순위나 아레나 근거는 추가 수집 중입니다. 블라인드 테스트와 아레나 참여는 근거의 출처이며 순위 부여의 필수 조건이 아닙니다.

유틸리티 도구

얼굴 교체, 머리 교체, 배경 제거 같은 도구도 동일한 세 명의 독립된 심사위원이, 공통 프롬프트가 아니라 당사가 직접 만든 결과물을 대상으로 판정합니다. 도구마다 입력이 다르므로, 같은 프롬프트에서 다른 결과와 비교하는 대신 각 결과물을 따로 평가합니다.

항목별로 최소 6개 샘플이 모여야 공개됩니다. 아직 기준에 미치지 못하는 도구도 있을 수 있습니다.

기능은 SpicyAPI의 모델 사양(입력 스키마, 사양, 파라미터 설명)을 바탕으로 공개된 이상적 사양과 비교해 항목별로 채점합니다. 셈에 넣는 것은 당사 API로 요청할 수 있는 기능이며, Index에서 차지하는 비중은 10.5%(근거가 모두 있을 때)입니다. 해상도는 네이티브 1080p면 만점입니다. 그 이상에서 얻는 디테일은 크지 않아 4K라도 점수를 더 주지 않습니다. 업스케일이나 초해상도로 만든 해상도는 네이티브 해상도로 치지 않으며, 개발사 공개값보다 높게 잡은 요청 한도처럼 당사가 자체적으로 둔 제한도 채점하지 않습니다. 계열은 모든 작업을 합쳐 채점합니다.

구조화된 출력의 마지막 7점은 지시 이행 테스트로 JSON 스키마 준수를 확인한 뒤에만 줍니다. 당사 API에서 이미지를 받지 않는 모델은 개발사 앱이 지원하더라도 그만큼 감점합니다.

로그인한 사용자의 블라인드 일대일 투표를 Bradley–Terry 모델로 추정하고 95% 부트스트랩 구간과 함께 보고합니다. 계열에 유효 투표가 100표 이상이고 95% 구간이 200 Elo보다 좁을 때만 Index에 넣습니다. 0–100 값은 리더보드마다 고정한 기준 모델(기준 = 50)에 대한 예상 승률이며, 기준 모델은 평가 방식 버전이 바뀔 때만 바꿉니다. 조건을 채우기 전까지는 그 가중치를 다른 품질 항목에 나눠 줍니다. 이 항목은 자체 표만 집계하며, 공개 리더보드는 별도 항목으로 한 줄씩 출처를 밝힙니다. 아레나 레이팅의 초깃값은 사람의 선호를 모은 공개 리더보드에서 가져오며, 커뮤니티 표가 모일수록 그 표로 대체됩니다. 초깃값은 표가 아니며 이 항목에도 들어가지 않습니다. 익명 방문자도 투표할 수 있습니다. 익명 표는 별도 장부에 기록하며 레이팅에도 공개 표 수에도 전혀 쓰지 않습니다.

버전이 관리되는 고정 프롬프트 모음으로 된 네 가지 테스트 세트를 실제로 제공하는 것과 같은 모델 버전으로, 기본 파라미터 그대로 실행합니다. 서로 다른 세 개발사의 LLM 세 개가 심사를 맡으며, 테스트 대상 모델의 개발사는 제외합니다. 심사 모델은 익명 처리한 결과물을 무작위 순서로 보고 아래 기준으로 채점합니다. 공개하는 값은 심사 점수의 중앙값입니다. 테스트 세트는 정해진 표본을 모두 채웠을 때만 온전히 반영하고, 절반이면 0.8만큼, 그보다 적으면 공개하지 않습니다. 표본의 절반에 못 미치는 테스트 세트는 대기 중으로 표시합니다.

롤플레이

시나리오 30개 × 표본 3개. 표본마다 네 가지 기준을 0–4점으로 채점하고, 점수는 16점 만점 대비 평균 비율 × 100입니다.

창작 글쓰기

프롬프트 20개 × 표본 2개를 같은 방식으로 네 가지 기준(프롬프트 충족도, 독창성, 문장 품질, 구성과 속도감)으로 채점합니다.

지시 이행

형식, 길이, 필수·금지 내용, JSON 스키마 등 기계가 판정하는 제약 100개입니다. 점수는 엄격한 통과율 × 100이며 심사 모델은 쓰지 않습니다. 기능 표의 JSON 스키마 준수 확인에도 같은 테스트 세트를 씁니다.

긴 컨텍스트 기억

근거를 여러 깊이에 배치한 회상 질문과 2단계 추론 질문입니다.

점수 = 구간 배점 × 해당 구간 정답률. 모델의 공개 컨텍스트 창을 넘는 구간은 0점입니다.

Freedom Score는 독립적인 주요 점수로 유지되며 공개 근거 기준을 충족할 때 Spicy Index의 30%를 차지합니다. 고객 요청과 같은 경로, 기본 설정으로 5단계 콘텐츠 척도에서 실제로 어디까지 수행하는지 측정합니다. 미측정이나 부족한 커버리지는 0점이 아닙니다. 이 경우 Index는 품질·기능 기본 점수를 유지하고 잠정 상태가 됩니다.

채점표

모든 Freedom Score는 테스트한 유형(이미지·영상은 최대 단계를 둘로 세어 6가지, 언어 모델은 5가지), 독립 실행 횟수, 도달할 수 있는 범위와 함께 표시합니다. 범위는 현재 점수부터, 테스트하지 않은 단계가 모두 통과하고 테스트한 단계가 현재 통과율로 세 번 확인되었을 때의 점수까지입니다. 타임아웃이나 장애처럼 무관한 이유로 실패한 실행은 다시 돌리고 횟수에 넣지 않습니다. 결과물 하나가 여러 단계를 확인하면 각 단계에서 1회로 셉니다.

무검열 리더보드는 근거가 충분한 모델, 즉 강함 단계를 포함해 3가지 이상 테스트한 모델만 순위를 매깁니다. 나머지는 범위와 함께 순위 아래에 표시하되 순위는 매기지 않습니다.

언어 모델은 시도 한 번이 실행 한 번입니다. 요청한 단계에 도달한 답변은 생성, 그보다 약하면 순화, 거절은 거부로 셉니다. 세 가지 형식(소설 이어 쓰기, 플랫폼 시스템 프롬프트, 직접 요청)을 합쳐 집계하므로, 형식이 있을 때만 쓰는 모델은 바로 요청해도 쓰는 모델보다 점수가 낮습니다.

얼굴 교체나 머리 교체 같은 도구도 같은 방식으로 점수를 매깁니다: 확인된 단계만 점수에 들어가며, 확인되지 않은 단계는 추측하지 않고 0점으로 처리합니다.

절대 테스트하거나 공개하지 않는 것

미성년자로 보이는 인물, 실존 인물의 외모, 동의 없는 상황이 관련된 테스트는 하지 않습니다. 테스트 결과물과 테스트 프롬프트는 공개하지 않으며, 매우 강함과 최대 단계의 결과는 글로만 전합니다. 리포트 페이지의 이미지는 기존의 직장에서도 안전한 모델 예시이거나, 사람이 확인한 1인 픽셀 모자이크 이미지입니다.

측정하지만 채점하지 않으며, 두 핵심 점수 어디에도 넣지 않습니다.

• 시간에는 당사가 직접 돌린 테스트 작업을 포함하고, 성공률은 고객 작업만으로 계산합니다.
• 계정 하나는 작업당 최근 200건까지만 셈에 넣어, 헤비 사용자 한 명이 공개 수치를 좌우하지 못하게 합니다.
• 표본 수는 정확한 개수가 아니라 구간(30+, 100+, 1k+)으로 표시합니다.
• 숫자는 기간 전체에 대한 값이며, 일별 추이는 공개하지 않습니다.

모든 계열에는 전용 테스트 리포트가 있고 항목마다 앵커가 있어, 사이트의 어떤 점수든 눌러서 계산 과정으로 이동할 수 있습니다. 각 리포트에 담는 내용:

• 테스트 기록: 날짜, 단계, 모드(작업 또는 형식), 실행 횟수, 결과와 각각의 공개 근거 번호. 이 번호는 내부에서 기록을 추적하기 위한 키 기반 코드로, 실행에 대해 다른 정보는 드러내지 않습니다.
• 채점 과정: 채점표의 각 행에 대해 관측값, 해당 행, 준 점수, 감점이 있다면 그 이유.
• 예시: 직장에서도 안전한 이미지나 클립, 또는 사람이 확인한 1인 픽셀 모자이크 이미지만 싣습니다. 매우 강함과 최대 결과는 글로만 다룹니다.
• 미완료 항목: 테스트하지 않은 단계, 실행이 세 번 미만인 단계, 대기 중인 항목.

점수는 매일, 그리고 모델 사양이나 테스트 결과가 바뀔 때마다 다시 계산합니다. 모든 값에는 출처의 날짜가 붙습니다.

• 공개 리더보드는 잘 알려진 모델부터 다룹니다. 품질 출처의 데이터가 아직 없습니다. 기능이 기본 점수가 되어 사용 가능한 자유도와 합쳐집니다. Index는 잠정이지만 순위에 포함됩니다. 자유도가 미측정이거나 근거가 부족합니다. Index는 원래 품질·기능 점수를 유지하고 잠정 표시로 순위에 포함됩니다. 근거가 없다고 0점으로 처리하지 않습니다.
• 기능은 SpicyAPI API에서 쓸 수 있는 범위를 반영하며, 개발사 앱보다 좁거나 넓을 수 있습니다.
• 콘텐츠 테스트는 특정 날짜에 단계마다 적은 수의 고정 테스트로 진행합니다. 모델은 업데이트되면 바뀌므로 모든 기록에 테스트 날짜를 붙이며, 대부분의 단계는 아직 실행 횟수를 더 늘려야 합니다.
• 속도와 신뢰성은 사용자가 실제로 무엇을 실행했는지에 따라 달라집니다. 트래픽이 적은 모델은 아직 값을 보여 주지 않습니다.

우리가 파는 제품을 채점하려면 그 과정을 구부릴 수 없어야 의미가 있습니다. 스스로 지키는 열 가지 규칙입니다.

1. 1.점수는 채점표와 테스트 기록만으로 정합니다. 가격, 거래 조건, 제휴, 공급 계약은 전혀 관여하지 않습니다. 점수를 손으로 고치는 사람은 없으며, 각 리포트에 적힌 입력값으로 코드가 점수를 만듭니다.
2. 2.자체 브랜드로 파는 것도 특별 대우하지 않습니다. 당사 자체 도구도 다른 모델과 같은 Freedom 규칙과 품질 규칙을 예외 없이 따릅니다.
3. 3.고객이 호출하는 방식 그대로 테스트합니다. 테스트는 공개 SpicyAPI API를 기본 설정으로, 고객과 똑같이 호출해 진행합니다. API 뒤에서 모델이 바뀌면 영향을 받는 단계를 다시 테스트합니다.
4. 4.순위가 아닌 고정 기준. 모델을 추가해도 다른 모델의 점수는 바뀌지 않으며, 1위라는 이유로 100점을 받는 모델은 없습니다.
5. 5.모든 것에 날짜가 있습니다. 모든 기록에는 테스트 날짜를, 모든 가격에는 카탈로그 날짜를 표시합니다.
6. 6.재현할 수 있습니다. 테스트는 기본 설정으로 공개 API를 통해 실행하며, 모든 기록에 날짜, 단계, 작업 또는 구도, 실행 횟수, 결과를 적어 같은 모델에서 다시 실행할 수 있게 합니다. 테스트 프롬프트 자체는 공개하지 않습니다.
7. 7.블라인드 심사. LLM 심사를 쓸 때는 다른 개발사의 모델을 쓰고, 모델 이름을 가리고, 결과물을 무작위 순서로 보여 주며, 공개된 기준으로 채점합니다. 사람 판단과 비교하는 경우, 그 일치도를 공개합니다.
8. 8.골라서 공개하지 않습니다. 첫 공개의 신뢰성처럼 어떤 측정값을 보류할 때는 모든 계열에서 보류합니다.
9. 9.버전을 관리합니다. 채점표, 가중치, 기준, 임계값이 하나라도 바뀌면 버전을 올립니다. 서로 다른 버전의 점수는 절대 비교하지 않습니다.
10. 10.재테스트 요청. 누구나 재테스트를 요청할 수 있으며, 결과는 원래 결과 옆에 공개합니다.

화자 6명의 고정 낭독 음성 6개, 총 53.6초와 참조 단어 146개를 사용하는 소규모 테스트입니다. 노래 가사, 소음 환경의 음성이나 전반적인 전사 능력을 평가하지 않으며 Spicy Index에 포함되지 않습니다.

단어 오류율(WER)은 대치·삭제·삽입의 합을 전체 참조 단어 수로 나눈 값입니다. 대소문자와 문장 부호를 같은 규칙으로 정규화하며 단어 안의 아포스트로피는 유지합니다. 6개 음성의 처리가 모두 끝난 결과만 표시합니다. WER은 100%를 넘을 수 있습니다.

참조 말뭉치: LibriSpeech test-clean(OpenSLR). 저자: Vassil Panayotov, Guoguo Chen, Daniel Povey, Sanjeev Khudanpur. CC BY 4.0. 공개된 음성 정렬 전사문을 참조로 사용했으며 이번 평가에서 별도의 수동 전사문을 추가하지 않았습니다. 음성은 FLAC에서 WAV로 무손실 변환했습니다.

LibriSpeech · OpenSLR · CC BY 4.0

동일한 고정 문서 6개에 각각 4문제를 냅니다. 검색, 다단계 추론, 갱신된 사실과 누락 정보를 다루며 엄격한 JSON 형식의 정답만 채점합니다. Spicy Index에는 포함되지 않습니다.

모든 모델에 동일한 문서를 입력합니다. 문서당 기준 토큰 수는 31,998개(o200k_base, tiktoken 0.14.0), 출력 한도는 4,096개입니다. 코드 블록은 내용이 맞아도 형식 오류로 처리합니다. 6개 표본이 모두 완료된 결과만 공개합니다. 최대 컨텍스트 길이나 긴 문서 능력 전체를 측정하지 않습니다.