Mercury 3 테스트 리포트
2026년 10월 29일 기준 Mercury 3의 Spicy Index는 71.8(잠정)입니다. 자유도가 미측정이거나 근거가 부족합니다. Index는 원래 품질·기능 점수를 유지하고 잠정 표시로 순위에 포함됩니다. 근거가 없다고 0점으로 처리하지 않습니다.
Mercury 3 점수 뒤에 있는 모든 점수: 각 항목이 채점표의 어느 행에 해당했는지, 어디서 감점됐는지, 날짜가 적힌 모든 콘텐츠 테스트까지.
- 평가 방식 v3.3 →
- 2026년 10월 29일 점수 계산
- 리뷰 읽기 →
- 언어 모델 리더보드 →
Spicy Index는 이렇게 계산됩니다
채점 방식Spicy Index는 품질·기능 기본 점수 70%와 공개 가능한 Freedom Score 30%를 합칩니다. 근거가 모두 있으면 품질 59.5%, 기능 10.5%, 자유도 30%입니다. 가격과 속도는 별도 지표입니다.
1위 모델과 비교
Claude Opus 5.5보다 Index 10.7점 낮습니다. 공동 1위 모델: 1개.
| 평가 항목 | Mercury 3 | Claude Opus 5.5 | 가중 점수 차이 |
|---|---|---|---|
| 공개 리더보드 | — | — | 0.0 |
| 롤플레이 | — | 76.3 | +15.1 |
| 창작 글쓰기 | 53.0 | 71.0 | -8.5 |
| 지시 이행 | 100.0 | 100.0 | -22.7 |
| 긴 컨텍스트 기억 | — | — | 0.0 |
| 기능 | 45.0 | 65.0 | +0.1 |
| Freedom Score | — | 88.9 | +26.7 |
자유도가 미측정이거나 근거가 부족합니다. Index는 원래 품질·기능 점수를 유지하고 잠정 표시로 순위에 포함됩니다. 근거가 없다고 0점으로 처리하지 않습니다.
Mercury 3: 기능, 행별로
채점 방식각 항목은 SpicyAPI의 모델 사양에서 읽어 와 고정된 채점표의 한 행에 맞춥니다. 주관적 판단은 없습니다.
45.0/ 1000 + 0 + 15 + 15 + 15 = 45 / 100
SpicyAPI 공개 모델 사양 기준, 2026년 10월 29일
| 항목 | SpicyAPI 기준 | 해당 행 | 점수 | 감점 |
|---|---|---|---|---|
| 컨텍스트 창(개발사 공개값)최대 30점 | 명시 안 됨 | 명시 안 됨전체 채점표 보기
| 0.0 / 30 | −30.0 |
| SpicyAPI 입력 형식최대 25점 | 텍스트만 | 텍스트만전체 채점표 보기
| 0.0 / 25 | −25.0 |
| 도구 사용최대 15점 | 도구와 tool_choice | 도구 지원 + tool_choice 제어전체 채점표 보기
| 15.0 / 15 | 만점 |
| 구조화된 출력최대 15점 | 지원, 스키마 준수 확인 | response_format accepted + JSON-schema adherence verified전체 채점표 보기
| 15.0 / 15 | 만점 |
| 추론 제어최대 15점 | 4단계: none · low · medium · high | 4단계, 끄기 또는 최소 포함전체 채점표 보기
| 15.0 / 15 | 만점 |
항목별 득점 비율
아직 테스트 안 함
아래 항목은 아직 데이터가 없어 Index에 넣지 않았습니다. 어느 것도 추정하지 않았습니다.
공개 리더보드품질의 40%
아직 테스트 안 함
arena.ai, Artificial Analysis, Design Arena의 레이팅을 씁니다. 모델이 정확히 일치하는 항목만 쓰며, 각각 0–100으로 환산해 가중 평균합니다.
채점 방식롤플레이품질의 15%
아직 테스트 안 함
캐릭터 일관성, 몰입감, 캐릭터 밖 훈계 없음: 시나리오 30개 × 표본 3개를 LLM 심사 모델 세 개가 블라인드로 채점합니다.
채점 방식긴 컨텍스트 기억품질의 15%
아직 테스트 안 함
32k, 128k, 256k, 512k, 100만 토큰에서 모델의 공개 컨텍스트 창 안에서 회상 질문과 2단계 추론 질문을 던집니다.
채점 방식
Mercury 3 콘텐츠 테스트, 작업별로
채점 방식계열 점수는 작업별 점수의 평균이므로, 조심스러운 작업 하나가 계열 전체 점수를 끌어내립니다. 모든 점수가 어디서 나왔는지 보여 드립니다.
이 모델은 아직 콘텐츠 테스트를 하지 않아 Freedom Score가 없습니다.
비용과 소요 시간
채점 방식측정값이며 점수가 아닙니다. 가격은 실시간 카탈로그에서, 속도는 지난 30일간의 실제 작업에서 가져옵니다.
- 가격
- $0.325 혼합 100만 토큰당 (입력 3 : 출력 1)
- 성공률
- 아직 어떤 모델도 공개하지 않았습니다. 성공률은 30일 분량의 실제 트래픽이 모이면 모든 계열에 동시에 공개합니다.
- 출력 속도
- 초당 238토큰첫 토큰까지의 시간 포함
- 성공률
- 데이터 수집 중
완료된 작업이 10건 이상 모이면 시간을 표시합니다. 성공률은 고객 작업만으로 계산하며, 30일 분량의 트래픽이 모일 때까지 모든 모델에서 숨겨 둡니다.