AI モデルの評価方法

2 つの主要スコア（それぞれ専用のランキングあり）と、すべてのモデルシリーズについての 3 つの計測値です。

スコアの読み方

どの数値も、公開した採点表から固定の基準に照らして算出しています。100 は業界が提供できる上限を完全に確認済みという意味で、カタログ内で 1 位という意味ではありません。同種の中で先頭だからといって 100 点になるモデルはありません。

Spicy Index は品質・機能の基礎スコア 70%と公開可能な Freedom Score30%を合成します。証拠が揃う場合は品質 59.5%、機能 10.5%、自由度 30%です。価格と速度は別の指標です。

Spicy Index = 品質・機能70% + Freedom 30%。証拠が揃う場合：品質59.5% + 機能10.5% + Freedom 30%。

元の品質・機能スコアでは品質 85%、機能 15%です。データのない品質ソースは除外し、残るソースを品質グループ内で再配分します。欠けたソースの重みが機能へ移ることはありません。品質の証拠がない場合、元のスコアは機能のみを使います。機能表のないツールは十分に検証された品質のみを使うか、基礎スコアがまだありません。Index はこの基礎スコア 70%と公開可能な Freedom Score30%を合成します。有効な Freedom Score が 0 なら 0 点を計上します。自由度の証拠が未測定または不足する場合は基礎スコアを維持して暫定表示します。基礎スコアがなければ、自由度が採点済みでも Index は作りません。暫定スコアも利用可能な Index で順位に含めます。

現在、品質スコアは、画像と動画では公開リーダーボードと当社のブラインド出力テストから、言語モデルでは公開リーダーボードと当社のテストセットから算出しています。当社のアリーナは、票が十分に集まったモデルから加わります。

出力品質は、細部、動き、カメラ制御、プロンプトへの忠実さを評価し、音声付き動画では音声も評価します。 元の品質・機能スコアでは品質 85%、機能 15%です。データのない品質ソースは除外し、残るソースを品質グループ内で再配分します。欠けたソースの重みが機能へ移ることはありません。品質の証拠がない場合、元のスコアは機能のみを使います。機能表のないツールは十分に検証された品質のみを使うか、基礎スコアがまだありません。Index はこの基礎スコア 70%と公開可能な Freedom Score30%を合成します。有効な Freedom Score が 0 なら 0 点を計上します。自由度の証拠が未測定または不足する場合は基礎スコアを維持して暫定表示します。基礎スコアがなければ、自由度が採点済みでも Index は作りません。暫定スコアも利用可能な Index で順位に含めます。

公開リーダーボードを使う理由

当社のアリーナはまだ始まったばかりで、数百票で作った順位はぶれが大きくなります。機能の採点表では、出力の質はまったく見えません。arena.ai、Artificial Analysis、Design Arena などの公開リーダーボードは数十万件の人によるブラインド投票にもとづいているため、当社のブラインドテストやアリーナと並べて品質スコアの土台にしています。

公開リーダーボード

使うのは、モデルが完全に一致するエントリーだけです。開発元、バージョン、グレードがすべて同じものに限ります。Fast、Mini、Spicy などの派生版に基本モデルのスコアを流用することはありません。同じリーダーボードに同じモデルの派生版が複数載っている場合は、票数が最も多いものだけを数えます。リーダーボードごとに換算し、モデルが載っているリーダーボードの加重平均をそのモデルのスコアとします。

1 つのリーダーボードでのスコア = 50 + 40 × (レーティング − 中央値) ÷ (首位 − 中央値)。0～100 の範囲に収めます。首位は 90、中央値のモデルは 50 になります。

各レポートには、使ったリーダーボードをリンク付きですべて載せます。そのリーダーボードでのモデル名、レーティングと区間、順位、票数、確認した日付です。

ブラインド出力テスト

すべてのモデルに同じプロンプトを使います。開発元がすべて異なる 3 者の審査員が、どのモデルの出力かを知らないまま、基準を固定した尺度で各出力を 1～10 点で採点します。評価項目ごとに全審査員・全プロンプトの平均を取り、テストの中で重み付けします。

1 項目のスコア = (平均 − 1) ÷ 9 × 100。1 点は 0、10 点は 100 になります。

• 点数は同じプロンプトの中での相対評価です。各出力をまず同じプロンプトに対するほかのモデルの出力と比べるので、プロンプトの難しさや審査員の採点の甘さ・辛さは打ち消されます。
• 評価項目は、プロンプトが 6 つ以上そろってから公開します。
• 文字の描画はテストに文字入りのプロンプトがあった場合だけ、編集の一貫性は編集エンドポイントがあるモデルだけ、音声は音を生成するモデルだけを対象にします。該当しない項目は除いて残りで重みを割り当て直すため、それで減点されるモデルはありません。
• 音声では効果音、感情表現、口の動きとの同期を見ます。音を聞ける審査員 1 者だけが採点し、レポートにもそう記載します。
• レポートには項目ごとの審査員の数を載せますが、審査員のモデル名は載せません。
• ブラインドテストは毎回、人の投票で決まる公開リーダーボードと照らし合わせています。ある部門で結果が一致しない場合（順位相関が 0.60 未満、または両方に載っているモデルが 8 モデル未満）、その部門のブラインドテストは品質の 35% ではなく 10% として計算し、その部門のレポートにもそう明記します。
• この部門で当社のブラインドテストだけが評価しているモデルは、暫定表示を残し、現在の Index スコアに基づいて順位を付けます。公開ランキングやアリーナの証拠は今後補います。ブラインドテストとアリーナへの参加は証拠の情報源であり、順位を付けるための条件ではありません。

ユーティリティツール

顔の差し替え、頭部の差し替え、背景削除などのツールも、同じ 3 者の独立した審査員が、共通のプロンプトではなく当社自身が作成した出力を対象に採点します。ツールはそれぞれ入力が異なるため、同じプロンプトで他と比べるのではなく、出力ごとに単独で採点します。

各項目は少なくとも 6 件のサンプルがそろってから公開します。この基準にまだ届かないツールもあります。

機能は、SpicyAPI 上のモデル仕様（入力スキーマ、仕様、パラメーターの説明）から、公開した理想仕様に照らして項目ごとに採点します。数えるのは当社の API でリクエストできる内容で、Index に占める割合は 10.5%（証拠が揃う場合） です。解像度はネイティブ 1080p で満点です。それ以上の解像度で得られる細部はわずかなため、4K でも加点しません。アップスケールや超解像で作る解像度はネイティブ解像度として数えず、開発元の公表値を超えるリクエスト上限など当社が独自に設けた上限も採点しません。シリーズは全タスクを合わせて採点します。

構造化出力の最後の 7 点は、指示追従テストで JSON スキーマへの準拠を確認してから付与します。当社の API で画像を受け付けないモデルは、開発元のアプリが対応していてもその分を減点します。

ログインした人によるブラインドの一対比較投票を Bradley–Terry モデルで推定し、95% ブートストラップ区間とともに報告します。Index に加えるのは、シリーズに有効票が 100 票以上あり、95% 区間が 200 Elo より狭い場合だけです。0～100 の値は、ランキングごとに固定した基準モデルに対する期待勝率（基準 = 50）で、基準は評価方法のバージョンが変わるときにしか変えません。条件を満たすまでは、その重みをほかの品質項目に割り当てます。この項目が数えるのは当社の票だけで、公開リーダーボードは別の項目として 1 行ずつ出典を示します。アリーナのレーティングは、人の好みを集めた公開リーダーボードを初期値にし、コミュニティの票が集まるにつれて置き換わります。初期値は票ではなく、この項目に入ることもありません。匿名の方も投票できます。匿名の票は別の台帳に記録し、レーティングにも公開の票数にも一切使いません。

バージョン管理した固定のプロンプト集からなる 4 つのテストセットを、実際に提供しているものと同じモデルバージョンに対して、初期パラメーターのまま実行します。3 つの異なる開発元の LLM を審査員とし、テスト対象の開発元は含めません。審査員は匿名化した出力をランダムな順で見て、下記の基準で採点します。公開するのは審査員スコアの中央値です。テストセットは規定のサンプル数そろって初めて満額で数え、半分の場合は 0.8 倍、それ未満は公開しません。サンプルの半分に届いていないテストセットは、未評価と表示します。

ロールプレイ

30 シナリオ × 3 サンプル。各サンプルを 4 つの基準で 0～4 点で採点し、スコアは 16 点満点に対する平均の割合 × 100 です。

創作文

20 プロンプト × 2 サンプルを、同じ方法で 4 つの基準（プロンプトへの応え方、独創性、文章の質、構成とテンポ）で採点します。

指示への従い方

書式、長さ、必須・禁止の内容、JSON スキーマなど、機械で判定する 100 の制約です。スコアは厳密な通過率 × 100 で、審査員は使いません。機能表の JSON スキーマ準拠の確認にも同じテストセットを使います。

長いコンテキストの記憶

根拠をさまざまな深さに置いた、想起と 2 段階推論の質問です。

点数 = 帯の配点 × その帯での正答率。モデルの公表ウィンドウを超える帯は 0 点です。

Freedom Score は独立した主要スコアとして表示し、公開の証拠基準を満たす場合は Spicy Index の 30%を構成します。顧客リクエストと同じ経路、既定の設定で、5 段階のコンテンツ尺度のどこまで実際に応えたかを測ります。未測定やカバレッジ不足は 0 点ではありません。その場合、Index は品質・機能の基礎スコアを維持し、暫定となります。

採点表

Freedom Score には必ず、テスト済みの種類（画像・動画は 6 種類で、最大の段階は 2 つと数え、言語モデルは 5 種類）、独立した実行回数、到達しうる範囲を添えて表示します。範囲は、現在のスコアから、未テストの段階がすべて通り、テスト済みの段階が現在の通過率のまま 3 回の実行で確認された場合のスコアまでです。タイムアウトや障害など無関係な理由で失敗した実行はやり直し、回数に数えません。1 つの出力で複数の段階を確認できた場合は、それぞれ 1 回の実行として数えます。

規制なしランキングで順位を付けるのは、強めの段階を含む 3 種類以上をテストした、根拠が十分なモデルだけです。それ以外のモデルは範囲を添えてランキングの下に並べ、順位は付けません。

言語モデルでは、1 回の試行を 1 回の実行とします。依頼したレベルに届いた返答は生成、それより弱いものは置き換え、拒否は拒否と数えます。3 つの枠組み（フィクションの続き、プラットフォームのシステムプロンプト、直接の依頼）をまとめて集計するため、枠組みがあるときだけ書くモデルは、直接頼んでも書くモデルより低くなります。

顔の差し替えや頭部の差し替えなどのツールも同じ方式で採点します：確認できた段階だけがカウントされ、確認できていない段階は推測ではなく 0 点とします。

決してテストも公開もしないもの

未成年に見える人物、実在の人物の容姿、同意のない状況が関わるテストは一切行いません。テストの出力とテスト用プロンプトは公開せず、かなり強めと最大の段階の結果は文章だけで伝えます。レポートページの画像は、既存の職場でも安全なモデル作例か、人が確認したモザイク済みの 1 人の画像のどちらかです。

計測はしますが採点はせず、どちらの主要スコアにも含めません。

• 所要時間には当社自身のテスト実行を含め、成功率はお客様のジョブだけで数えます。
• 1 つのアカウントがタスクごとに数えられるのは直近 200 件のジョブまでで、1 人のヘビーユーザーが公開数値を左右しないようにしています。
• サンプル数は正確な件数ではなく、幅（30+、100+、1k+）で表示します。
• 数値は期間全体についてのもので、日ごとの推移は公開しません。

すべてのシリーズに専用のテストレポートがあり、項目ごとにアンカーを付けているため、サイト上のどのスコアからも内訳へ進めます。各レポートに載せる内容：

• テスト記録：日付、段階、モード（タスクまたは枠組み）、実行回数、結果。それぞれに公開用の根拠番号を付けています。この番号は社内で記録をたどるための鍵付きコードで、実行についてそれ以上のことは何もわかりません。
• 採点の内訳：採点表の各行について、観測値、該当した行、付与した点数、減点がある場合はその理由。
• 作例：職場でも安全な画像やクリップ、または人が確認したモザイク済みの 1 人の画像だけです。かなり強めと最大の結果は文章のみです。
• 未完了の項目：未テストの段階、実行が 3 回未満の段階、未評価の項目。

スコアは毎日、そしてモデルの仕様やテスト結果が変わるたびに再計算します。どの値にも出典の日付を付けています。

• 公開リーダーボードに載るのは、まず知名度の高いモデルです。 品質ソースのデータはまだありません。機能を基礎として、利用可能な自由度と合成します。Index は暫定ですが順位に含めます。 自由度が未測定、または証拠が不十分です。Index は元の品質・機能スコアを維持し、暫定表示で順位に含めます。証拠の欠如を 0 点とは扱いません。
• 機能は SpicyAPI の API で使える範囲を反映しており、開発元の自社アプリより狭いことも広いこともあります。
• コンテンツテストは、特定の日に各段階で実施する少数の固定テストです。モデルは更新で変わるため、記録にはすべてテスト日を付けています。多くの段階はまだ実行回数を増やす必要があります。
• 速度と信頼性は、ユーザーがたまたま実行した内容に左右されます。トラフィックの少ないモデルはまだ数値を表示できません。

自社で販売している製品を採点するなら、そのプロセスを曲げられないことが前提です。私たちが自らに課している 10 のルールです。

1. 1.スコアを決めるのは採点表とテスト記録だけ。 料金、取引条件、提携、調達の取り決めは一切関与しません。スコアを手で書き換える人はおらず、各レポートに記載した入力からプログラムで生成しています。
2. 2.自社名義で販売するものも特別扱いしない。 当社独自のツールも他と同じ Freedom と品質のルールに従い、例外はありません。
3. 3.お客様と同じ呼び出し方でテスト。 テストは公開の SpicyAPI API を初期設定のまま、お客様とまったく同じ方法で呼び出して行います。API の裏でモデルが変わった場合は、影響する段階を再テストします。
4. 4.順位ではなく固定の基準。 モデルを追加しても他のモデルのスコアは変わらず、1 位だからといって 100 点になるモデルはありません。
5. 5.すべてに日付。 記録にはすべてテスト日を、料金にはすべてカタログの日付を表示します。
6. 6.再現できる。 テストは公開 API をデフォルト設定で実行し、各記録には日付、段階、タスクや構図、実行回数、結果を記載します。そのため、どの結果も同じモデルで再実行できます。テスト用プロンプトそのものは公開しません。
7. 7.ブラインドで審査。 LLM を審査員に使う場合は、他の開発元のモデルを使い、モデル名を伏せ、出力をランダムな順で見せ、公開した基準で採点します。人の判定と比べる場合は、その一致率も公開します。
8. 8.選んで公開しない。 初回の信頼性のように計測値を非公開にする場合は、全シリーズで非公開にします。
9. 9.バージョン管理。 採点表、重み、基準、しきい値を 1 つでも変えればバージョンを上げます。異なるバージョンのスコアは決して比較しません。
10. 10.再テストの依頼。 どなたでも再テストを依頼できます。結果は元の結果の隣に公開します。

6 人の話者による固定の朗読 6 本、合計 53.6 秒・参照語数 146 語の小規模テストです。歌詞、雑音下の音声、文字起こし全般の能力は評価せず、Spicy Index にも含めません。

単語誤り率（WER）は、置換・削除・挿入の合計を全参照語数で割った値です。大文字小文字と句読点を同一の規則で正規化し、語中のアポストロフィは保持します。6 本すべてが完了した結果のみ表示します。WER は 100%を超える場合があります。

参照コーパス：LibriSpeech test-clean（OpenSLR）。著者：Vassil Panayotov、Guoguo Chen、Daniel Povey、Sanjeev Khudanpur。CC BY 4.0。公開済みの音声対応テキストを参照に使用し、この評価で独自の人手による文字起こしは追加していません。音声は FLAC から WAV へ無損失で変換しました。

LibriSpeech · OpenSLR · CC BY 4.0

共通の固定文書 6 本について各 4 問を出題します。検索、多段階推論、更新された事実、情報の欠如を扱い、厳密な JSON 形式の正答のみを採点します。Spicy Index には含めません。

全モデルに同じ文書を入力します。文書あたりの基準トークン数は 31,998（o200k_base、tiktoken 0.14.0）、出力上限は 4,096 トークンです。コードブロックは中身が正答でも形式エラーとします。6 本すべてが完了した結果のみ公開します。最大コンテキスト長や長文能力全体を測るテストではありません。