Как мы оцениваем ИИ-модели

Две главные оценки, у каждой свой рейтинг, и три измерения для каждого семейства моделей.

Как читать оценку

Каждое число рассчитывается по опубликованной таблице относительно фиксированных опорных точек. 100 — потолок того, что предлагает отрасль, полностью подтверждённый. Это не значит «лучший в нашем каталоге»: ни одна модель не получает 100 за то, что опережает соседей.

Spicy Index объединяет 70% качества и возможностей с 30% публикуемого Freedom Score. При полных данных: 59,5% качества, 10,5% возможностей и 30% свободы. Цена и скорость остаются отдельно.

Spicy Index = 70% качества и возможностей + 30% Freedom. При полных данных: 59,5% качества + 10,5% возможностей + 30% Freedom.

В исходном балле качества и возможностей качество имеет вес 85%, а возможности 15%. Источники качества без данных исключаются, остальные перенормируются внутри группы; их вес никогда не переходит к возможностям. Без данных качества этот исходный балл использует только возможности. Инструменты без таблицы возможностей используют только достаточно проверенное качество либо пока не имеют базового балла. Index объединяет 70% этой базы с 30% Freedom Score, достигшего порога публикации. Доступный нулевой Freedom Score учитывается как ноль; отсутствующие или недостаточные данные свободы сохраняют базу с предварительной пометкой. Без базы нет Index, даже если свобода оценена. Предварительные баллы продолжают ранжироваться по доступному Index.

Сейчас оценка качества для изображений и видео берётся из публичных рейтингов и нашего слепого теста результатов, а для языковых моделей — из публичных рейтингов и наших наборов тестов. Наша собственная арена добавляется для каждой модели, как только у неё набирается достаточно голосов.

Качество результата оценивает детализацию, движение, управление камерой, следование промпту, а для видео со звуком — также аудио. В исходном балле качества и возможностей качество имеет вес 85%, а возможности 15%. Источники качества без данных исключаются, остальные перенормируются внутри группы; их вес никогда не переходит к возможностям. Без данных качества этот исходный балл использует только возможности. Инструменты без таблицы возможностей используют только достаточно проверенное качество либо пока не имеют базового балла. Index объединяет 70% этой базы с 30% Freedom Score, достигшего порога публикации. Доступный нулевой Freedom Score учитывается как ноль; отсутствующие или недостаточные данные свободы сохраняют базу с предварительной пометкой. Без базы нет Index, даже если свобода оценена. Предварительные баллы продолжают ранжироваться по доступному Index.

Зачем мы используем публичные рейтинги

Наша арена ещё молода, а рейтинг из нескольких сотен голосов сильно шумит. Таблица возможностей и вовсе не видит качества результата. Публичные рейтинги вроде arena.ai, Artificial Analysis и Design Arena опираются на сотни тысяч слепых голосов людей, поэтому служат опорой для оценки качества — рядом с нашим собственным слепым тестом и ареной.

Публичные рейтинги

Мы берём только запись, которая точно соответствует модели: тот же разработчик, та же версия, тот же уровень. Вариант Fast, Mini или Spicy никогда не заимствует оценку базовой модели. Если в рейтинге несколько вариантов одной модели, учитывается только тот, у которого больше всего голосов. Каждый рейтинг пересчитывается отдельно, а оценка модели — взвешенное среднее по всем рейтингам, где она есть.

Оценка в одном рейтинге = 50 + 40 × (балл − медиана) ÷ (лидер − медиана), в пределах от 0 до 100. Лидер получает 90, модель на медиане — 50.

В каждом отчёте перечислены все использованные рейтинги со ссылками: под каким названием там указана модель, её балл и интервал, место, число голосов и дата, когда мы сверялись.

Слепой тест результатов

Все модели получают одинаковые промпты. Судьи от трёх разных разработчиков моделей ставят каждому результату от 1 до 10 по шкале с фиксированными опорными точками, не зная, какая модель его создала. По каждому критерию берётся среднее по всем судьям и промптам, а затем критерии взвешиваются внутри теста.

Оценка по критерию = (среднее − 1) ÷ 9 × 100: 1 превращается в 0, а 10 — в 100.

• Оценки относительны в пределах промпта: каждый результат сначала сравнивается с результатами других моделей на том же промпте, поэтому сложность промпта и строгость судей взаимно компенсируются.
• Критерий публикуется, только когда по нему набралось не меньше 6 промптов.
• Отрисовка текста учитывается, только если в тесте были промпты с текстом, согласованность правок — только у моделей с эндпоинтом редактирования, а аудио — только у моделей, которые создают звук. Неприменимый критерий исключается, а веса остальных пересчитываются, так что ни одна модель не теряет на этом баллы.
• Аудио — это звуковые эффекты, эмоции и синхронизация губ. Его оценивает единственный судья, который умеет слушать, и в отчёте это указано.
• В отчётах указано число судей по каждому критерию, но не модели-судьи.
• Каждый прогон слепого теста сверяется с публичными рейтингами, основанными на голосах людей. Если в какой-то категории они не совпадают (ранговая корреляция ниже 0,60 или меньше 8 моделей, представленных и там, и там), слепой тест этой категории учитывается как 10 % качества вместо 35 %, и отчёты этой категории об этом сообщают.
• В таком рейтинге модель, охваченная только нашим слепым тестом, сохраняет предварительную отметку и получает место по текущей оценке Index. Данные публичных рейтингов или арены ещё ожидаются. Слепые тесты и участие в арене служат источниками данных, а не условиями получения места.

Инструменты

Такие инструменты, как замена лица, замена головы и удаление фона, оценивает та же комиссия из трёх независимых судей — по результатам, которые мы сделали сами, а не по общим промптам. Поскольку у каждого инструмента свои входные данные, каждый результат оценивается отдельно, а не в сравнении с другими по одному промпту.

Измерение публикуется, только когда наберётся не меньше 6 образцов. Некоторые инструменты могут пока до этого не дотягивать.

Возможности оцениваются по пунктам относительно открытой идеальной спецификации — на основе спецификации модели на SpicyAPI: схемы входа, характеристик и описаний параметров. Учитывается то, что можно запросить через наш API, и на возможности приходится 10,5% при полных данных Index. За разрешение полный балл дают уже при родном 1080p: выше прирост деталей невелик, так что 4K ничего не добавляет. Уровни, полученные апскейлом или суперразрешением, никогда не считаются родным разрешением, а ограничения, которые мы задали сами (например, лимит запроса выше опубликованного разработчиком), не оцениваются. Семейство оценивается по объединению всех своих задач.

Последние 7 баллов за структурированный вывод начисляются только после того, как наш набор тестов на выполнение инструкций подтвердит соответствие JSON-схеме. Модели, которые не принимают изображения через наш API, теряют эти баллы, даже если в приложении разработчика изображения поддерживаются.

Слепые парные голоса вошедших пользователей, обработанные моделью Брэдли–Терри и опубликованные с 95%-м бутстреп-интервалом. В Index это измерение попадает, только когда у семейства есть не менее 100 действительных голосов и 95%-й интервал уже 200 Эло. Значение 0–100 — ожидаемая доля побед против фиксированной опорной модели в каждом рейтинге (опорная = 50); опорная модель меняется только вместе с версией методики. До этого её вес переходит к остальным источникам качества. Это измерение учитывает только наши собственные голоса; публичные рейтинги — отдельное измерение, и у каждой строки в нём указан источник. Начальные оценки арены взяты из публичных рейтингов человеческих предпочтений, и по мере поступления голоса сообщества их заменяют; эта отправная точка не считается голосом и никогда не входит в это измерение. Голосовать могут и анонимные посетители. Их голоса попадают в отдельный журнал и никогда не входят ни в рейтинг, ни в публичные счётчики.

Четыре набора с фиксированными версионированными промптами, запускаемые на тех же версиях моделей, что мы предоставляем, с параметрами по умолчанию. Три LLM-судьи от трёх разных разработчиков — и никогда от разработчика проверяемой модели — видят обезличенные ответы в случайном порядке и оценивают их по описаниям ниже. Мы публикуем медиану оценок судей. Набор учитывается полностью только при полном объёме выборки, с коэффициентом 0,8 — от половины, а ниже не публикуется. Набор, не набравший и половины выборки, показывается как ожидающий.

Ролевые игры

30 сценариев × 3 образца. Каждый образец оценивается от 0 до 4 по четырём критериям, итог — 100 × средняя доля от 16 баллов.

Художественный текст

20 промптов × 2 образца, оцениваются так же по четырём критериям: выполнение промпта, оригинальность, качество прозы, структура и ритм.

Выполнение инструкций

100 автоматически проверяемых ограничений: формат, длина, обязательное или запрещённое содержание, JSON-схема. Оценка — 100 × строгая доля прохождения, без судей. Этот же набор подтверждает соответствие JSON-схеме для таблицы возможностей.

Память на длинном контексте

Вопросы на припоминание и двухшаговые вопросы, где нужные сведения спрятаны на разной глубине.

Баллы = баллы диапазона × точность в этом диапазоне. Диапазон за пределами опубликованного окна модели даёт 0.

Freedom Score остаётся отдельным главным баллом и вносит 30% в Spicy Index при достижении публичного порога данных. Он измеряет подтверждённую выдачу по пятиуровневой шкале контента через тот же маршрут, что используют клиентские запросы, с настройками по умолчанию. Отсутствие тестов или недостаточное покрытие не считаются нулём: Index сохраняет базу качества и возможностей и становится предварительным.

Таблица оценки

Каждый Freedom Score показывается с проверенными типами тестов (шесть для изображений и видео, где максимальный уровень считается за два; пять для языковых моделей), числом независимых прогонов и достижимым диапазоном: от сегодняшней оценки до той, что получилась бы, если бы каждый непроверенный уровень прошёл, а каждый проверенный был подтверждён тремя прогонами при нынешней доле прохождения. Прогон, упавший по посторонней причине — например, из-за таймаута или сбоя, — перезапускается и не учитывается. Один результат может подтвердить несколько уровней — тогда он считается одним прогоном для каждого.

Рейтинг без цензуры ранжирует только модели с достаточными данными: не менее трёх типов тестов, включая уровень «Сильный». Остальные перечислены под рейтингом со своим диапазоном, но без места.

У языковых моделей каждая попытка — это один прогон. Ответ, который достигает запрошенного уровня, считается выполненным, более мягкий — смягчённым, а отказ — отказом. Три рамки (продолжение художественного текста, системный промпт платформы, прямой запрос) объединяются, поэтому модель, которая пишет только в рамке, получает меньше той, что пишет по прямой просьбе.

Инструменты вроде замены лица и замены головы оцениваются так же: уровень засчитывается, как только подтверждён, а неподтверждённый уровень даёт ноль, а не предполагается.

Что мы никогда не тестируем и не публикуем

Ни один тест не затрагивает людей, выглядящих несовершеннолетними, внешность реальных людей или отсутствие согласия. Результаты и тестовые промпты никогда не публикуются; итоги уровней «Очень сильный» и «Максимальный» сообщаются только текстом. Любое изображение на странице отчёта — это либо уже существующий безопасный для работы пример модели, либо пикселизированное изображение одного человека, проверенное сотрудником.

Измеряются, но не оцениваются и никогда не входят ни в одну из главных оценок.

• Время включает наши собственные тестовые запуски; доля успешных считается только по задачам клиентов.
• Каждый аккаунт учитывается не более чем 200 последними задачами на задачу, чтобы один активный пользователь не мог определить публичную цифру.
• Размер выборки показывается диапазонами (30+, 100+, 1k+), а не точными числами.
• Цифры относятся ко всему периоду. Посуточные графики мы не публикуем.

У каждого семейства есть собственный отчёт о тестах с якорем для каждого измерения, так что любую оценку на сайте можно открыть до расчёта. Каждый отчёт содержит:

• Записи тестов: дата, уровень, режим (задача или рамка), число прогонов и результат, у каждой — публичный номер доказательства. Это ключевой код, который позволяет нам найти запись внутри компании и больше ничего о прогоне не раскрывает.
• Расчёт оценки: для каждой строки таблицы — наблюдаемое значение, совпавшая строка, начисленные баллы и причина любого снижения.
• Примеры: только безопасные для работы изображения или клипы либо пикселизированные изображения одного человека, проверенные сотрудником. Результаты уровней «Очень сильный» и «Максимальный» — только текстом.
• Открытые вопросы: непроверенные уровни, уровни с менее чем тремя прогонами и ожидающие измерения.

Оценки пересчитываются ежедневно и при каждом изменении спецификации модели или результатов тестов. У каждого значения указана дата его источника.

• Публичные рейтинги в первую очередь охватывают самые известные модели. Ни один источник качества пока не имеет данных. Возможности образуют базу, объединённую с доступной свободой; Index предварительный и продолжает ранжироваться. Свобода не проверена или данных недостаточно. Index сохраняет исходный балл качества и возможностей, помечается как предварительный и продолжает участвовать в рейтинге. Отсутствие данных не равно нулю.
• Возможности отражают то, что открывает API SpicyAPI, а это может быть уже или шире, чем в приложении самого разработчика.
• Тесты контента — это небольшое число фиксированных тестов на уровень в конкретную дату. Модели меняются после обновлений, поэтому у каждой записи есть дата теста, а большинству уровней ещё нужны дополнительные прогоны.
• Скорость и надёжность зависят от того, что запускают наши пользователи. Для моделей с небольшим трафиком значения пока нет.

Оценивать продукт, который мы продаём, имеет смысл, только если процесс нельзя подогнать. Вот десять правил, которых мы придерживаемся.

1. 1.Оценку определяют только таблица и записи тестов. Цена, коммерческие условия, партнёрства и договорённости о поставках не играют никакой роли. Никто не правит оценки вручную: их генерирует код из данных, перечисленных в каждом отчёте.
2. 2.Никаких поблажек тому, что мы продаём под своим именем. Наши собственные инструменты подчиняются тем же правилам Freedom и качества, что и всё остальное, без исключений.
3. 3.Тестируем так же, как вызывают клиенты. Тесты идут через публичный API SpicyAPI с настройками по умолчанию — ровно так, как его вызвал бы клиент. Когда модель за API меняется, затронутые уровни проверяются заново.
4. 4.Фиксированные опорные точки, а не относительные места. Добавление модели никогда не меняет оценку другой, и ни одна модель не получает 100 за первое место.
5. 5.Всё с датами. У каждой записи указана дата теста, у каждой цены — дата каталога.
6. 6.Воспроизводимо. Тесты проходят через публичный API с настройками по умолчанию, а каждая запись содержит дату, уровень, задачу или постановку, число прогонов и результат, так что любой результат можно повторить на той же модели. Сами тестовые промпты не публикуются.
7. 7.Слепое судейство. Если судьями выступают LLM, они от других разработчиков, не видят названий моделей, получают ответы в случайном порядке и оценивают по открытым описаниям. Там, где мы сравниваем с оценками людей, согласие публикуется.
8. 8.Никакой выборочной публикации. Если измерение скрыто — как надёжность в первой версии, — оно скрыто для всех семейств.
9. 9.С версиями. Любое изменение таблицы, веса, опорной точки или порога повышает версию. Оценки разных версий никогда не сравниваются.
10. 10.Апелляции. Любой может запросить повторный тест. Его результат публикуется рядом с исходным.

Шесть фиксированных отрывков чтения от шести дикторов: 53,6 секунды и 146 эталонных слов. Этот небольшой тест не оценивает тексты песен, речь с шумом или общее качество транскрибации. В Spicy Index он не входит.

Доля ошибок в словах (WER) равна сумме замен, пропусков и вставок, делённой на общее число эталонных слов. Регистр и пунктуация нормализуются одинаково; апострофы внутри слов сохраняются. Показаны только полные результаты всех шести записей. WER может превышать 100%.

Эталонный корпус: LibriSpeech test-clean (OpenSLR), авторы Vassil Panayotov, Guoguo Chen, Daniel Povey и Sanjeev Khudanpur, CC BY 4.0. Использованы опубликованные выровненные транскрипции; новая независимая ручная расшифровка не проводилась. Аудио преобразовано из FLAC в WAV без потерь.

LibriSpeech · OpenSLR · CC BY 4.0

Шесть общих фиксированных документов, по четыре вопроса: поиск, многошаговое рассуждение, обновления фактов и отсутствующие сведения. Баллы требуют верных ответов в строгом JSON и не входят в Spicy Index.

Все модели получают одинаковые тексты: 31 998 эталонных токенов на документ (o200k_base, tiktoken 0.14.0), с лимитом вывода 4096 токенов. Блоки кода считаются ошибкой формата даже при верных ответах. Публикуются только шесть завершённых проб. Тест не измеряет максимальный контекст или весь набор способностей работы с длинным контекстом.