Перейти к основному контенту

Рейтинг ИИ-моделей по задачам

Открытые голосования, задача за задачей, а рядом наши тесты: насколько далеко заходит каждая модель.

На 19 окт. 2026 г. по открытым голосованиям лидируют: Wan 3.0 в генерации видео из текста, MiniMax H3 Max в генерации видео из изображения, Seedance 2.5 в генерации видео по референсу, GPT Image 2.5 Sunburst в генерации изображений из текста и GPT Image 2.5 Sunburst в редактировании изображений.

Рейтинг качества речи

Независимые оценки слушателей для синтеза речи. Эти баллы Elo не входят в Spicy Index.

Данные получены 29 сент. 2026 г. · 5 моделей каталога сопоставлены с исходным рейтингом из 92 моделей.

  1. 1Gemini 3.8 Flash TTS
    1 267 Elo95% CI 1 251–1 283

    2 211 голосов слушателей

  2. 2Gemini 3.8 Flash-Lite TTS
    1 241 Elo95% CI 1 225–1 257

    2 180 голосов слушателей

  3. 3MiniMax Speech 2.8 HD
    1 171 Elo95% CI 1 160–1 182

    4 498 голосов слушателей

  4. 4MiniMax Speech 2.8 Turbo
    1 151 Elo95% CI 1 140–1 162

    4 391 голосов слушателей

  5. 5Chatterbox
    1 023 Elo95% CI 1 012–1 034

    4 603 голосов слушателей

Места определены по точечным оценкам. Пересекающиеся 95%-ные доверительные интервалы не подтверждают явного различия в качестве.

Artificial Analysis

Соблюдение заданий с длинными документами

Шесть общих фиксированных документов, по четыре вопроса: поиск, многошаговое рассуждение, обновления фактов и отсутствующие сведения. Баллы требуют верных ответов в строгом JSON и не входят в Spicy Index.

  1. Claude Opus 5.5

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 47 180–47 180 токенов

    100,0 / 100

    24/24 верных ответов в требуемом формате

  2. DeepSeek V4 Flash

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 32 087–32 087 токенов

    100,0 / 100

    24/24 верных ответов в требуемом формате

  3. DeepSeek V4 Pro

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 32 087–32 087 токенов

    100,0 / 100

    24/24 верных ответов в требуемом формате

  4. GLM 5.2

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 38 336–38 429 токенов

    100,0 / 100

    24/24 верных ответов в требуемом формате

  5. GLM 5.3

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 38 336–38 429 токенов

    100,0 / 100

    24/24 верных ответов в требуемом формате

  6. GLM 5.3 Flash

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 38 336–38 429 токенов

    100,0 / 100

    24/24 верных ответов в требуемом формате

  7. Kimi K3

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 32 084–32 086 токенов

    100,0 / 100

    24/24 верных ответов в требуемом формате

  8. Gemini 3.5 Flash-Lite

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 53 282–53 282 токенов

    95,8 / 100

    23/24 верных ответов в требуемом формате

  9. Claude Opus 4.6

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 33 716–33 716 токенов

    Пробы: 0 отказов · 1 ошибок формата JSON · 0 достигнутых лимитов вывода. Категории могут пересекаться.

    83,3 / 100

    20/24 верных ответов в требуемом формате

  10. Gemini 3 Flash Preview

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 53 282–53 283 токенов

    Пробы: 0 отказов · 1 ошибок формата JSON · 0 достигнутых лимитов вывода. Категории могут пересекаться.

    83,3 / 100

    20/24 верных ответов в требуемом формате

  11. Grok 4.6

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 32 211–32 211 токенов

    Пробы: 0 отказов · 1 ошибок формата JSON · 0 достигнутых лимитов вывода. Категории могут пересекаться.

    83,3 / 100

    20/24 верных ответов в требуемом формате

  12. Claude Sonnet 5

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 47 178–47 178 токенов

    Пробы: 0 отказов · 2 ошибок формата JSON · 0 достигнутых лимитов вывода. Категории могут пересекаться.

    66,7 / 100

    16/24 верных ответов в требуемом формате

  13. Gemini 3.1 Pro Preview

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 53 283–53 283 токенов

    Пробы: 0 отказов · 2 ошибок формата JSON · 0 достигнутых лимитов вывода. Категории могут пересекаться.

    66,7 / 100

    16/24 верных ответов в требуемом формате

  14. Grok 4.5

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 32 211–32 211 токенов

    Пробы: 0 отказов · 4 ошибок формата JSON · 0 достигнутых лимитов вывода. Категории могут пересекаться.

    33,3 / 100

    8/24 верных ответов в требуемом формате

  15. Claude Opus 4.5

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 33 716–33 745 токенов

    Пробы: 0 отказов · 5 ошибок формата JSON · 0 достигнутых лимитов вывода. Категории могут пересекаться.

    16,7 / 100

    4/24 верных ответов в требуемом формате

  16. Gemini 3.7 Flash

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 53 283–53 283 токенов

    Пробы: 0 отказов · 5 ошибок формата JSON · 0 достигнутых лимитов вывода. Категории могут пересекаться.

    16,7 / 100

    4/24 верных ответов в требуемом формате

  17. Claude Opus 5

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 47 178–47 178 токенов

    Пробы: 6 отказов · 6 ошибок формата JSON · 0 достигнутых лимитов вывода. Категории могут пересекаться.

    0,0 / 100

    0/24 верных ответов в требуемом формате

  18. Claude Sonnet 4.5

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 33 745–33 745 токенов

    Пробы: 0 отказов · 6 ошибок формата JSON · 0 достигнутых лимитов вывода. Категории могут пересекаться.

    0,0 / 100

    0/24 верных ответов в требуемом формате

  19. Claude Sonnet 4.6

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 33 716–33 716 токенов

    Пробы: 0 отказов · 6 ошибок формата JSON · 0 достигнутых лимитов вывода. Категории могут пересекаться.

    0,0 / 100

    0/24 верных ответов в требуемом формате

  20. Gemini 2.5 Flash

    Обновлено 30 сент. 2026 г.

    Измеренный вход: 53 282–53 282 токенов

    Пробы: 0 отказов · 6 ошибок формата JSON · 0 достигнутых лимитов вывода. Категории могут пересекаться.

    0,0 / 100

    0/24 верных ответов в требуемом формате

Все модели получают одинаковые тексты: 31 998 эталонных токенов на документ (o200k_base, tiktoken 0.14.0), с лимитом вывода 4096 токенов. Блоки кода считаются ошибкой формата даже при верных ответах. Публикуются только шесть завершённых проб. Тест не измеряет максимальный контекст или весь набор способностей работы с длинным контекстом.

Методика теста

Транскрибация коротких записей на английском

Шесть фиксированных отрывков чтения от шести дикторов: 53,6 секунды и 146 эталонных слов. Этот небольшой тест не оценивает тексты песен, речь с шумом или общее качество транскрибации. В Spicy Index он не входит.

  • Grok STT

    Обновлено 30 сент. 2026 г.

    2 замен · 0 пропусков · 0 вставок / 146 эталонных слов

    1,37 % WER

    Чем ниже, тем лучше

  • HeartMuLa Transcribe

    Обновлено 30 сент. 2026 г.

    4 замен · 0 пропусков · 2 вставок / 146 эталонных слов

    4,11 % WER

    Чем ниже, тем лучше

Доля ошибок в словах (WER) равна сумме замен, пропусков и вставок, делённой на общее число эталонных слов. Регистр и пунктуация нормализуются одинаково; апострофы внутри слов сохраняются. Показаны только полные результаты всех шести записей. WER может превышать 100%.

Методика транскрибации

Вопросы о рейтингах