Como avaliamos os modelos de IA

Duas notas principais, cada uma com sua classificação, e três medidas para cada família de modelos.

Como ler uma nota

Cada número é calculado a partir de uma tabela publicada, com referências fixas. 100 significa o teto do que o mercado oferece, totalmente verificado. Não significa «o melhor do nosso catálogo»: nenhum modelo tira 100 por estar à frente dos outros.

O Spicy Index combina 70% de qualidade e capacidades com 30% de um Freedom Score com evidências suficientes para publicação. Com evidências completas, os pesos são 59,5% de qualidade, 10,5% de capacidades e 30% de liberdade. Preço e velocidade são mostrados separadamente.

Spicy Index = 70% qualidade e capacidades + 30% Freedom. Com evidências completas: 59,5% qualidade + 10,5% capacidades + 30% Freedom.

Na pontuação original de qualidade e capacidades, a qualidade pesa 85% e as capacidades 15%. Fontes de qualidade sem dados são excluídas e as restantes são renormalizadas dentro do grupo; seu peso nunca passa para capacidades. Sem evidências de qualidade, essa pontuação original usa somente capacidades. Ferramentas sem tabela de capacidades usam apenas qualidade suficientemente verificada ou ainda não têm pontuação base. O Index combina 70% dessa base com 30% de um Freedom Score publicável. Um Freedom Score disponível de zero conta como zero; evidências de liberdade ausentes ou insuficientes mantêm a base com a marca preliminar. Sem base não há Index, mesmo que a liberdade esteja pontuada. Pontuações preliminares continuam classificadas pelo Index disponível.

Hoje, a pontuação de qualidade vem dos rankings públicos e do nosso teste às cegas de resultados em imagem e vídeo, e dos rankings públicos e dos nossos conjuntos de testes nos modelos de linguagem. Nossa própria arena entra para cada modelo assim que ele tiver votos suficientes.

A qualidade do resultado avalia detalhe, movimento, controle de câmera, fidelidade ao prompt e, em vídeos com som, o áudio. Na pontuação original de qualidade e capacidades, a qualidade pesa 85% e as capacidades 15%. Fontes de qualidade sem dados são excluídas e as restantes são renormalizadas dentro do grupo; seu peso nunca passa para capacidades. Sem evidências de qualidade, essa pontuação original usa somente capacidades. Ferramentas sem tabela de capacidades usam apenas qualidade suficientemente verificada ou ainda não têm pontuação base. O Index combina 70% dessa base com 30% de um Freedom Score publicável. Um Freedom Score disponível de zero conta como zero; evidências de liberdade ausentes ou insuficientes mantêm a base com a marca preliminar. Sem base não há Index, mesmo que a liberdade esteja pontuada. Pontuações preliminares continuam classificadas pelo Index disponível.

Por que usamos rankings públicos

Nossa arena ainda é jovem, e um ranking feito com algumas centenas de votos oscila muito. Uma tabela de capacidade não enxerga a qualidade do resultado. Rankings públicos como arena.ai, Artificial Analysis e Design Arena se apoiam em centenas de milhares de votos humanos às cegas, por isso ancoram a pontuação de qualidade, ao lado do nosso próprio teste às cegas e da nossa arena.

Rankings públicos

Só usamos uma entrada que corresponda exatamente ao modelo: mesmo criador, mesma versão, mesmo nível. Uma variante Fast, Mini ou Spicy nunca pega emprestada a pontuação do modelo base. Quando um ranking lista várias variantes do mesmo modelo, só conta a que tem mais votos. Cada ranking é convertido separadamente, e a pontuação do modelo é a média ponderada dos rankings em que ele aparece.

Pontuação em um ranking = 50 + 40 × (nota − mediana) ÷ (líder − mediana), limitada entre 0 e 100. O líder fica com 90 e o modelo mediano com 50.

Cada relatório lista todos os rankings usados, com link: o nome com que o modelo aparece, a nota e o intervalo, a posição, o número de votos e a data em que consultamos.

Teste às cegas de resultados

Todos os modelos recebem os mesmos prompts. Avaliadores de três criadores de modelos diferentes dão a cada resultado uma nota de 1 a 10 numa escala ancorada, sem saber qual modelo o gerou. Cada critério é a média de todos os avaliadores e prompts, ponderada depois dentro do teste.

Pontuação de um critério = (média − 1) ÷ 9 × 100, então 1 vira 0 e 10 vira 100.

• As notas são relativas a cada prompt: cada resultado é comparado primeiro com os dos outros modelos para o mesmo prompt, então a dificuldade do prompt e o rigor dos avaliadores se anulam.
• Um critério só é publicado quando tem pelo menos 6 prompts.
• Renderização de texto só conta quando o teste teve prompts com texto; consistência de edição, só em modelos com endpoint de edição; e áudio, só em modelos que geram som. Um critério que não se aplica fica de fora e o resto é reajustado, então nenhum modelo perde pontos por isso.
• O áudio cobre efeitos sonoros, emoção e sincronia labial. Quem dá a nota é o único avaliador capaz de ouvir, e o relatório informa isso.
• Os relatórios mostram quantos avaliadores há por critério, nunca os modelos avaliadores.
• Cada rodada do teste às cegas é conferida com rankings públicos baseados em votos humanos. Quando uma categoria não bate (correlação de postos abaixo de 0,60 ou menos de 8 modelos presentes nos dois lados), o teste às cegas dela conta como 10% da qualidade em vez de 35%, e os relatórios dessa categoria avisam isso.
• Neste ranking, um modelo coberto apenas pelo nosso teste às cegas mantém a indicação provisória e recebe uma posição pela pontuação Index atual. A evidência de rankings públicos ou da arena ainda está pendente. Testes às cegas e participação na arena são fontes de evidência, não requisitos para uma posição.

Ferramentas utilitárias

Ferramentas como troca de rosto, troca de cabeça e remoção de fundo são julgadas pelo mesmo painel de três avaliadores independentes, com base em resultados que nós mesmos produzimos, em vez de prompts compartilhados. Como cada ferramenta parte de uma entrada diferente, cada resultado é avaliado sozinho, em vez de comparado com outros no mesmo prompt.

Uma dimensão só é publicada quando tem pelo menos 6 amostras. Algumas ferramentas ainda podem não chegar lá.

A capacidade é pontuada item por item em relação a uma especificação ideal pública, a partir da especificação do modelo na SpicyAPI: seu esquema de entrada, especificações e notas dos parâmetros. Conta o que você pode solicitar pela nossa API. Com todas as evidências disponíveis, a capacidade representa 10,5% do Index. A resolução ganha a nota máxima em 1080p nativo, pois o ganho de detalhe acima disso é pequeno: 4K não soma pontos extras. Faixas ampliadas ou de super-resolução nunca contam como resolução nativa. Limites definidos por nós, como um teto de requisição acima do publicado pelo criador, não são pontuados. A família é pontuada pelo conjunto de todas as suas tarefas.

A saída estruturada só ganha os últimos 7 pontos depois que nosso conjunto de testes de seguimento de instruções confirma a aderência ao esquema JSON. Modelos que não aceitam imagens na nossa API perdem esses pontos, mesmo que o app do criador aceite.

Votos às cegas em pares, de usuários logados, ajustados por um modelo de Bradley–Terry e publicados com intervalo bootstrap de 95%. Só entra no Index quando a família tem pelo menos 100 votos válidos e um intervalo de 95% menor que 200 Elo. O valor de 0–100 é a taxa de vitória esperada contra um modelo de referência fixo por classificação (referência = 50), que só muda com uma nova versão da metodologia. Até lá, o peso dela vai para as outras fontes de qualidade. Esta dimensão conta só os nossos próprios votos; os rankings públicos são uma dimensão à parte, citada linha por linha. As pontuações iniciais da arena vêm de rankings públicos de preferência humana e são substituídas pelos votos da comunidade à medida que chegam; esse ponto de partida não é um voto e nunca entra nesta dimensão. Visitantes anônimos também podem votar. Os votos deles vão para um registro separado e nunca entram nas pontuações nem em nenhuma contagem pública.

Quatro conjuntos com prompts fixos e versionados, rodados nas mesmas versões de modelo que oferecemos, com os parâmetros padrão. Três LLMs juízes de três criadores diferentes, nunca do criador do modelo avaliado, veem resultados anonimizados em ordem aleatória e pontuam pelos descritores abaixo. Publicamos a mediana dos juízes. Um conjunto só conta por inteiro com a amostra completa, vale 0,8 com metade e não é publicado abaixo disso. Um conjunto que ainda não chegou à metade da amostra aparece como pendente.

Roleplay

30 cenários × 3 amostras. Cada amostra recebe de 0 a 4 em quatro critérios, e a nota é 100 × a fração média dos 16 pontos.

Escrita criativa

20 prompts × 2 amostras, pontuados do mesmo jeito em quatro critérios: cumprimento do prompt, originalidade, qualidade da prosa, e estrutura e ritmo.

Seguimento de instruções

100 restrições verificadas automaticamente: formato, tamanho, conteúdo obrigatório ou proibido, esquema JSON. A nota é 100 × a taxa de aprovação estrita, sem juízes. O mesmo conjunto verifica a aderência ao esquema JSON para a tabela de capacidades.

Memória em contexto longo

Perguntas de recordação e de dois passos, com as evidências em diferentes profundidades.

Pontos = pontos da faixa × acerto nessa faixa. Uma faixa acima da janela publicada do modelo vale 0.

Freedom Score continua como uma pontuação principal separada e contribui com 30% do Spicy Index quando cumpre o limiar público de evidências. Mede a entrega verificável em uma escala de conteúdo de cinco níveis, pela mesma rota das requisições de clientes e com ajustes padrão. Ausência de testes ou cobertura insuficiente não conta como zero: o Index mantém a base de qualidade e capacidades e fica preliminar.

Tabela de pontuação

Todo Freedom Score aparece com os tipos de teste feitos (seis para imagem e vídeo, em que o nível Máximo conta como dois; cinco para modelos de linguagem), o número de execuções independentes e a faixa que pode alcançar: da nota de hoje à nota que teria se cada nível não testado passasse e cada nível testado fosse confirmado por três execuções na taxa de aprovação atual. Uma execução que falha por motivo alheio, como tempo esgotado ou queda, é refeita e não conta. Um mesmo resultado pode confirmar mais de um nível e, nesse caso, conta como uma execução em cada um.

O ranking sem censura só ordena modelos com evidência suficiente: pelo menos três tipos de teste, incluindo o nível Forte. Os demais aparecem abaixo do ranking com a sua faixa, mas sem posição.

Nos modelos de linguagem, cada tentativa é uma execução. Uma resposta que chega ao nível pedido conta como entregue, uma mais branda conta como suavizada, e uma recusa como recusada. Os três enquadramentos (continuar uma ficção, um prompt de sistema da plataforma e um pedido direto) são somados, então um modelo que só escreve com enquadramento pontua menos que um que escreve quando você pede diretamente.

Ferramentas como troca de rosto e troca de cabeça são pontuadas da mesma forma: um nível conta assim que é confirmado, e um que ainda não foi confirmado vale zero, em vez de ser presumido.

O que nunca testamos nem publicamos

Nenhum teste envolve quem aparente ser menor de idade, a imagem de uma pessoa real ou a falta de consentimento. Os resultados e os prompts de teste nunca são publicados, e os resultados nos níveis Muito forte e Máximo são relatados apenas em texto. Qualquer imagem em uma página de relatório é um exemplo de modelo já seguro para o trabalho ou uma imagem pixelizada de uma única pessoa, revisada por alguém da equipe.

Medidos, não pontuados, e nunca parte de nenhuma das duas notas principais.

• Os tempos incluem nossos próprios testes; as taxas de sucesso contam só trabalhos de clientes.
• De cada conta, entram no máximo as 200 tarefas mais recentes por tipo de tarefa, para que um único usuário de alto volume não determine um número público.
• Os tamanhos de amostra aparecem em faixas (30+, 100+, 1k+), nunca como contagens exatas.
• Os números cobrem a janela inteira. Não publicamos curvas dia a dia.

Cada família tem seu próprio relatório de teste, com uma âncora por dimensão, então qualquer nota do site leva ao seu cálculo com um clique. Cada relatório traz:

• Registros de teste: data, nível, modo (tarefa ou enquadramento), número de execuções e resultado, cada um com um número de evidência público. Esse número é um código com chave que nos deixa rastrear o registro internamente e não revela mais nada sobre a execução.
• Cálculo da nota: para cada linha da tabela, o valor observado, a linha correspondente, os pontos atribuídos e o motivo de qualquer desconto.
• Exemplos: somente imagens ou clipes seguros para o trabalho, ou imagens pixelizadas de uma única pessoa, revisadas por alguém da equipe. Resultados Muito forte e Máximo são apenas texto.
• Pendências: níveis não testados, níveis com menos de três execuções e dimensões pendentes.

As notas são recalculadas todo dia e sempre que a especificação ou os resultados de teste de um modelo mudam. Cada valor traz a data da sua fonte.

• Os rankings públicos cobrem primeiro os modelos mais conhecidos. Nenhuma fonte de qualidade tem dados ainda. As capacidades formam a base combinada com a liberdade disponível; o Index é preliminar e continua classificado. A liberdade não foi testada ou as evidências são insuficientes. O Index mantém a pontuação original de qualidade e capacidades, recebe a marca preliminar e continua no ranking. Evidência ausente não equivale a zero.
• As capacidades refletem o que a API da SpicyAPI expõe, que pode ser mais restrito ou mais amplo que o app do próprio criador.
• Os testes de conteúdo são poucos testes fixos por nível numa data específica. Os modelos mudam com as atualizações, então cada registro traz a data do teste, e a maioria dos níveis ainda precisa de mais execuções.
• Velocidade e confiabilidade dependem do que nossos usuários rodam. Modelos com pouco tráfego ainda não mostram valor.

Avaliar um produto que vendemos só faz sentido se o processo não puder ser manipulado. Estas são as dez regras que seguimos.

1. 1.Só a tabela e os registros de teste definem uma nota. Preço, condições comerciais, parcerias e acordos de fornecimento não têm nenhum papel. Ninguém edita uma nota à mão: as notas são geradas por código a partir dos dados listados em cada relatório.
2. 2.Nenhum tratamento especial para o que vendemos com o nosso nome. Nossas próprias ferramentas seguem as mesmas regras de Freedom e de qualidade que tudo o mais, sem exceção.
3. 3.Testado do jeito que os clientes usam. Os testes passam pela API pública da SpicyAPI com as configurações padrão, exatamente como um cliente faria. Quando um modelo muda por trás da API, os níveis afetados são testados de novo.
4. 4.Referências fixas, não posições relativas. Adicionar um modelo nunca muda a nota de outro, e nenhum modelo tira 100 por estar em primeiro.
5. 5.Tudo tem data. Cada registro mostra a data do teste, e cada preço, a data do catálogo.
6. 6.Reproduzível. Os testes rodam pela API pública com as configurações padrão, e cada registro traz data, nível, tarefa ou enquadramento, número de execuções e resultado, para que qualquer resultado possa ser refeito no mesmo modelo. Os próprios prompts de teste não são publicados.
7. 7.Avaliação às cegas. Quando usamos LLMs como juízes, eles vêm de outros criadores, não veem nomes de modelos, recebem os resultados em ordem aleatória e pontuam por descritores públicos. Quando comparamos com votos humanos, publicamos a concordância.
8. 8.Nada de publicação seletiva. Se uma medida é retida, como a confiabilidade na primeira versão, ela é retida para todas as famílias.
9. 9.Versionado. Qualquer mudança numa tabela, peso, referência ou limite sobe a versão. Notas de versões diferentes nunca são comparadas.
10. 10.Revisão. Qualquer pessoa pode pedir um novo teste. O resultado é publicado ao lado do original.

Seis trechos fixos de leitura, de seis pessoas: 53,6 segundos e 146 palavras de referência. Este pequeno teste não mede letras de músicas, fala com ruído nem a capacidade geral de transcrição. Não entra no Spicy Index.

A taxa de erro por palavra (WER) soma substituições, omissões e inserções e divide pelo total de palavras de referência. Maiúsculas e pontuação são normalizadas de forma uniforme; apóstrofos internos são mantidos. Só aparecem resultados completos dos seis trechos. A WER pode ultrapassar 100%.

Corpus de referência: LibriSpeech test-clean (OpenSLR), de Vassil Panayotov, Guoguo Chen, Daniel Povey e Sanjeev Khudanpur, CC BY 4.0. São usadas as transcrições alinhadas publicadas; esta rodada não inclui nova transcrição humana independente. Áudio convertido sem perdas de FLAC para WAV.

LibriSpeech · OpenSLR · CC BY 4.0

Seis documentos fixos compartilhados, quatro perguntas cada: recuperação, raciocínio em etapas, fatos atualizados e informações ausentes. Os pontos exigem respostas corretas em JSON estrito e não entram no Spicy Index.

Todos os modelos recebem os mesmos textos: 31.998 tokens de referência por documento (o200k_base, tiktoken 0.14.0), com limite de saída de 4.096 tokens. Blocos de código contam como falhas de formato, mesmo que as respostas contidas neles estejam corretas. Somente as seis amostras concluídas são publicadas. Isso não mede o tamanho máximo do contexto nem o conjunto completo de testes de contexto longo.