Come valutiamo i modelli IA

Due punteggi principali, ciascuno con la sua classifica, e tre misure per ogni famiglia di modelli.

Come leggere un punteggio

Ogni numero è calcolato da una tabella pubblicata rispetto a riferimenti fissi. 100 significa il tetto di ciò che offre il settore, interamente verificato. Non vuol dire «il migliore del nostro catalogo»: nessun modello prende 100 perché è davanti agli altri.

Spicy Index combina il 70% di qualità e capacità con il 30% di Freedom Score pubblicabile. Con prove complete: 59,5% qualità, 10,5% capacità e 30% libertà. Prezzo e velocità restano separati.

Spicy Index = 70% qualità e capacità + 30% Freedom. Con prove complete: 59,5% qualità + 10,5% capacità + 30% Freedom.

Nel punteggio originale di qualità e capacità, la qualità pesa l'85% e le capacità il 15%. Le fonti di qualità senza dati sono escluse e le altre vengono rinormalizzate nel loro gruppo; il loro peso non passa mai alle capacità. Senza prove di qualità, questo punteggio originale usa solo le capacità. Gli strumenti senza tabella delle capacità usano soltanto qualità sufficientemente verificata oppure non hanno ancora un punteggio base. L'Index combina il 70% di questa base con il 30% di un Freedom Score pubblicabile. Un Freedom Score disponibile pari a zero conta come zero; prove di libertà assenti o insufficienti lasciano la base con un'etichetta preliminare. Senza base non c'è Index, anche se la libertà ha un punteggio. I punteggi preliminari restano classificati secondo l'Index disponibile.

Oggi il punteggio di qualità viene dalle classifiche pubbliche e dal nostro test alla cieca dei risultati per immagini e video, e dalle classifiche pubbliche e dalle nostre batterie di prova per i modelli linguistici. La nostra arena si aggiunge per ogni modello appena raccoglie abbastanza voti.

La qualità del risultato valuta dettaglio, movimento, controllo della camera, aderenza al prompt e, per i video con audio, anche il suono. Nel punteggio originale di qualità e capacità, la qualità pesa l'85% e le capacità il 15%. Le fonti di qualità senza dati sono escluse e le altre vengono rinormalizzate nel loro gruppo; il loro peso non passa mai alle capacità. Senza prove di qualità, questo punteggio originale usa solo le capacità. Gli strumenti senza tabella delle capacità usano soltanto qualità sufficientemente verificata oppure non hanno ancora un punteggio base. L'Index combina il 70% di questa base con il 30% di un Freedom Score pubblicabile. Un Freedom Score disponibile pari a zero conta come zero; prove di libertà assenti o insufficienti lasciano la base con un'etichetta preliminare. Senza base non c'è Index, anche se la libertà ha un punteggio. I punteggi preliminari restano classificati secondo l'Index disponibile.

Perché usiamo le classifiche pubbliche

La nostra arena è ancora giovane, e una classifica costruita su poche centinaia di voti è molto rumorosa. Una tabella delle capacità, poi, non vede affatto la qualità del risultato. Le classifiche pubbliche come arena.ai, Artificial Analysis e Design Arena si basano su centinaia di migliaia di voti umani alla cieca, quindi fanno da ancora al punteggio di qualità, accanto al nostro test alla cieca e alla nostra arena.

Classifiche pubbliche

Usiamo solo una voce che corrisponde esattamente al modello: stesso sviluppatore, stessa versione, stesso livello. Una variante Fast, Mini o Spicy non prende mai in prestito il punteggio del modello base. Se una classifica elenca più varianti dello stesso modello, conta solo quella con più voti. Ogni classifica viene convertita a sé, e il punteggio del modello è la media ponderata delle classifiche in cui compare.

Punteggio su una classifica = 50 + 40 × (valutazione − mediana) ÷ (primo − mediana), limitato tra 0 e 100. Il primo ottiene 90 e il modello mediano 50.

Ogni report elenca tutte le classifiche usate, con un link: il nome con cui il modello compare, la valutazione e l’intervallo, la posizione, il numero di voti e la data in cui l’abbiamo letta.

Test alla cieca dei risultati

Tutti i modelli ricevono gli stessi prompt. Valutatori di tre sviluppatori di modelli diversi danno a ogni risultato un voto da 1 a 10 su una scala ancorata, senza sapere quale modello l’ha prodotto. Ogni criterio è la media su tutti i valutatori e i prompt, poi ponderata all’interno del test.

Punteggio di un criterio = (media − 1) ÷ 9 × 100, quindi 1 diventa 0 e 10 diventa 100.

• I punteggi sono relativi al singolo prompt: ogni risultato viene prima confrontato con quelli degli altri modelli sullo stesso prompt, così la difficoltà del prompt e la severità dei suoi valutatori si annullano.
• Un criterio viene pubblicato solo quando ha almeno 6 prompt.
• La resa del testo conta solo se il test aveva prompt con testo, la coerenza delle modifiche solo per i modelli con un endpoint di modifica e l’audio solo per i modelli che generano suono. Un criterio che non si applica viene escluso e il resto riproporzionato, così nessun modello perde punti per questo.
• L’audio copre effetti sonori, emozione e sincronizzazione labiale. Lo valuta l’unico valutatore in grado di ascoltare, e il report lo dice.
• I report indicano quanti valutatori ci sono per ogni criterio, mai i modelli che valutano.
• Ogni tornata del test alla cieca viene confrontata con le classifiche pubbliche basate sui voti delle persone. Se in una categoria i risultati non concordano (correlazione di rango sotto 0,60, o meno di 8 modelli presenti in entrambi), lì il test alla cieca conta per il 10% della qualità invece del 35%, e i report di quella categoria lo segnalano.
• In questa classifica, un modello coperto solo dal nostro test alla cieca mantiene l’etichetta provvisoria e riceve una posizione in base al punteggio Index attuale. Le prove delle classifiche pubbliche o dell’arena restano da raccogliere. I test alla cieca e la partecipazione all’arena sono fonti di prova, non requisiti per una posizione.

Strumenti di utilità

Strumenti come lo scambio del volto, lo scambio della testa e la rimozione dello sfondo sono giudicati dallo stesso gruppo di tre valutatori indipendenti, su risultati prodotti da noi stessi anziché su prompt condivisi. Poiché ogni strumento parte da un input diverso, ogni risultato viene valutato da solo invece che confrontato con altri sullo stesso prompt.

Una dimensione viene pubblicata solo quando ha almeno 6 campioni. Alcuni strumenti potrebbero non arrivarci ancora.

Le capacità sono valutate voce per voce rispetto a una specifica ideale pubblica, partendo dalla specifica del modello su SpicyAPI: schema di input, caratteristiche e note sui parametri. Conta ciò che puoi richiedere tramite la nostra API, e le capacità valgono il 10,5% con prove complete dell’Index. La risoluzione ottiene il punteggio pieno già a 1080p nativo, perché oltre il guadagno di dettaglio è minimo: il 4K non aggiunge nulla. I livelli ottenuti con upscaling o super-risoluzione non contano mai come risoluzione nativa, e i limiti fissati da noi, come un tetto di richiesta superiore a quello pubblicato dallo sviluppatore, non vengono valutati. Una famiglia viene valutata sull’insieme delle sue attività.

L’output strutturato ottiene gli ultimi 7 punti solo dopo che la nostra batteria sul rispetto delle istruzioni ha verificato l’aderenza allo schema JSON. I modelli che non accettano immagini sulla nostra API perdono quei punti, anche se l’app dello sviluppatore le accetta.

Voti alla cieca a coppie di utenti che hanno effettuato l’accesso, stimati con un modello di Bradley–Terry e riportati con un intervallo bootstrap al 95%. Entra nell’Index solo quando una famiglia ha almeno 100 voti validi e un intervallo al 95% più stretto di 200 Elo. Il suo valore da 0 a 100 è il tasso di vittoria atteso contro un modello di riferimento fisso per ogni classifica (riferimento = 50), che cambia solo con una nuova versione della metodologia. Fino ad allora, il suo peso passa alle altre fonti di qualità. Questa dimensione conta solo i nostri voti; le classifiche pubbliche sono una dimensione a parte, citata riga per riga. I punteggi iniziali dell’arena partono da classifiche pubbliche di preferenze umane e vengono sostituiti dai voti della community man mano che arrivano; questo punto di partenza non è un voto e non entra mai in questa dimensione. Anche i visitatori anonimi possono votare. I loro voti finiscono in un registro separato e non entrano mai né nei punteggi né in alcun conteggio pubblico.

Quattro batterie con set di prompt fissi e versionati, eseguite sulle stesse versioni di modello che offriamo, con i parametri predefiniti. Tre LLM giudici di tre sviluppatori diversi, mai dello sviluppatore del modello in prova, vedono risultati anonimizzati in ordine casuale e valutano secondo i descrittori qui sotto. Pubblichiamo il punteggio mediano dei giudici. Una batteria conta per intero solo con il campione completo, vale 0,8 con metà campione e sotto non viene pubblicata. Una batteria che non ha ancora raggiunto metà del campione risulta in attesa.

Roleplay

30 scenari × 3 campioni. Ogni campione riceve da 0 a 4 su quattro criteri, e il punteggio è 100 × la quota media dei 16 punti.

Scrittura creativa

20 prompt × 2 campioni, valutati allo stesso modo su quattro criteri: aderenza al prompt, originalità, qualità della prosa, struttura e ritmo.

Rispetto delle istruzioni

100 vincoli verificati automaticamente: formato, lunghezza, contenuti obbligatori o vietati, schema JSON. Il punteggio è 100 × il tasso di superamento rigoroso, senza giudici. La stessa batteria verifica l’aderenza allo schema JSON per la tabella delle capacità.

Memoria su contesto lungo

Domande di richiamo e a due passaggi, con le informazioni collocate a profondità diverse.

Punti = punti della fascia × accuratezza in quella fascia. Una fascia oltre la finestra pubblicata del modello vale 0.

Freedom Score resta un punteggio principale distinto e contribuisce per il 30% allo Spicy Index quando raggiunge la soglia pubblica delle prove. Misura i risultati verificabili lungo una scala dei contenuti a cinque livelli, sullo stesso percorso delle richieste dei clienti e con impostazioni predefinite. Test assenti o copertura insufficiente non valgono zero: l'Index conserva la base di qualità e capacità ed è preliminare.

Tabella di valutazione

Ogni Freedom Score è mostrato con i tipi di prova eseguiti (sei per immagini e video, dove il livello Massimo conta doppio; cinque per i modelli linguistici), il numero di esecuzioni indipendenti e l’intervallo raggiungibile: dal punteggio di oggi a quello che si otterrebbe se ogni livello non testato superasse la prova e ogni livello testato fosse confermato da tre esecuzioni al tasso di successo attuale. Un’esecuzione che fallisce per motivi estranei, come un timeout o un’interruzione, viene ripetuta e non conta. Uno stesso risultato può confermare più di un livello, e in quel caso conta come un’esecuzione per ciascuno.

La classifica senza censura ordina solo i modelli con prove sufficienti: almeno tre tipi di prova, incluso il livello Forte. Gli altri sono elencati sotto la classifica con il loro intervallo, ma senza posizione.

Per i modelli linguistici ogni tentativo è un’esecuzione. Una risposta che raggiunge il livello richiesto conta come generata, una più tenue come attenuata, e un rifiuto come rifiutata. Le tre cornici (continuare una storia, prompt di sistema della piattaforma, richiesta diretta) vengono accorpate, quindi un modello che scrive solo con una cornice ottiene meno di uno che scrive quando glielo chiedi direttamente.

Strumenti come lo scambio del volto o della testa sono valutati allo stesso modo: un livello conta appena viene confermato, e uno non confermato vale zero invece di essere presunto.

Cosa non testiamo né pubblichiamo mai

Nessun test coinvolge persone che sembrano minorenni, le sembianze di una persona reale o l’assenza di consenso. Risultati e prompt di prova non vengono mai pubblicati, e gli esiti ai livelli Molto forte e Massimo sono riportati solo a parole. Ogni immagine in una pagina di report è un esempio di modello già adatto al lavoro oppure un’immagine pixelata di una sola persona, verificata da una persona.

Misurati, non valutati, e mai parte di nessuno dei due punteggi principali.

• I tempi includono i nostri test; i tassi di successo contano solo i lavori dei clienti.
• Ogni account conta al massimo per i suoi 200 lavori più recenti per attività, così un singolo utente intensivo non può decidere un numero pubblico.
• Le dimensioni dei campioni sono mostrate per fasce (30+, 100+, 1k+), mai come numeri esatti.
• I numeri coprono l’intero periodo. Non pubblichiamo curve giorno per giorno.

Ogni famiglia ha il proprio report di prova, con un’ancora per ogni dimensione, quindi qualsiasi punteggio del sito porta con un clic al suo calcolo. Ogni report contiene:

• Registri di prova: data, livello, modalità (attività o cornice), numero di esecuzioni ed esito, ciascuno con un numero di evidenza pubblico. Il numero è un codice con chiave che ci permette di risalire al registro internamente e non rivela nient’altro sull’esecuzione.
• Calcolo del punteggio: per ogni riga della tabella, il valore osservato, la riga corrispondente, i punti assegnati e il motivo di ogni detrazione.
• Esempi: solo immagini o clip adatti al lavoro, oppure immagini pixelate di una sola persona verificate da una persona. I risultati Molto forte e Massimo sono solo testo.
• Voci aperte: livelli non testati, livelli con meno di tre esecuzioni e dimensioni in attesa.

I punteggi vengono ricalcolati ogni giorno e ogni volta che cambiano la specifica di un modello o i suoi risultati di prova. Ogni valore riporta la data della sua fonte.

• Le classifiche pubbliche coprono prima i modelli più noti. Nessuna fonte di qualità ha ancora dati. Le capacità formano la base e si combinano con la libertà disponibile; l'Index è preliminare e resta in classifica. La libertà non è stata testata o le prove sono insufficienti. L'Index mantiene il punteggio originale di qualità e capacità, è segnato come preliminare e continua a ricevere una posizione. Una prova mancante non vale zero.
• Le capacità riflettono ciò che espone l’API di SpicyAPI, che può essere più ristretto o più ampio dell’app dello sviluppatore.
• Le prove sui contenuti sono poche prove fisse per livello in una data precisa. I modelli cambiano con gli aggiornamenti, quindi ogni registro riporta la data della prova, e la maggior parte dei livelli ha ancora bisogno di altre esecuzioni.
• Velocità e affidabilità dipendono da ciò che eseguono i nostri utenti. I modelli con poco traffico non mostrano ancora un valore.

Valutare un prodotto che vendiamo ha senso solo se il processo non si può piegare. Queste sono le dieci regole che ci siamo dati.

1. 1.Solo la tabella e i registri di prova decidono un punteggio. Prezzo, condizioni commerciali, partnership e accordi di fornitura non hanno alcun ruolo. Nessuno modifica un punteggio a mano: i punteggi sono generati dal codice a partire dai dati elencati in ogni report.
2. 2.Nessun trattamento di favore per ciò che vendiamo con il nostro nome. I nostri strumenti seguono le stesse regole Freedom e di qualità di tutti gli altri, senza eccezioni.
3. 3.Testato con le stesse chiamate usate dai clienti. Le prove passano per l’API pubblica di SpicyAPI con le impostazioni predefinite, esattamente come la chiamerebbe un cliente. Quando un modello cambia dietro l’API, i livelli interessati vengono ritestati.
4. 4.Riferimenti fissi, non posizioni relative. Aggiungere un modello non cambia mai il punteggio di un altro, e nessun modello prende 100 perché è primo.
5. 5.Tutto ha una data. Ogni registro mostra la data della prova e ogni prezzo la data del catalogo.
6. 6.Riproducibile. I test passano dall’API pubblica con le impostazioni predefinite, e ogni registro riporta data, livello, attività o inquadratura, numero di esecuzioni ed esito, così che qualsiasi risultato può essere ripetuto sullo stesso modello. I prompt di prova stessi non vengono pubblicati.
7. 7.Giudizio alla cieca. Quando usiamo LLM come giudici, vengono da altri sviluppatori, non vedono i nomi dei modelli, ricevono i risultati in ordine casuale e valutano secondo descrittori pubblici. Dove confrontiamo con voti umani, pubblichiamo l’accordo.
8. 8.Nessuna pubblicazione selettiva. Se una misura non viene pubblicata, come l’affidabilità nella prima versione, non viene pubblicata per nessuna famiglia.
9. 9.Con versioni. Qualsiasi modifica a una tabella, un peso, un riferimento o una soglia fa salire la versione. I punteggi di versioni diverse non vengono mai confrontati.
10. 10.Ricorsi. Chiunque può chiedere una nuova prova. Il risultato viene pubblicato accanto all’originale.

Sei brani fissi letti da sei persone: 53,6 secondi e 146 parole di riferimento. Questo piccolo test non misura testi di canzoni, parlato rumoroso o capacità generali di trascrizione. Non incide sullo Spicy Index.

Il tasso di errore per parola (WER) è la somma di sostituzioni, omissioni e inserimenti divisa per tutte le parole di riferimento. Maiuscole e punteggiatura sono normalizzate in modo uniforme; gli apostrofi interni restano. Sono mostrati solo i risultati completi sui sei brani. Il WER può superare il 100%.

Corpus di riferimento: LibriSpeech test-clean (OpenSLR), di Vassil Panayotov, Guoguo Chen, Daniel Povey e Sanjeev Khudanpur, CC BY 4.0. Si usano le trascrizioni allineate pubblicate; non è stata aggiunta una trascrizione umana indipendente. Audio convertito senza perdita da FLAC a WAV.

LibriSpeech · OpenSLR · CC BY 4.0

Sei documenti fissi condivisi, quattro domande ciascuno: recupero, ragionamento a più passaggi, fatti aggiornati e informazioni mancanti. I punti richiedono risposte corrette in JSON rigoroso e non entrano nello Spicy Index.

Tutti i modelli ricevono gli stessi testi: 31.998 token di riferimento per documento (o200k_base, tiktoken 0.14.0), con un limite di output di 4.096 token. I blocchi di codice sono errori di formato anche se contengono risposte corrette. Si pubblicano solo sei campioni completati. Il test non misura il contesto massimo né l’intera suite per contesti lunghi.