So bewerten wir KI-Modelle

Zwei Hauptscores mit je eigener Rangliste und drei Messwerte für jede Modellfamilie.

So lesen Sie einen Score

Jede Zahl wird aus einer veröffentlichten Tabelle gegen feste Ankerpunkte berechnet. 100 bedeutet: Spitze dessen, was die Branche bietet, vollständig verifiziert. Es heißt nicht „das Beste in unserem Katalog“: Kein Modell bekommt 100, nur weil es unter seinesgleichen vorn liegt.

Der Spicy Index kombiniert 70% Qualität und Fähigkeiten mit 30% öffentlich belegtem Freedom Score. Bei vollständigen Belegen gelten 59,5% Qualität, 10,5% Fähigkeiten und 30% Freiheit. Preis und Geschwindigkeit bleiben separat.

Spicy Index = 70% Qualität und Fähigkeiten + 30% Freedom. Bei vollständigen Belegen: 59,5% Qualität + 10,5% Fähigkeiten + 30% Freedom.

Im ursprünglichen Qualitäts- und Fähigkeitsscore entfallen 85% auf Qualität und 15% auf Fähigkeiten. Fehlende Qualitätsquellen werden ausgeschlossen und die übrigen innerhalb ihrer Gruppe neu gewichtet; ihr Anteil geht nie an Fähigkeiten. Ohne Qualitätsbelege besteht dieser ursprüngliche Score nur aus Fähigkeiten. Werkzeuge ohne Fähigkeitstabelle verwenden allein ausreichend geprüfte Qualität oder haben noch keinen Basisscore. Der Index kombiniert 70% dieses Basisscores mit 30% eines öffentlich belegbaren Freedom Scores. Ein verfügbarer Freedom Score von null zählt als null; fehlende oder unzureichende Freiheitsbelege lassen den Basisscore mit vorläufiger Kennzeichnung bestehen. Ohne Basis gibt es keinen Index, auch wenn Freiheit bewertet wurde. Vorläufige Werte erhalten weiterhin Ränge nach ihrem verfügbaren Index.

Derzeit stammt der Qualitätswert bei Bild und Video aus öffentlichen Ranglisten und unserem Blindtest der Ergebnisse, bei Sprachmodellen aus öffentlichen Ranglisten und unseren Testreihen. Unsere eigene Arena kommt bei jedem Modell hinzu, sobald genug Stimmen vorliegen.

Die Ausgabequalität bewertet Details, Bewegung, Kameraführung, Prompt-Treue und bei Videos mit Ton auch das Audio. Im ursprünglichen Qualitäts- und Fähigkeitsscore entfallen 85% auf Qualität und 15% auf Fähigkeiten. Fehlende Qualitätsquellen werden ausgeschlossen und die übrigen innerhalb ihrer Gruppe neu gewichtet; ihr Anteil geht nie an Fähigkeiten. Ohne Qualitätsbelege besteht dieser ursprüngliche Score nur aus Fähigkeiten. Werkzeuge ohne Fähigkeitstabelle verwenden allein ausreichend geprüfte Qualität oder haben noch keinen Basisscore. Der Index kombiniert 70% dieses Basisscores mit 30% eines öffentlich belegbaren Freedom Scores. Ein verfügbarer Freedom Score von null zählt als null; fehlende oder unzureichende Freiheitsbelege lassen den Basisscore mit vorläufiger Kennzeichnung bestehen. Ohne Basis gibt es keinen Index, auch wenn Freiheit bewertet wurde. Vorläufige Werte erhalten weiterhin Ränge nach ihrem verfügbaren Index.

Warum wir öffentliche Ranglisten nutzen

Unsere eigene Arena ist noch jung, und eine Rangfolge aus ein paar Hundert Stimmen schwankt stark. Eine Fähigkeitstabelle sieht die Qualität der Ergebnisse überhaupt nicht. Öffentliche Ranglisten wie arena.ai, Artificial Analysis und Design Arena beruhen auf Hunderttausenden Blindstimmen von Menschen – deshalb verankern sie den Qualitätswert, neben unserem eigenen Blindtest und unserer Arena.

Öffentliche Ranglisten

Wir verwenden nur Einträge, die exakt zum Modell passen: gleicher Hersteller, gleiche Version, gleiche Stufe. Eine Fast-, Mini- oder Spicy-Variante übernimmt nie den Wert ihres Basismodells. Führt eine Rangliste mehrere Varianten desselben Modells, zählt nur die mit den meisten Stimmen. Jede Rangliste wird für sich umgerechnet, und der Wert des Modells ist der gewichtete Durchschnitt über alle Ranglisten, auf denen es steht.

Wert auf einer Rangliste = 50 + 40 × (Wertung − Median) ÷ (Spitzenreiter − Median), begrenzt auf 0–100. Der Spitzenreiter erhält 90, das Modell im Median 50.

Jeder Bericht führt jede verwendete Rangliste mit Link auf: den Namen, unter dem das Modell dort geführt wird, seine Wertung mit Intervall, seinen Rang, die Stimmenzahl und das Datum, an dem wir sie abgelesen haben.

Blindtest der Ergebnisse

Alle Modelle erhalten dieselben Prompts. Juroren von drei verschiedenen Modellherstellern bewerten jedes Ergebnis auf einer fest verankerten Skala von 1 bis 10, ohne zu sehen, welches Modell es erzeugt hat. Jedes Kriterium wird über alle Juroren und Prompts gemittelt und dann innerhalb des Tests gewichtet.

Wert eines Kriteriums = (Mittelwert − 1) ÷ 9 × 100 – aus 1 wird 0, aus 10 wird 100.

• Die Werte sind relativ zum jeweiligen Prompt: Jedes Ergebnis wird zuerst mit den Ergebnissen der anderen Modelle zum selben Prompt verglichen. So heben sich die Schwierigkeit eines Prompts und die Strenge seiner Juroren auf.
• Ein Kriterium wird erst veröffentlicht, wenn es mindestens 6 Prompts hat.
• Textdarstellung zählt nur, wenn der Test Prompts mit Text enthielt, Bearbeitungskonsistenz nur bei Modellen mit einem Bearbeitungs-Endpunkt und Audio nur bei Modellen, die Ton erzeugen. Ein Kriterium, das nicht zutrifft, fällt weg und die übrigen werden neu skaliert – kein Modell verliert dadurch Punkte.
• Audio umfasst Soundeffekte, Emotion und Lippensynchronität. Bewertet wird es von dem einen Juror, der hören kann, und der Bericht weist das aus.
• Berichte nennen die Zahl der Juroren je Kriterium, nie die Jurorenmodelle.
• Jeder Durchlauf des Blindtests wird mit öffentlichen Ranglisten aus menschlichen Stimmen abgeglichen. Passt eine Kategorie nicht dazu (Rangkorrelation unter 0,60 oder weniger als 8 Modelle auf beiden Seiten), zählt ihr Blindtest mit 10 % statt 35 % der Qualität, und die Berichte dieser Kategorie weisen darauf hin.
• Auf einer solchen Rangliste behält ein nur im Blindtest erfasstes Modell die Kennzeichnung „vorläufig“ und erhält einen Rang nach seinem aktuellen Index-Wert. Öffentliche Ranglisten- oder Arena-Belege stehen noch aus. Blindtests und Arena-Teilnahme sind Belegquellen, keine Rangvoraussetzungen.

Hilfstools

Tools wie Face-Swap, Head-Swap und Hintergrundentfernung werden von demselben Gremium aus drei unabhängigen Juroren beurteilt, anhand von Ergebnissen, die wir selbst erzeugt haben, statt gemeinsamer Prompts. Da jedes Tool von einer anderen Eingabe ausgeht, wird jedes Ergebnis für sich bewertet statt im Vergleich zu anderen beim selben Prompt.

Eine Dimension wird erst veröffentlicht, wenn sie mindestens 6 Stichproben hat. Manche Tools erreichen das vielleicht noch nicht.

Die Fähigkeiten werden Punkt für Punkt gegen eine öffentliche Idealspezifikation bewertet, auf Grundlage der Modellspezifikation auf SpicyAPI: Input-Schema, Spezifikationen und Parameterhinweise. Es zählt, was Sie über unsere API anfordern können; die Fähigkeiten machen 10,5% bei vollständiger Evidenz des Index aus. Bei der Auflösung gibt es ab nativem 1080p die volle Punktzahl, denn darüber gewinnt man kaum noch Details: 4K bringt keine Extrapunkte. Hochskalierte oder Super-Resolution-Stufen zählen nie als native Auflösung, und von uns selbst gesetzte Grenzen – etwa ein Anfragelimit über dem, was der Hersteller angibt – werden nicht bewertet. Eine Familie wird über die Gesamtheit ihrer Aufgaben bewertet.

Strukturierte Ausgabe bekommt ihre letzten 7 Punkte erst, wenn unsere Testreihe zum Befolgen von Anweisungen die Einhaltung des JSON-Schemas bestätigt. Modelle, die über unsere API keine Bilder annehmen, verlieren diese Punkte, auch wenn die App des Herstellers es kann.

Paarweise Blindabstimmungen angemeldeter Nutzer, ausgewertet mit einem Bradley-Terry-Modell und mit einem 95-%-Bootstrap-Intervall angegeben. Sie geht erst in den Index ein, wenn eine Familie mindestens 100 gültige Stimmen hat und das 95-%-Intervall schmaler als 200 Elo ist. Der Wert von 0–100 ist die erwartete Gewinnquote gegen ein festes Ankermodell je Rangliste (Anker = 50); der Anker ändert sich nur mit einer neuen Methodikversion. Bis dahin geht ihr Anteil an die übrigen Qualitätsquellen. Diese Dimension zählt nur unsere eigenen Stimmen; öffentliche Ranglisten sind eine eigene Dimension und werden Zeile für Zeile belegt. Die Startwertungen der Arena stammen aus öffentlichen Ranglisten menschlicher Präferenzen und werden nach und nach durch die Stimmen der Community ersetzt; der Startwert ist keine Stimme und fließt nie in diese Dimension ein. Auch anonyme Besucher können abstimmen. Ihre Stimmen landen in einem getrennten Bestand und fließen weder in die Wertung noch in eine öffentliche Stimmenzahl ein.

Vier Testreihen mit festen, versionierten Prompt-Sets, ausgeführt gegen dieselben Modellversionen, die wir auch ausliefern, mit Standardparametern. Drei LLM-Juroren von drei verschiedenen Herstellern – keiner vom Hersteller des getesteten Modells – sehen anonymisierte Ergebnisse in zufälliger Reihenfolge und bewerten nach den Beschreibungen unten. Wir veröffentlichen den Median der Juroren. Eine Testreihe zählt nur bei voller Stichprobe voll, ab halber Stichprobe mit 0,8 und darunter gar nicht. Eine Testreihe, die noch nicht die halbe Stichprobe erreicht hat, wird als ausstehend angezeigt.

Rollenspiel

30 Szenarien × 3 Stichproben. Jede Stichprobe wird in vier Kriterien mit 0 bis 4 bewertet; der Score ist 100 × der durchschnittliche Anteil an den 16 Punkten.

Kreatives Schreiben

20 Prompts × 2 Stichproben, genauso bewertet nach vier Kriterien: Erfüllung des Prompts, Originalität, Sprachqualität sowie Aufbau und Tempo.

Befolgen von Anweisungen

100 maschinell geprüfte Vorgaben: Format, Länge, geforderte oder verbotene Inhalte, JSON-Schema. Der Score ist 100 × die strenge Bestehensquote, ganz ohne Juroren. Dieselbe Testreihe bestätigt die Einhaltung des JSON-Schemas für die Fähigkeitstabelle.

Gedächtnis bei langem Kontext

Erinnerungs- und Zwei-Schritt-Fragen, bei denen die Belegstelle in unterschiedlicher Tiefe liegt.

Punkte = Punkte des Bereichs × Genauigkeit in diesem Bereich. Ein Bereich jenseits des vom Hersteller angegebenen Fensters zählt 0.

Der Freedom Score bleibt eine eigene Hauptkennzahl und fließt mit 30% in den Spicy Index ein, wenn die öffentliche Belegschwelle erfüllt ist. Er misst die nachweisliche Umsetzung entlang einer fünfstufigen Inhaltsleiter über denselben Weg wie Kundenanfragen, mit Standardeinstellungen. Fehlende Tests oder unzureichende Abdeckung zählen nicht als null: Der Index behält seine Qualitäts- und Fähigkeitsbasis und ist vorläufig.

Bewertungstabelle

Jeder Freedom Score steht mit den geprüften Testarten (sechs bei Bild und Video, wo die Maximalstufe als zwei zählt; fünf bei Sprachmodellen), der Zahl unabhängiger Läufe und der erreichbaren Spanne: vom heutigen Score bis zu dem Score, der sich ergäbe, wenn jede ungetestete Stufe bestünde und jede getestete Stufe mit ihrer aktuellen Bestehensquote durch drei Läufe bestätigt wäre. Ein Lauf, der aus fremden Gründen scheitert, etwa wegen eines Timeouts oder Ausfalls, wird wiederholt und nicht gezählt. Ein Ergebnis kann mehrere Stufen belegen und zählt dann auf jeder als ein Lauf.

Die unzensierte Rangliste rankt nur Modelle mit genug Belegen: mindestens drei geprüfte Testarten, darunter die Stufe Stark. Die übrigen stehen mit ihrer Spanne unter dem Ranking, aber ohne Rang.

Bei Sprachmodellen ist jeder Versuch ein Lauf. Eine Antwort, die die verlangte Stufe erreicht, zählt als umgesetzt, eine schwächere als abgeschwächt, eine Ablehnung als abgelehnt. Drei Rahmungen (Fortsetzen einer Geschichte, ein Plattform-Systemprompt, eine direkte Anfrage) werden zusammengefasst – ein Modell, das nur mit Rahmen schreibt, erreicht also weniger als eines, das auf direkte Anfrage schreibt.

Hilfstools wie Face-Swap und Head-Swap werden genauso bewertet: Eine Stufe zählt, sobald sie bestätigt ist, und eine unbestätigte Stufe zählt null, statt angenommen zu werden.

Was wir nie testen oder veröffentlichen

Kein Test betrifft Personen, die minderjährig wirken, das Aussehen realer Personen oder fehlende Einwilligung. Testausgaben und Testprompts werden nie veröffentlicht; Ergebnisse der Stufen Sehr stark und Maximal werden nur in Worten beschrieben. Jedes Bild auf einer Berichtsseite ist entweder ein bestehendes jugendfreies Modellbeispiel oder ein von einem Menschen geprüftes, gepixeltes Bild einer einzelnen Person.

Gemessen, nicht bewertet, und nie Teil eines Hauptscores.

• Zeiten umfassen unsere eigenen Testläufe; Erfolgsquoten zählen nur Kunden-Jobs.
• Jedes Konto zählt mit höchstens seinen 200 neuesten Jobs je Aufgabe – ein einzelner Vielnutzer kann also keinen öffentlichen Wert bestimmen.
• Stichprobengrößen werden in Bändern angegeben (30+, 100+, 1k+), nie als genaue Zahl.
• Die Werte decken das ganze Zeitfenster ab. Tagesverläufe veröffentlichen wir nicht.

Jede Familie hat einen eigenen Testbericht mit einem Anker für jede Dimension – jeder Score auf der Website lässt sich so bis zu seiner Herleitung anklicken. Jeder Bericht enthält:

• Testeinträge: Datum, Stufe, Modus (Aufgabe oder Rahmung), Anzahl der Läufe und Ergebnis, jeweils mit öffentlicher Belegnummer. Die Nummer ist ein verschlüsselter Code, über den wir den Eintrag intern zurückverfolgen können, und verrät sonst nichts über den Lauf.
• Herleitung des Scores: für jede Tabellenzeile der beobachtete Wert, die getroffene Zeile, die vergebenen Punkte und der Grund für jeden Abzug.
• Beispiele: nur jugendfreie Bilder oder Clips oder von einem Menschen geprüfte, gepixelte Bilder einer einzelnen Person. Ergebnisse der Stufen Sehr stark und Maximal nur als Text.
• Offene Punkte: ungetestete Stufen, Stufen mit weniger als drei Läufen und ausstehende Dimensionen.

Scores werden täglich neu berechnet sowie immer dann, wenn sich die Spezifikation eines Modells oder seine Testergebnisse ändern. Jeder Wert trägt das Datum seiner Quelle.

• Öffentliche Ranglisten erfassen zuerst die bekanntesten Modelle. Noch keine Qualitätsquelle hat Daten. Fähigkeiten bilden die Basis und werden mit verfügbarer Freiheit kombiniert; der Index bleibt vorläufig und wird weiterhin eingestuft. Die Freiheit wurde noch nicht oder nicht ausreichend getestet. Der Index behält den ursprünglichen Qualitäts- und Fähigkeitsscore, wird als vorläufig markiert und erhält weiterhin einen Rang. Fehlende Belege sind keine Null.
• Die Fähigkeiten spiegeln wider, was die SpicyAPI-API anbietet – das kann weniger oder mehr sein als in der App des Herstellers.
• Inhaltstests sind eine kleine Zahl fester Prüfungen pro Stufe zu einem bestimmten Datum. Modelle ändern sich nach Updates, deshalb trägt jeder Eintrag sein Testdatum, und die meisten Stufen brauchen noch weitere Läufe.
• Tempo und Zuverlässigkeit hängen davon ab, was unsere Nutzer gerade laufen lassen. Modelle mit wenig Traffic zeigen noch keinen Wert.

Ein Produkt zu bewerten, das wir selbst verkaufen, hat nur Wert, wenn sich der Ablauf nicht verbiegen lässt. Das sind die zehn Regeln, an die wir uns halten.

1. 1.Nur Tabelle und Testeinträge entscheiden über einen Score. Preis, Geschäftsbedingungen, Partnerschaften und Liefervereinbarungen spielen keine Rolle. Niemand ändert einen Score von Hand: Scores werden per Code aus den in jedem Bericht aufgeführten Eingaben erzeugt.
2. 2.Keine Sonderbehandlung für Eigenes. Unsere eigenen Hilfstools folgen denselben Freedom- und Qualitätsregeln wie alle anderen, ohne Ausnahme.
3. 3.Getestet wie beim Kunden. Tests laufen über die öffentliche SpicyAPI-API mit Standardeinstellungen, genau so, wie ein Kunde sie aufrufen würde. Ändert sich ein Modell hinter der API, werden die betroffenen Stufen neu getestet.
4. 4.Feste Ankerpunkte statt Platzierungen. Ein neues Modell ändert nie den Score eines anderen, und kein Modell bekommt 100, nur weil es vorn liegt.
5. 5.Alles ist datiert. Jeder Eintrag zeigt sein Testdatum, jeder Preis sein Katalogdatum.
6. 6.Reproduzierbar. Tests laufen über die öffentliche API mit Standardeinstellungen, und jeder Eintrag nennt Datum, Stufe, Aufgabe oder Rahmung, Zahl der Läufe und Ergebnis, sodass jedes Resultat am selben Modell erneut laufen kann. Die Testprompts selbst werden nicht veröffentlicht.
7. 7.Blinde Bewertung. Wo LLM-Juroren eingesetzt werden, stammen sie von anderen Herstellern, sehen keine Modellnamen, bekommen Ergebnisse in zufälliger Reihenfolge und bewerten nach öffentlichen Beschreibungen. Wo wir mit menschlichen Bewertungen vergleichen, veröffentlichen wir die Übereinstimmung.
8. 8.Kein selektives Veröffentlichen. Wird ein Messwert zurückgehalten – wie die Zuverlässigkeit im ersten Release –, dann für alle Familien.
9. 9.Versioniert. Jede Änderung an einer Tabelle, einem Gewicht, einem Anker oder einer Schwelle erhöht die Version. Scores verschiedener Versionen werden nie miteinander verglichen.
10. 10.Einspruch möglich. Jeder kann einen erneuten Test anfordern. Das Ergebnis wird neben dem ursprünglichen veröffentlicht.

Sechs feste Vorleseausschnitte von sechs Personen: 53,6 Sekunden und 146 Referenzwörter. Dieser kleine Diagnosetest bewertet weder Liedtexte noch verrauschte Sprache oder die allgemeine Transkriptionsleistung. Er fließt nicht in den Spicy Index ein.

Die Wortfehlerrate (WER) ist die Summe der Ersetzungen, Auslassungen und Einfügungen geteilt durch alle Referenzwörter. Großschreibung und Satzzeichen werden einheitlich normalisiert; Apostrophe innerhalb von Wörtern bleiben erhalten. Gezeigt werden nur vollständige Ergebnisse aus sechs Clips. Die WER kann über 100 % liegen.

Referenzkorpus: LibriSpeech test-clean (OpenSLR) von Vassil Panayotov, Guoguo Chen, Daniel Povey und Sanjeev Khudanpur, CC BY 4.0. Als Referenz dienen die veröffentlichten, zeitlich zugeordneten Transkripte; in dieser Runde erfolgte keine zusätzliche menschliche Transkription. Audio wurde verlustfrei von FLAC in WAV umgewandelt.

LibriSpeech · OpenSLR · CC BY 4.0

Sechs feste gemeinsame Dokumente mit je vier Fragen: Informationssuche, mehrstufiges Schlussfolgern, aktualisierte Fakten und fehlende Angaben. Der Wert verlangt richtige Antworten in strengem JSON und fließt nicht in den Spicy Index ein.

Alle Modelle erhalten dieselben Texte: 31.998 Referenztokens pro Dokument (o200k_base, tiktoken 0.14.0), mit einem Ausgabelimit von 4.096 Tokens. Codeblöcke gelten als Formatfehler, auch bei richtigen Antworten. Veröffentlicht werden nur sechs abgeschlossene Proben. Dies misst weder die maximale Kontextlänge noch die vollständige Langkontext-Testreihe.