Jak oceniamy modele AI

Dwie główne oceny, każda z własnym rankingiem, oraz trzy pomiary dla każdej rodziny modeli.

Jak czytać ocenę

Każda liczba jest wyliczana z opublikowanej tabeli względem stałych punktów odniesienia. 100 oznacza sufit tego, co oferuje branża, w pełni zweryfikowany. Nie znaczy „najlepszy w naszym katalogu”: żaden model nie dostaje 100 za to, że wyprzedza innych.

Spicy Index łączy 70% jakości i możliwości z 30% Freedom Score z dostatecznymi dowodami do publikacji. Przy pełnych dowodach: 59,5% jakości, 10,5% możliwości i 30% swobody. Cena i szybkość pozostają osobne.

Spicy Index = 70% jakości i możliwości + 30% Freedom. Przy pełnych dowodach: 59,5% jakości + 10,5% możliwości + 30% Freedom.

W pierwotnym wyniku jakości i możliwości jakość ma wagę 85%, a możliwości 15%. Źródła jakości bez danych są pomijane, a pozostałe przeliczane wewnątrz grupy; ich waga nigdy nie przechodzi na możliwości. Bez dowodów jakości ten pierwotny wynik wykorzystuje wyłącznie możliwości. Narzędzia bez tabeli możliwości używają samej dostatecznie sprawdzonej jakości albo nie mają jeszcze wyniku bazowego. Index łączy 70% tej bazy z 30% Freedom Score spełniającego próg publikacji. Dostępny Freedom Score równy zero liczy się jako zero; brakujące lub niewystarczające dowody swobody zachowują bazę z oznaczeniem wstępnym. Bez bazy nie ma Index, nawet jeśli swoboda została oceniona. Wyniki wstępne nadal zajmują miejsca według dostępnego Index.

Obecnie ocena jakości obrazów i wideo pochodzi z publicznych rankingów i naszego testu wyników na ślepo, a modeli językowych – z publicznych rankingów i naszych zestawów testów. Nasza arena dołącza przy każdym modelu, gdy tylko zbierze on dość głosów.

Jakość wyniku ocenia szczegóły, ruch, pracę kamery, wierność promptowi, a w wideo z dźwiękiem także audio. W pierwotnym wyniku jakości i możliwości jakość ma wagę 85%, a możliwości 15%. Źródła jakości bez danych są pomijane, a pozostałe przeliczane wewnątrz grupy; ich waga nigdy nie przechodzi na możliwości. Bez dowodów jakości ten pierwotny wynik wykorzystuje wyłącznie możliwości. Narzędzia bez tabeli możliwości używają samej dostatecznie sprawdzonej jakości albo nie mają jeszcze wyniku bazowego. Index łączy 70% tej bazy z 30% Freedom Score spełniającego próg publikacji. Dostępny Freedom Score równy zero liczy się jako zero; brakujące lub niewystarczające dowody swobody zachowują bazę z oznaczeniem wstępnym. Bez bazy nie ma Index, nawet jeśli swoboda została oceniona. Wyniki wstępne nadal zajmują miejsca według dostępnego Index.

Dlaczego korzystamy z publicznych rankingów

Nasza arena jest jeszcze młoda, a ranking z kilkuset głosów mocno szumi. Tabela możliwości w ogóle nie widzi jakości wyniku. Publiczne rankingi, takie jak arena.ai, Artificial Analysis i Design Arena, opierają się na setkach tysięcy głosów ludzi oddanych na ślepo, więc stanowią punkt odniesienia dla oceny jakości, obok naszego testu na ślepo i areny.

Publiczne rankingi

Bierzemy tylko wpis, który dokładnie odpowiada modelowi: ten sam twórca, ta sama wersja, ten sam poziom. Wariant Fast, Mini czy Spicy nigdy nie przejmuje oceny modelu bazowego. Gdy ranking wymienia kilka wariantów tego samego modelu, liczy się tylko ten z największą liczbą głosów. Każdy ranking jest przeliczany osobno, a ocena modelu to średnia ważona z rankingów, w których się pojawia.

Ocena w jednym rankingu = 50 + 40 × (wynik − mediana) ÷ (lider − mediana), w granicach 0–100. Lider dostaje 90, a model w medianie 50.

Każdy raport wymienia wszystkie użyte rankingi z linkiem: nazwę, pod którą model tam figuruje, jego wynik i przedział, miejsce, liczbę głosów i datę odczytu.

Test wyników na ślepo

Wszystkie modele dostają te same prompty. Oceniający od trzech różnych twórców modeli wystawiają każdemu wynikowi od 1 do 10 na skali z ustalonymi punktami odniesienia, nie wiedząc, który model go stworzył. Każde kryterium to średnia ze wszystkich oceniających i promptów, ważona potem w obrębie testu.

Ocena kryterium = (średnia − 1) ÷ 9 × 100, więc 1 daje 0, a 10 daje 100.

• Punktacja jest względna w obrębie promptu: każdy wynik jest najpierw porównywany z wynikami innych modeli dla tego samego promptu, więc trudność promptu i surowość oceniających się znoszą.
• Kryterium jest publikowane dopiero wtedy, gdy ma co najmniej 6 promptów.
• Renderowanie tekstu liczy się tylko wtedy, gdy test zawierał prompty z tekstem, spójność edycji tylko w modelach z endpointem edycji, a audio tylko w modelach, które generują dźwięk. Kryterium, które nie ma zastosowania, jest pomijane, a reszta przeliczana, więc żaden model nie traci przez to punktów.
• Audio obejmuje efekty dźwiękowe, emocje i synchronizację ruchu ust. Ocenia je jedyny oceniający, który potrafi słuchać, i raport to podaje.
• Raporty podają liczbę oceniających dla każdego kryterium, nigdy modele oceniające.
• Każda runda testu na ślepo jest zestawiana z publicznymi rankingami opartymi na głosach ludzi. Jeśli w jakiejś kategorii wyniki się nie zgadzają (korelacja rang poniżej 0,60 albo mniej niż 8 modeli obecnych w obu), test na ślepo tej kategorii liczy się jako 10% jakości zamiast 35%, a raporty z tej kategorii o tym informują.
• W takim rankingu model objęty tylko naszym testem w ciemno zachowuje oznaczenie wstępne i otrzymuje miejsce według aktualnego wyniku Index. Dane z publicznych rankingów lub areny wciąż są oczekiwane. Testy w ciemno i udział w arenie są źródłami dowodów, a nie warunkami uzyskania miejsca.

Narzędzia użytkowe

Narzędzia takie jak zamiana twarzy, zamiana głowy i usuwanie tła ocenia ten sam zespół trzech niezależnych oceniających, na podstawie wyników, które sami stworzyliśmy, a nie wspólnych promptów. Ponieważ każde narzędzie zaczyna od innych danych wejściowych, każdy wynik jest oceniany osobno, a nie porównywany z innymi przy tym samym prompcie.

Wymiar jest publikowany dopiero, gdy ma co najmniej 6 próbek. Niektóre narzędzia mogą jeszcze nie osiągać tego progu.

Możliwości oceniamy pozycja po pozycji względem jawnej, idealnej specyfikacji, na podstawie specyfikacji modelu w SpicyAPI: schematu wejścia, danych technicznych i opisów parametrów. Liczy się to, o co możesz poprosić przez nasze API, a możliwości to 10,5% przy pełnych dowodach Index. Za rozdzielczość pełną liczbę punktów daje już natywne 1080p, bo powyżej zysk w szczegółach jest niewielki: 4K nic nie dodaje. Poziomy uzyskane przez upscaling lub superrozdzielczość nigdy nie liczą się jako natywna rozdzielczość, a limity ustawione przez nas, np. pułap żądania wyższy niż publikuje twórca, nie są oceniane. Rodzina jest oceniana na podstawie wszystkich swoich zadań łącznie.

Ostatnie 7 punktów za ustrukturyzowane wyjście przyznajemy dopiero, gdy nasz zestaw testów wykonywania instrukcji potwierdzi zgodność ze schematem JSON. Modele, które w naszym API nie przyjmują obrazów, tracą te punkty, nawet jeśli aplikacja twórcy je przyjmuje.

Głosy zalogowanych osób w porównaniach parami na ślepo, dopasowane modelem Bradleya–Terry’ego i podawane z przedziałem bootstrap 95%. Do Index wchodzą dopiero, gdy rodzina ma co najmniej 100 ważnych głosów i przedział 95% węższy niż 200 Elo. Wartość 0–100 to oczekiwany odsetek wygranych ze stałym modelem odniesienia w każdym rankingu (odniesienie = 50), który zmienia się tylko razem z wersją metodologii. Do tego czasu jej waga przechodzi na pozostałe źródła jakości. Ten wymiar liczy tylko nasze własne głosy; publiczne rankingi to osobny wymiar, cytowany wiersz po wierszu. Początkowe oceny areny pochodzą z publicznych rankingów ludzkich preferencji, a w miarę napływu głosów społeczności są przez nie zastępowane; ten punkt wyjścia nie jest głosem i nigdy nie trafia do tego wymiaru. Głosować mogą też anonimowi odwiedzający. Ich głosy trafiają do osobnego rejestru i nigdy nie wchodzą ani do ocen, ani do publicznych liczników.

Cztery zestawy ze stałymi, wersjonowanymi promptami, uruchamiane na tych samych wersjach modeli, które udostępniamy, z domyślnymi parametrami. Trzy LLM-y w roli sędziów od trzech różnych twórców – nigdy od twórcy testowanego modelu – widzą zanonimizowane wyniki w losowej kolejności i oceniają je według opisów poniżej. Publikujemy medianę ocen sędziów. Zestaw liczy się w pełni tylko przy pełnej próbie, z wagą 0,8 od połowy próby, a poniżej nie jest publikowany. Zestaw, który nie osiągnął jeszcze połowy próby, jest oznaczany jako oczekujący.

Roleplay

30 scenariuszy × 3 próbki. Każda próbka dostaje od 0 do 4 punktów w czterech kryteriach, a wynik to 100 × średni udział z 16 punktów.

Pisanie kreatywne

20 promptów × 2 próbki, oceniane tak samo w czterech kryteriach: realizacja promptu, oryginalność, jakość prozy oraz struktura i tempo.

Wykonywanie instrukcji

100 ograniczeń sprawdzanych automatycznie: format, długość, treść wymagana lub zakazana, schemat JSON. Wynik to 100 × ścisły odsetek zaliczeń, bez sędziów. Ten sam zestaw potwierdza zgodność ze schematem JSON na potrzeby tabeli możliwości.

Pamięć w długim kontekście

Pytania o przypomnienie i pytania dwuetapowe, z informacjami ukrytymi na różnej głębokości.

Punkty = punkty przedziału × trafność w tym przedziale. Przedział powyżej opublikowanego okna modelu daje 0.

Freedom Score pozostaje osobnym głównym wynikiem i wnosi 30% do Spicy Index, gdy spełnia publiczny próg dowodów. Mierzy potwierdzone wykonanie na pięciostopniowej skali treści, tą samą drogą co żądania klientów i przy ustawieniach domyślnych. Brak testów lub niewystarczające pokrycie nie liczą się jako zero: Index zachowuje bazę jakości i możliwości oraz oznaczenie wstępne.

Tabela ocen

Każdy Freedom Score pokazujemy wraz z przetestowanymi typami testów (sześć dla obrazów i wideo, gdzie poziom Maksymalny liczy się podwójnie; pięć dla modeli językowych), liczbą niezależnych przebiegów i zakresem, jaki może osiągnąć: od dzisiejszego wyniku do wyniku, gdyby każdy nieprzetestowany poziom zaliczono, a każdy przetestowany potwierdzono trzema przebiegami przy obecnym odsetku zaliczeń. Przebieg, który nie powiódł się z niezwiązanego powodu, np. przekroczenia czasu lub awarii, jest powtarzany i nie jest liczony. Jeden wynik może potwierdzić więcej niż jeden poziom – wtedy liczy się jako jeden przebieg dla każdego z nich.

Ranking bez cenzury klasyfikuje tylko modele z wystarczającą liczbą dowodów: co najmniej trzy typy testów, w tym poziom Silny. Pozostałe są wymienione pod rankingiem z zakresem wyniku, ale bez miejsca.

W modelach językowych każda próba to jeden przebieg. Odpowiedź, która osiąga żądany poziom, liczy się jako wygenerowana, łagodniejsza – jako złagodzona, a odmowa – jako odrzucona. Trzy ramy (kontynuacja fikcji, prompt systemowy platformy, bezpośrednia prośba) są sumowane, więc model, który pisze tylko w ramie, dostaje mniej niż ten, który pisze na bezpośrednią prośbę.

Narzędzia takie jak zamiana twarzy czy głowy są oceniane tak samo: poziom liczy się, gdy zostanie potwierdzony, a niepotwierdzony poziom daje zero zamiast być zakładanym.

Czego nigdy nie testujemy ani nie publikujemy

Żaden test nie dotyczy osób wyglądających na niepełnoletnie, wizerunku prawdziwej osoby ani braku zgody. Wyniki i prompty testowe nigdy nie są publikowane, a wyniki na poziomach Bardzo silny i Maksymalny podajemy tylko słowami. Każdy obraz na stronie raportu to istniejący przykład modelu bezpiecznego do oglądania w pracy albo spikselowany obraz jednej osoby, sprawdzony przez człowieka.

Mierzone, nie oceniane, i nigdy nie wchodzą do żadnej z dwóch głównych ocen.

• Czasy obejmują nasze przebiegi testowe; odsetek sukcesów liczymy tylko z zadań klientów.
• Każde konto liczy się najwyżej 200 ostatnimi zadaniami na zadanie, żeby jeden intensywny użytkownik nie decydował o publicznej liczbie.
• Wielkość próby pokazujemy w przedziałach (30+, 100+, 1k+), nigdy dokładnie.
• Liczby obejmują cały okres. Nie publikujemy wykresów dzień po dniu.

Każda rodzina ma własny raport z testów z kotwicą dla każdego wymiaru, więc każdą ocenę na stronie da się kliknąć aż do wyliczenia. Każdy raport zawiera:

• Zapisy testów: data, poziom, tryb (zadanie lub rama), liczba przebiegów i wynik, każdy z publicznym numerem dowodu. Ten numer to kod z kluczem, który pozwala nam odnaleźć zapis wewnętrznie i nie zdradza nic więcej o przebiegu.
• Wyliczenie oceny: dla każdego wiersza tabeli zaobserwowana wartość, dopasowany wiersz, przyznane punkty i powód ewentualnego potrącenia.
• Przykłady: wyłącznie obrazy lub klipy bezpieczne do oglądania w pracy albo spikselowane obrazy jednej osoby sprawdzone przez człowieka. Wyniki na poziomach Bardzo silny i Maksymalny są tylko tekstem.
• Otwarte kwestie: nieprzetestowane poziomy, poziomy z mniej niż trzema przebiegami i oczekujące wymiary.

Oceny są przeliczane codziennie i przy każdej zmianie specyfikacji modelu lub wyników testów. Każda wartość ma datę swojego źródła.

• Publiczne rankingi obejmują najpierw najbardziej znane modele. Żadne źródło jakości nie ma jeszcze danych. Możliwości tworzą bazę połączoną z dostępną swobodą; Index jest wstępny i nadal klasyfikowany. Swoboda nie została zbadana lub dowody są niewystarczające. Index zachowuje pierwotny wynik jakości i możliwości, otrzymuje oznaczenie wstępne i nadal zajmuje miejsce. Brak dowodów nie oznacza zera.
• Możliwości odzwierciedlają to, co udostępnia API SpicyAPI, a to może być węższe lub szersze niż w aplikacji samego twórcy.
• Testy treści to niewielka liczba stałych testów na poziom w konkretnym dniu. Modele zmieniają się po aktualizacjach, więc każdy zapis ma datę testu, a większość poziomów wciąż potrzebuje kolejnych przebiegów.
• Szybkość i niezawodność zależą od tego, co uruchamiają nasi użytkownicy. Modele z małym ruchem nie mają jeszcze wartości.

Ocenianie produktu, który sprzedajemy, ma sens tylko wtedy, gdy procesu nie da się nagiąć. Oto dziesięć zasad, których się trzymamy.

1. 1.O ocenie decydują tylko tabela i zapisy testów. Cena, warunki handlowe, partnerstwa i umowy dostaw nie odgrywają żadnej roli. Nikt nie poprawia ocen ręcznie: generuje je kod na podstawie danych wymienionych w każdym raporcie.
2. 2.Żadnego specjalnego traktowania tego, co sprzedajemy pod własną nazwą. Nasze własne narzędzia podlegają tym samym zasadom Freedom i jakości co wszystko inne, bez wyjątku.
3. 3.Testujemy tak, jak wywołują klienci. Testy przechodzą przez publiczne API SpicyAPI z ustawieniami domyślnymi, dokładnie tak, jak wywołałby je klient. Gdy model za API się zmienia, dotknięte poziomy testujemy ponownie.
4. 4.Stałe punkty odniesienia, a nie względne miejsca. Dodanie modelu nigdy nie zmienia oceny innego i żaden model nie dostaje 100 za pierwsze miejsce.
5. 5.Wszystko ma datę. Każdy zapis pokazuje datę testu, a każda cena datę katalogu.
6. 6.Powtarzalne. Testy działają przez publiczne API z domyślnymi ustawieniami, a każdy wpis podaje datę, poziom, zadanie lub ujęcie, liczbę przebiegów i wynik, dzięki czemu każdy wynik można powtórzyć na tym samym modelu. Same prompty testowe nie są publikowane.
7. 7.Ocena na ślepo. Jeśli sędziami są LLM-y, pochodzą od innych twórców, nie widzą nazw modeli, dostają wyniki w losowej kolejności i oceniają według jawnych opisów. Tam, gdzie porównujemy z ocenami ludzi, publikujemy zgodność.
8. 8.Bez wybiórczego publikowania. Jeśli jakiś pomiar jest wstrzymany – jak niezawodność w pierwszej wersji – jest wstrzymany dla wszystkich rodzin.
9. 9.Wersjonowane. Każda zmiana tabeli, wagi, punktu odniesienia lub progu podnosi wersję. Ocen z różnych wersji nigdy nie porównujemy.
10. 10.Odwołania. Każdy może poprosić o ponowny test. Wynik publikujemy obok oryginału.

Sześć ustalonych fragmentów czytanych przez sześć osób: 53,6 sekundy i 146 słów odniesienia. Ten niewielki test nie ocenia tekstów piosenek, mowy w hałasie ani ogólnej jakości transkrypcji. Nie wlicza się do Spicy Index.

Współczynnik błędów słów (WER) to suma zamian, pominięć i wstawień podzielona przez liczbę słów odniesienia. Wielkość liter i interpunkcja są normalizowane jednakowo; apostrofy wewnątrz słów pozostają. Pokazujemy tylko kompletne wyniki sześciu nagrań. WER może przekroczyć 100%.

Korpus odniesienia: LibriSpeech test-clean (OpenSLR), autorzy: Vassil Panayotov, Guoguo Chen, Daniel Povey i Sanjeev Khudanpur, CC BY 4.0. Wykorzystujemy opublikowane, dopasowane transkrypcje; w tej rundzie nie wykonano dodatkowej niezależnej transkrypcji ręcznej. Dźwięk przekonwertowano bezstratnie z FLAC do WAV.

LibriSpeech · OpenSLR · CC BY 4.0

Sześć stałych wspólnych dokumentów, po cztery pytania: wyszukiwanie, rozumowanie wieloetapowe, aktualizacje faktów i brakujące informacje. Punkty wymagają poprawnych odpowiedzi w ścisłym JSON i nie wchodzą do Spicy Index.

Wszystkie modele otrzymują te same teksty: 31 998 tokenów referencyjnych na dokument (o200k_base, tiktoken 0.14.0), z limitem wyjścia 4096 tokenów. Bloki kodu liczą się jako błędy formatu, nawet przy poprawnych odpowiedziach. Publikujemy tylko sześć ukończonych prób. Test nie mierzy maksymalnego kontekstu ani pełnego zestawu zdolności długiego kontekstu.