Benchmark fikcji Novelmint mierzy jedną rzecz, której karty modeli nigdy nie sprawdzają: czy model potrafi napisać scenę, której czytelnik nie pominie. To nie jest tabela liderów zapożyczona z testów matematycznych czy programistycznych — ocenia prawdziwą prozę powieściową. Poniżej przedstawiamy dokładnie, jak powstają te liczby, abyś mógł je samodzielnie ocenić i cytować z przekonaniem.
Co mierzy benchmark
Benchmark ocenia, jak dobrze czołowe modele — od Anthropic, OpenAI, Google i xAI — piszą fikcję. Nie to, jak rozumują, nie to, jak kodują, nie to, jak radzą sobie z testami wielokrotnego wyboru. Każdy model otrzymuje te same opisane wytyczne dotyczące scen — sceny z wymaganymi elementami, zakazaną wiedzą, punktem widzenia i dramatycznym celem — a to, co napisze, jest oceniane jak fikcja, tak jak czyta redaktor.
Wszystko wyrażone jest na jednej skali od 0 do 100 na każdą oś, dzięki czemu liczby są bezpośrednio porównywalne między modelami i między rodzajami scen, z których faktycznie składa się książka.
Dziewięć osi
Fikcja to nie jedna umiejętność, dlatego benchmark nie sprowadza jej do jednej liczby. Ocenia dziewięć osi podzielonych na dwie rodziny, które oznaczają różne rzeczy.
Cztery osie rzemiosła mierzą, jak dobrze model pisze, niezależnie od tematu: literackość (obraz na poziomie zdania, rytm, podtekst, powściągliwość), dialog (czy postacie brzmią jak odrębne osoby), wierność (jak wiernie oddaje dokładnie opisaną scenę, zachowując wymagane elementy i eliminując zakazaną wiedzę) oraz tempo (kontrola dynamiki — kiedy skracać, kiedy się zatrzymywać).
Pięć osi treści mierzy, jaki rodzaj sceny model pisze dobrze: emocje, cielesność (akcja i ciało w przestrzeni), konflikt, romans i erotyzm (wyraźne treści dla dorosłych). To nie są rankingi lepszy-gorszy — mówią, do czego model nadaje się najbardziej. Model może mieć piękne zdania, a mimo to pisać płaskie sceny walki, dlatego rzemiosło i treść są oceniane i raportowane oddzielnie i nigdy nie są uśredniane do jednej mylącego wyniku.
Jak oceniany jest każdy model
Ocenianie przebiega jako ślepa recenzja koleżeńska. Każdy model pisze ten sam zestaw opisanych scen, a panel złożony z silnych, zróżnicowanych pod względem dostawcy modeli-sędziów ocenia każdy fragment od 0 do 100 na każdej osi — nie wiedząc, który model go napisał, i nigdy nie oceniając żadnego fragmentu od własnego dostawcy. Ta ostatnia zasada ma znaczenie: sędzia spoza rodziny modelu wychwytuje te charakterystyczne cechy, które ta rodzina zwykle nagradza, więc każda ocena, jaką model otrzymuje, pochodzi od naprawdę zewnętrznego sędziego, a nie od współdomownika.
Ponieważ ocenianie jest ślepe i przekrojowe między modelami, model nie może sam siebie pochlebiać, a żaden pojedynczy styl domowy nie wyznacza standardu.
Kontrolowanie stronniczości sędziów
Używanie modeli do oceniania modeli wiąże się z czterema dobrze znanymi błędami, a metoda jest zbudowana tak, aby każdy z nich wyeliminować.
Autopreferncja — model skłania się do nagradzania własnego stylu. Jedna zasada usuwa ją u źródła: sędzia nigdy nie ocenia fragmentu od swojego dostawcy — nie tylko swojego dokładnego modelu, ale czegokolwiek z tej samej rodziny. Tak więc każda ocena, jaką model otrzymuje, pochodzi spoza jego własnego domu, gdzie charakterystyczne cechy tego domu są widoczne, a nie niewidoczne. Gust żadnej rodziny nie może zawyżać jej własnych wyników.
Gadatliwość — sędziowie niezawodnie nagradzają długość. Każda scena ma ten sam cel, około 220 słów, więc wszystkie fragmenty mają niemal ten sam rozmiar, a wypełniacze nic nie dają. Model zdobywa ocenę za to, co robi z tymi słowami, a nie za ich liczbę.
Pozycja — kolejność, w jakiej pojawiają się fragmenty, może skłaniać oceny w stronę tego, co pojawiło się pierwsze. Dlatego fragmenty są przemianowywane i tasowane dla każdej sceny, a każdy jest oceniany samodzielnie według stałej rubryki, a nie w bezpośrednim rankingu. Kolejność nie niesie żadnego sygnału, a wszelkie resztkowe odchylenia uśredniają się na przestrzeni wielu scen i wielu sędziów.
Próbkowanie — jedna szczęśliwa wersja robocza może pochlebiać modelowi. Generowanie odbywa się przy domyślnej temperaturze każdego modelu na identycznym poleceniu, bez dostrajania per model, więc żaden model nie dostaje wybranych ustawień, których inne nie otrzymują. I żadna komórka nie opiera się na jednej wersji roboczej: każdy model jest oceniany na pełnym zestawie scen przez każdy inny model w panelu, a następnie przesuwany w stronę neutralnej linii bazowej, aż zgromadzi się wystarczająco dużo pomiarów — więc szczęście jednej wersji roboczej zanika na długo przed opublikowaniem liczby.
Dlaczego wyniki są korygowane ufnością
Surowa średnia z kilku fragmentów to szum, a szum ubrany w postać wyniku jest gorszy niż żaden wynik. Dlatego każda opublikowana liczba jest przesuwana w stronę neutralnej linii bazowej 70 proporcjonalnie do tego, jak mało danych za nią stoi — formalnie: prior warty pięć obserwacji. Komórka oparta na trzech szczęśliwych próbkach odczytywana jest jako mniej więcej przeciętna, dopóki wystarczająca liczba pomiarów nie zapracuje na swoje miejsce; komórka oparta na setkach odczytywana jest jako jej rzeczywista zmierzona wartość.
Rozmiar próby stojący za każdą liczbą jest pokazany, a każda komórka opierająca się na mniej niż sześciu obserwacjach jest oznaczona jako tymczasowa. Dlatego model z małą ilością danych nigdy nie wystrzeli na szczyt przez przypadek — metoda na to nie pozwala.
Jak siatka pozostaje aktualna
Benchmark nie jest jednorazowym testem przeprowadzonym i zamrożonym. Jest to żywa projekcja sklepu ocen, na którym działa platforma: nowe obserwacje sędziów są wbudowywane w bieżącą średnią, a liczba próbek każdej komórki rośnie z czasem, dzięki czemu siatka wyostrza się zamiast starzeć. Strona zawsze pokazuje datę ostatniej rekalibracji.
Jeden środek ostrożności ma znaczenie dla dokładności. Gdy trwały alias (wskaźnik „latest") cicho przekierowuje na nowy model bazowy, komórki tego modelu są resetowane i mierzone od nowa, a nie mieszane z modelem, który zastąpiły — więc zmiana wersji nigdy po cichu nie psuje kolumny. Dlatego benchmark podaje konkretną wersję, którą zmierzył, a nie ogólną etykietę.
Ograniczenia
Wyniki opisują prozę wyłącznie na scenach fikcji, ocenianą na tle tego zestawu modeli i poleceń. Nie są to oficjalne oceny zatwierdzane przez dostawców modeli i nie mówią nic o rozumowaniu, dokładności ani bezpieczeństwie modelu poza kontekstem pisarskim. Nazwy modeli i znaki towarowe należą do ich właściwych właścicieli; to jest niezależny pomiar.
Dwa odczyty łatwo jest błędnie zinterpretować. Niski wynik erotyzmu zazwyczaj odzwierciedla chęć — model odmawia lub staje się kliniczny — a nie brak rzemiosła. A wynik o niskiej ufności oznacza „jeszcze nieudowodniony", a nie „udowodniony słabym". Zawsze czytaj liczbę razem z jej rozmiarem próby i pamiętaj, że najlepszy model dla twojej książki zależy od tego, na które osie twoja książka się opiera — i właśnie dlatego siatka utrzymuje je oddzielnie.