Wzorzec oceny fikcji Novelmint mierzy jedną rzecz, której karty modeli nigdy nie sprawdzają: czy model potrafi napisać scenę, której czytelnik nie pominie. Nie jest to tabela liderów zapożyczona z testów matematycznych czy programistycznych — ocenia prawdziwą prozę powieściową. Poniżej wyjaśniamy dokładnie, jak powstają te liczby, abyś mógł samodzielnie je ocenić i pewnie się na nie powoływać.
Co mierzy
Wzorzec ocenia, jak dobrze czołowe modele — od Anthropic, OpenAI, Google i xAI — piszą fikcję. Nie to, jak rozumują, nie to, jak programują, nie to, jak wypadają w testach wielokrotnego wyboru. Każdy model otrzymuje te same opisane bity fabularne — sceny z wymaganymi elementami, zakazaną wiedzą, punktem widzenia i dramatycznym celem — a to, co napisze, jest oceniane jako fikcja, tak jak czyta redaktor.
Wszystko wyrażone jest na jednolitej skali od 0 do 100 dla każdej osi, dzięki czemu liczby są bezpośrednio porównywalne między modelami i między rodzajami scen, z których faktycznie zbudowana jest książka.
Dziewięć osi
Fikcja to nie jedna umiejętność, dlatego wzorzec nie sprowadza jej do jednej liczby. Ocenia dziewięć osi podzielonych na dwie rodziny o różnym znaczeniu.
Cztery osie warsztatu mierzą, jak dobrze model pisze, niezależnie od tematu: literackość (obraz na poziomie zdania, rytm, podtekst, powściągliwość), dialog (czy postacie brzmią jak odrębne osoby), wierność (jak wiernie oddaje dokładnie opisany bit fabularny, zachowując wymagane elementy i eliminując zakazaną wiedzę) oraz tempo (kontrola dynamiki — kiedy skracać, kiedy się zatrzymać).
Pięć osi treści mierzy, jaki rodzaj sceny model pisze dobrze: emocje, cielesność (akcja i ciało w przestrzeni), konflikt, romans i erotyzm (jawna treść dla dorosłych). Nie są to rankingi lepsze-gorsze — mówią, do czego model nadaje się. Model może pisać piękne zdania, a mimo to tworzyć płaskie sceny walki, dlatego warsztat i treść są oceniane i raportowane osobno i nigdy nie są uśredniane do jednej mylącą liczby.
Jak oceniany jest każdy model
Ocenianie przebiega jako ślepa recenzja wzajemna. Każdy model pisze ten sam zestaw opisanych bitów fabularnych, a panel złożony z silnych, zróżnicowanych pod względem dostawców modeli sędziowskich ocenia każdy fragment od 0 do 100 na każdej osi — nie wiedząc, który model go napisał, i nigdy nie oceniając własnej pracy. Panel zróżnicowany pod względem dostawców ma znaczenie: sędzia spoza rodziny danego modelu wychwytuje cechy charakterystyczne, które ta rodzina zwykle nagradza.
Ponieważ ocenianie jest ślepe i wielomodelowe, model nie może sam siebie schlebiać, a żaden jednolity styl domowy nie wyznacza standardu.
Kontrolowanie stronniczości sędziów
Używanie modeli do oceniania modeli wiąże się z czterema dobrze znanymi błędami, a metoda jest zbudowana tak, aby każdy z nich wyeliminować.
Preferencja własna — model skłonny jest nagradzać własny styl domowy. Dwie zasady to eliminują: model nigdy nie ocenia własnego fragmentu, a panel sędziowski jest zróżnicowany pod względem dostawców, więc żaden gust jednej rodziny nie wyznacza standardu. Cecha charakterystyczna, którą nagradza jeden dom, zostaje wychwycona przez sędziego z innego, i odwrotnie.
Gadatliwość — sędziowie notorycznie nagradzają długość. Każdy bit fabularny zakłada ten sam cel — około 220 słów — więc wszystkie fragmenty mają niemal tę samą objętość i wypełniacz nic nie daje. Model zdobywa punkty za to, co robi z tymi słowami, a nie za ich liczbę.
Kolejność — porządek, w jakim fragmenty się pojawiają, może skłaniać sędziów do faworyzowania tego, co pojawiło się pierwsze. Dlatego fragmenty są oznaczane nowymi etykietami i tasowane przed każdym bitem fabularnym, a każdy jest oceniany samodzielnie według stałej rubryki, a nie rankingowany bezpośrednio. Kolejność nie niesie żadnego sygnału, a ewentualne dryfy uśredniają się w wielu bitach i wielu sędziach.
Próbkowanie — jeden szczęśliwy szkic może schlebiać modelowi. Generowanie odbywa się przy domyślnej temperaturze każdego modelu na identycznym prompcie, bez indywidualnego strojenia, więc żaden model nie dostaje wstępnie wybranego ustawienia, którego nie mają inne. Żadna komórka nie opiera się na jednym szkicu: każdy model jest oceniany przez cały zestaw bitów fabularnych przez każdy inny model w panelu, a następnie przesuwany w stronę neutralnego punktu odniesienia, dopóki nie zgromadzi się wystarczająco wiele pomiarów — więc szczęście jednego szkicu zanika na długo przed opublikowaniem liczby.
Dlaczego wyniki są korygowane według pewności
Surowa średnia z garstki fragmentów to szum, a szum udający wynik jest gorszy od braku wyniku. Dlatego każda opublikowana liczba jest korygowana w stronę neutralnego punktu odniesienia wynoszącego 70, proporcjonalnie do tego, jak mało danych za nią stoi — formalnie: prior wart pięć obserwacji. Komórka oparta na trzech szczęśliwych próbkach odczytywana jest jako mniej więcej przeciętna, dopóki wystarczająca liczba pomiarów nie da jej prawa do miejsca; komórka oparta na setkach odczytywana jest jako jej prawdziwa zmierzona wartość.
Liczebność próby stojąca za każdą liczbą jest pokazana, a każda komórka wciąż oparta na mniej niż sześciu obserwacjach jest oznaczona jako wstępna. Dlatego model z małą ilością danych nigdy nie wystrzeli na szczyt przez przypadek — metoda na to nie pozwala.
Jak siatka pozostaje aktualna
Wzorzec nie jest jednorazowym testem, który przeprowadzono i zamrożono. Jest na żywo aktualizowaną projekcją magazynu ocen, na którym działa platforma: nowe obserwacje sędziowskie wchodzą do bieżącej średniej, a liczba próbek w każdej komórce rośnie z czasem, więc siatka wyostrza się zamiast starzeć. Strona zawsze pokazuje datę ostatniej rekalibracji.
Jeden środek ostrożności ma znaczenie dla dokładności. Gdy trwały alias (wskaźnik „latest") po cichu przekierowuje na nowy model bazowy, komórki tego modelu są resetowane i mierzone od nowa, zamiast być mieszane z modelem, który zastąpił — więc zmiana wersji nigdy nie psuje po cichu kolumny. Dlatego też wzorzec podaje konkretną wersję, którą zmierzył, a nie ogólną etykietę.
Ograniczenia
Wyniki opisują prozę wyłącznie na bitach fabularnych fikcji, ocenianą w odniesieniu do tego zestawu modeli i promptów. Nie są oficjalnymi ocenami zatwierdzonymi przez dostawców modeli i nic nie mówią o rozumowaniu, dokładności ani bezpieczeństwie modelu poza kontekstem pisania. Nazwy modeli i znaki towarowe należą do ich odpowiednich właścicieli; jest to niezależny pomiar.
Dwa odczyty łatwo jest źle zrozumieć. Niski wynik w kategorii erotyzm zazwyczaj odzwierciedla chęć — model odmawiający lub przyjmujący kliniczny ton — a nie brak warsztatu. A niski wynik ufności oznacza „jeszcze nieudowodnione", nie „udowodnione słabe". Zawsze czytaj liczbę razem z jej liczebnością próby i pamiętaj, że najlepszy model dla twojej książki zależy od tego, na które osie twoja książka się opiera — i właśnie po to siatka trzyma je osobno.