De Novelmint-fictionbenchmark meet het enige wat modelkaarten nooit doen: of een model een scène kan schrijven die een lezer niet zou overslaan. Het is geen scorebord dat is overgenomen van wiskunde- of codetests — het beoordeelt echte romanproza. Hier staat precies hoe de cijfers tot stand komen, zodat je ze zelf kunt afwegen en met vertrouwen kunt aanhalen.
Wat het meet
De benchmark beoordeelt hoe goed de grensverleggende modellen — van Anthropic, OpenAI, Google en xAI — fictie schrijven. Niet hoe ze redeneren, niet hoe ze coderen, niet hoe ze presteren op meerkeuzevragen. Elk model krijgt dezelfde uitgeschreven romanmomenten — scènes met verplichte elementen, verboden kennis, een gezichtspunt en een dramatisch doel — en wat het schrijft wordt beoordeeld als fictie, zoals een redacteur leest.
Alles wordt uitgedrukt op een enkele schaal van 0–100 per as, zodat de cijfers direct vergelijkbaar zijn tussen modellen en tussen de soorten scènes waaruit een boek daadwerkelijk is opgebouwd.
De negen assen
Fictie is niet één vaardigheid, dus de benchmark vouwt het niet samen tot één cijfer. Hij beoordeelt negen assen, verdeeld over twee families die elk iets anders betekenen.
De vier ambacht-assen meten hoe goed een model schrijft, onafhankelijk van het onderwerp: literair (beeld op zinsniveau, ritme, subtekst, terughoudendheid), dialoog (of personages klinken als afzonderlijke mensen), getrouwheid (hoe nauwkeurig het het uitgeschreven moment weergeeft, met de verplichte elementen erin en de verboden kennis eruit), en tempo (controle over de vaart — wanneer te comprimeren, wanneer te verwijlen).
De vijf inhoud-assen meten voor welk soort scène een model goed schrijft: emotie, fysicaliteit (actie en het lichaam in de ruimte), conflict, romantiek en erotiek (expliciet volwassenenmateriaal). Dit zijn geen beter-of-slechter-rangschikkingen — ze geven aan waarvoor een model geschikt is. Een model kan prachtige zinnen hebben en toch vlakke vechtscènes schrijven, en dat is waarom ambacht en inhoud afzonderlijk worden gescoord en gerapporteerd en nooit worden gemiddeld tot één misleidend cijfer.
Hoe elk model wordt gescoord
Scoring is blinde collegiale toetsing. Elk model schrijft dezelfde set uitgeschreven momenten, en een panel van sterke, provideronafhankelijke rechtermodellen beoordeelt elk fragment van 0–100 op elke as — zonder te weten welk model het heeft geschreven, en zonder ooit een fragment van zijn eigen provider te beoordelen. Die laatste regel is belangrijk: een rechter van buiten de eigen modelsfamilie herkent de kenmerken die die familie doorgaans beloont, zodat elk cijfer dat een model ontvangt afkomstig is van een werkelijk externe rechter, niet een huisgenoot.
Omdat de beoordeling blind en modeloverstijgend is, kan een model zichzelf niet vlijen, en bepaalt geen enkel huisstijl de standaard.
Corrigeren voor rechtersbias
Modellen gebruiken om modellen te beoordelen nodigt vier bekende faalopties uit, en de methode is gebouwd om elk ervan te sluiten.
Zelfvoorkeur — een model heeft de neiging zijn eigen huisstijl te belonen. Één regel verwijdert dit aan de wortel: een rechter scoort nooit een fragment van zijn eigen provider — niet alleen zijn eigen exacte model, maar alles uit dezelfde familie. Dus elk cijfer dat een model ontvangt, komt van buiten zijn eigen huis, waar de kenmerken van dat huis zichtbaar zijn in plaats van onzichtbaar. De smaak van geen enkele familie kan zijn eigen cijfers opblazen.
Breedsprakigheid — rechters belonen lengte betrouwbaar te veel. Elk moment heeft hetzelfde doel voor ogen, ongeveer 220 woorden, zodat alle fragmenten op bijna dezelfde omvang aankomen en opvulling niets oplevert. Een model verdient zijn score op wat het met die woorden doet, niet op hoeveel het er aan besteedt.
Volgorde — de volgorde waarin fragmenten verschijnen kan scores beïnvloeden in de richting van wat het eerst kwam. Daarom worden fragmenten voor elk moment opnieuw gelabeld en geschud, en elk fragment wordt op zichzelf beoordeeld aan de hand van een vaste rubriek in plaats van hoofd-aan-hoofd gerangschikt. Volgorde draagt geen signaal, en eventuele resterende afwijkingen middelen uit over veel momenten en veel rechters.
Steekproef — één gelukkig concept kan een model flatteren. Generatie verloopt bij de standaardtemperatuur van elk model op een identieke prompt, zonder per-model afstemming, zodat geen enkel model een zorgvuldig geselecteerde instelling krijgt die de anderen niet ontvangen. En geen enkele cel rust op één concept: elk model wordt gescoord over de volledige set momenten door elk ander model in het panel, dan naar de neutrale basislijn gekrompen totdat voldoende metingen zich opstapelen — zodat het geluk van één concept verdwijnt lang voordat een cijfer wordt gepubliceerd.
Waarom scores worden gekrompen op basis van betrouwbaarheid
Een ruwe gemiddelde van een handvol fragmenten is ruis, en ruis vermomd als een score is erger dan geen score. Dus elk gepubliceerd cijfer wordt gekrompen naar een neutrale basislijn van 70, in verhouding tot hoeveel data er achter staat — formeel een prior ter waarde van vijf observaties. Een cel ondersteund door drie gelukkige steekproeven leest als ruwweg gemiddeld totdat voldoende metingen een plaats verdienen; een cel ondersteund door honderden leest als zijn werkelijk gemeten waarde.
De steekproefgrootte achter elk cijfer wordt getoond, en elke cel die nog op minder dan zes observaties rust, wordt gemarkeerd als voorlopig. Dit is waarom een model met weinig data nooit bij toeval naar de top schiet — de methode staat het niet toe.
Hoe het raster actueel blijft
De benchmark is geen eenmalige test die is uitgevoerd en bevroren. Het is een live projectie van de scoreopslag waarop het platform draait: nieuwe rechtersobservaties worden verwerkt in een lopend gemiddelde, en het steekproefaantal van elke cel groeit in de loop van de tijd, zodat het raster scherper wordt in plaats van veroudert. De pagina toont altijd de datum van de meest recente herkalibrering.
Eén waarborg is belangrijk voor nauwkeurigheid. Wanneer een duurzame alias (een "latest"-aanwijzer) stilletjes naar een nieuw onderliggend model verwijst, worden de cellen van dat model gereset en opnieuw gemeten vanaf nul in plaats van gemengd met het model dat ze vervingen — zodat een versiewijziging een kolom nooit stilletjes beschadigt. Dit is ook waarom de benchmark de specifieke versie noemt die is gemeten in plaats van een generiek label.
Beperkingen
De scores beschrijven proza op fictiemomenten alleen, beoordeeld aan de hand van deze set modellen en prompts. Het zijn geen officiële beoordelingen die zijn onderschreven door de modelproviders, en ze zeggen niets over de redenering, nauwkeurigheid of veiligheid van een model buiten de schrijfcontext. Modelnamen en handelsmerken zijn eigendom van hun respectieve eigenaren; dit is een onafhankelijke meting.
Twee lezingen zijn gemakkelijk verkeerd te begrijpen. Een lage erotiek-score weerspiegelt doorgaans bereidheid — een model dat weigert of klinisch wordt — niet een falen van ambacht. En een laag-vertrouwensscore betekent "nog niet bewezen", niet "bewezen zwak". Lees een cijfer altijd samen met zijn steekproefgrootte, en onthoud dat het beste model voor jouw boek afhankelijk is van de assen waarop jouw boek leunt — dat is precies de reden waarom het raster ze afzonderlijk houdt.