Wie der Fictions-Modell-Benchmark funktioniert

Das Novelmint-Fiktions-Benchmark misst das eine, was Modellkarten nie tun: ob ein Modell eine Szene schreiben kann, die ein Leser nicht überspringen würde. Es ist kein Leaderboard, das aus Mathematik- oder Programmiertests entliehen wurde – es bewertet echte Romanprosa. Hier wird genau erklärt, wie die Zahlen ermittelt werden, damit Sie sie selbst einschätzen und sicher zitieren können.

Was gemessen wird

Das Benchmark bewertet, wie gut die Frontier-Modelle – von Anthropic, OpenAI, Google und xAI – Belletristik schreiben. Nicht, wie sie schlussfolgern, nicht, wie sie programmieren, nicht, wie sie bei Multiple-Choice-Tests abschneiden. Jedes Modell erhält dieselben vorgegebenen Romanbeats – Szenen mit geforderten Elementen, verbotenem Wissen, einer Perspektive und einem dramatischen Ziel – und was es schreibt, wird als Belletristik beurteilt, so wie ein Lektor liest.

Alles wird auf einer einzigen 0–100-Skala pro Achse ausgedrückt, sodass die Zahlen direkt modellübergreifend und über die verschiedenen Szenenarten, aus denen ein Buch wirklich besteht, vergleichbar sind.

Die neun Achsen

Belletristik ist keine einzelne Fähigkeit, daher reduziert das Benchmark sie nicht auf eine einzige Zahl. Es bewertet neun Achsen, aufgeteilt in zwei Kategorien mit unterschiedlicher Bedeutung.

Die vier Handwerk-Achsen messen, wie gut ein Modell schreibt, unabhängig vom Thema: Literatur (Bildsprache auf Satzebene, Rhythmus, Subtext, Zurückhaltung), Dialog (ob Charaktere wie eigenständige Personen klingen), Treue (wie getreu es genau den vorgegebenen Beat umsetzt und dabei geforderte Elemente einschließt und verbotenes Wissen ausschließt) und Tempo (Kontrolle über den Schwung – wann zu verdichten, wann zu verweilen).

Die fünf Inhalt-Achsen messen, welche Art von Szene ein Modell gut schreibt: Emotion, Körperlichkeit (Handlung und der Körper im Raum), Konflikt, Romantik und Erotik (explizite Inhalte für Erwachsene). Dies sind keine Besser-oder-schlechter-Rankings – sie zeigen, wofür ein Modell geeignet ist. Ein Modell kann wunderschöne Sätze schreiben und dennoch flache Kampfszenen liefern, weshalb Handwerk und Inhalt separat bewertet und ausgewiesen werden und niemals zu einer einzigen irreführenden Zahl gemittelt werden.

Wie jedes Modell bewertet wird

Die Bewertung erfolgt durch blinde Peer-Review. Jedes Modell schreibt denselben Satz vorgegebener Beats, und ein Gremium aus starken, anbieterdiversen Richtermodellen bewertet jeden Abschnitt auf jeder Achse mit 0–100 – ohne zu wissen, welches Modell ihn geschrieben hat, und ohne jemals einen Abschnitt des eigenen Anbieters zu beurteilen. Diese letzte Regel ist wichtig: Ein Richter von außerhalb der eigenen Modellfamilie erkennt die Eigenheiten, die diese Familie typischerweise belohnt, sodass jede Bewertung, die ein Modell erhält, von einem tatsächlich externen Richter stammt – nicht von einem Hausgenossen.

Da die Bewertung blind und modellübergreifend ist, kann sich ein Modell nicht selbst schmeicheln, und kein einzelner Hausstil setzt den Standard.

Kontrolle von Richterverzerrungen

Die Verwendung von Modellen zur Beurteilung von Modellen birgt vier bekannte Fehlermodi, und die Methode ist darauf ausgelegt, jeden einzelnen zu schließen.

Selbstpräferenz – ein Modell neigt dazu, seinen eigenen Hausstil zu belohnen. Eine Regel beseitigt dies an der Wurzel: Ein Richter bewertet niemals einen Abschnitt seines eigenen Anbieters – nicht nur sein eigenes exaktes Modell, sondern alles aus derselben Familie. So kommt jede Bewertung, die ein Modell erhält, von außerhalb seines eigenen Hauses, wo die Eigenheiten dieses Hauses sichtbar statt unsichtbar sind. Der Geschmack keiner Familie kann die eigenen Zahlen aufblähen.

Weitschweifigkeit – Richter belohnen Länge zuverlässig zu stark. Jeder Beat gibt dasselbe Ziel vor, ungefähr 220 Wörter, sodass alle Abschnitte nahezu gleich lang ankommen und Fülltext nichts einbringt. Ein Modell verdient seine Bewertung daran, was es mit diesen Wörtern macht, nicht daran, wie viele es verwendet.

Position – die Reihenfolge, in der Abschnitte erscheinen, kann die Bewertungen in Richtung des Ersten verschieben. Daher werden Abschnitte für jeden Beat neu beschriftet und neu gemischt, und jeder wird für sich allein anhand einer festen Rubrik bewertet statt gegeneinander eingestuft. Die Reihenfolge trägt kein Signal, und jede verbleibende Drift mittelt sich über viele Beats und viele Richter heraus.

Stichprobe – ein einzelner glücklicher Entwurf kann ein Modell schmeichelhaft darstellen. Die Generierung läuft bei der Standardtemperatur jedes Modells auf einem identischen Prompt, ohne modellspezifische Anpassungen, sodass kein Modell eine handverlesene Einstellung erhält, die die anderen nicht bekommen. Und keine Zelle beruht auf einem einzigen Entwurf: Jedes Modell wird über den gesamten Beat-Satz von jedem anderen Modell im Gremium bewertet und dann auf die neutrale Baseline zurückgezogen, bis genug Messungen akkumuliert sind – so verschwindet das Glück eines einzelnen Entwurfs, lange bevor eine Zahl veröffentlicht wird.

Warum Werte durch Konfidenz geglättet werden

Ein roher Durchschnitt aus einer Handvoll Abschnitte ist Rauschen, und als Wert verkleidetes Rauschen ist schlimmer als gar kein Wert. Daher wird jede veröffentlichte Zahl in Proportion zur dahinterstehenden Datenmenge auf eine neutrale 70er-Baseline zurückgezogen – formal ein Prior im Wert von fünf Beobachtungen. Eine Zelle, die auf drei glücklichen Stichproben beruht, liest sich als ungefähr durchschnittlich, bis genügend Messungen ihr einen Platz verdienen; eine Zelle, die auf Hunderten beruht, liest sich als ihr tatsächlich gemessener Wert.

Die Stichprobengröße hinter jeder Zahl wird angezeigt, und jede Zelle, die noch auf weniger als sechs Beobachtungen beruht, wird als vorläufig gekennzeichnet. Das ist der Grund, warum ein Modell mit dünnen Daten niemals durch einen Zufallstreffer an die Spitze schießt – die Methode lässt das nicht zu.

Wie das Raster aktuell bleibt

Das Benchmark ist kein einmaliger Test, der durchgeführt und eingefroren wurde. Es ist eine Live-Projektion des Bewertungsspeichers, auf dem die Plattform läuft: Neue Richterbeobachtungen fließen in einen laufenden Mittelwert ein, und die Stichprobenanzahl jeder Zelle wächst mit der Zeit, sodass das Raster schärfer wird statt zu veraltern. Die Seite zeigt immer das Datum der letzten Neukalibrierung an.

Eine Sicherheitsvorkehrung ist für die Genauigkeit wichtig. Wenn ein dauerhafter Alias (ein „latest"-Zeiger) stillschweigend auf ein neues zugrunde liegendes Modell umzeigt, werden die Zellen dieses Modells zurückgesetzt und von Grund auf neu gemessen, anstatt mit dem ersetzten Modell vermischt zu werden – so korrumpiert eine Versionsänderung nie still und leise eine Spalte. Deshalb benennt das Benchmark auch die spezifische Version, die es gemessen hat, statt einer generischen Bezeichnung.

Einschränkungen

Die Werte beschreiben Prosa auf Belletristik-Beats, beurteilt anhand dieses Satzes von Modellen und Prompts. Es sind keine offiziellen Bewertungen, die von den Modellanbietern gebilligt werden, und sie sagen nichts über die Schlussfolgerungsfähigkeit, Genauigkeit oder Sicherheit eines Modells außerhalb des Schreibkontexts aus. Modellnamen und Marken gehören ihren jeweiligen Eigentümern; dies ist eine unabhängige Messung.

Zwei Interpretationen sind leicht falsch zu verstehen. Ein niedriger Erotik-Wert spiegelt normalerweise die Bereitschaft wider – ein Modell, das ablehnt oder sachlich-klinisch wird – und kein handwerkliches Versagen. Und ein Wert mit niedriger Konfidenz bedeutet „noch nicht bewiesen", nicht „als schwach bewiesen". Lesen Sie eine Zahl immer zusammen mit ihrer Stichprobengröße, und denken Sie daran, dass das beste Modell für Ihr Buch davon abhängt, auf welche Achsen Ihr Buch setzt – das ist der ganze Grund, warum das Raster sie getrennt hält.