Il benchmark narrativo di Novelmint misura l'unica cosa che le schede dei modelli non misurano mai: se un modello sa scrivere una scena che un lettore non salterebbe. Non è una classifica mutuata da test matematici o di programmazione — valuta vera prosa romanzesca. Ecco esattamente come vengono prodotti i numeri, così puoi soppesarli autonomamente e citarli con sicurezza.
Cosa misura
Il benchmark valuta quanto i modelli di frontiera — di Anthropic, OpenAI, Google e xAI — sappiano scrivere narrativa. Non il ragionamento, non la programmazione, non le prestazioni su test a scelta multipla. A ogni modello vengono assegnati gli stessi beat romanzeschi sintetizzati — scene con elementi obbligatori, conoscenze vietate, un punto di vista e un obiettivo drammatico — e ciò che produce viene giudicato come narrativa, nel modo in cui legge un editor.
Tutto è espresso su una scala da 0 a 100 per asse, così i numeri sono direttamente comparabili tra modelli diversi e tra i tipi di scena di cui è effettivamente composto un romanzo.
I nove assi
La narrativa non è un'unica competenza, quindi il benchmark non la riduce a un solo numero. Valuta nove assi, suddivisi in due famiglie con significati diversi.
I quattro assi di stile misurano quanto bene un modello scriva, indipendentemente dall'argomento: letterario (immagine a livello di frase, ritmo, sottotesto, misura), dialogo (se i personaggi suonano come persone distinte), fedeltà (quanto fedelmente riproduce esattamente il beat indicato, mantenendo gli elementi obbligatori e escludendo le conoscenze vietate) e ritmo narrativo (controllo della tensione — quando comprimere, quando indugiare).
I cinque assi di contenuto misurano che tipo di scena un modello sa scrivere bene: emozione, fisicità (azione e il corpo nello spazio), conflitto, romance ed erotismo (contenuto adulto esplicito). Non si tratta di classifiche migliore-o-peggiore — indicano per cosa un modello è adatto. Un modello può avere frasi bellissime e scrivere comunque scene d'azione piatte, motivo per cui stile e contenuto vengono valutati e riportati separatamente e non vengono mai mediati in un unico dato fuorviante.
Come viene valutato ogni modello
La valutazione è una revisione tra pari in cieco. Ogni modello scrive lo stesso insieme di beat sintetizzati, e un panel di modelli giudici validi e diversificati per provider assegna a ogni brano un punteggio da 0 a 100 per ciascun asse — senza sapere quale modello lo abbia scritto, e senza mai giudicare brani del proprio provider. Quest'ultima regola è importante: un giudice esterno alla famiglia di un modello coglie i segnali caratteristici che quella famiglia tende a premiare, così ogni punteggio che un modello riceve proviene da un giudice genuinamente esterno, non da un compagno di casa.
Poiché la valutazione è in cieco e trasversale tra modelli, un modello non può adulare se stesso, e nessuno stile di casa unico fissa lo standard.
Controllo del bias dei giudici
Usare modelli per giudicare modelli espone a quattro modalità di fallimento ben note, e il metodo è costruito per chiuderle una per una.
Auto-preferenza — un modello tende a premiare il proprio stile di casa. Una regola la elimina alla radice: un giudice non assegna mai un punteggio a un brano del proprio provider — non solo del proprio modello esatto, ma di qualsiasi cosa appartenga alla stessa famiglia. Così ogni punteggio che un modello riceve viene dall'esterno della propria casa, dove i segnali caratteristici di quella casa sono visibili anziché invisibili. Il gusto di nessuna famiglia può gonfiare i propri numeri.
Verbosità — i giudici tendono sistematicamente a premiare la lunghezza. Ogni beat indica lo stesso obiettivo, circa 220 parole, così tutti i brani arrivano a dimensioni quasi identiche e riempire non porta vantaggi. Un modello guadagna il proprio punteggio in base a cosa fa con quelle parole, non a quante ne usa.
Posizione — l'ordine in cui i brani appaiono può spingere i punteggi verso ciò che è venuto per primo. I brani vengono quindi rinominati e mescolati per ogni beat, e ciascuno viene valutato autonomamente rispetto a una rubrica fissa anziché classificato in confronto diretto. L'ordine non porta alcun segnale, e ogni deriva residua si media su molti beat e molti giudici.
Campionamento — una singola bozza fortunata può adulare un modello. La generazione avviene alla temperatura predefinita di ogni modello su un prompt identico, senza ottimizzazioni per singolo modello, così nessun modello riceve un'impostazione selezionata ad hoc che gli altri non hanno. E nessuna cella si basa su una sola bozza: ogni modello viene valutato sull'intero insieme di beat da ogni altro modello del panel, poi ridotto verso la baseline neutrale finché non si accumulano abbastanza misurazioni — così la fortuna della singola bozza svanisce prima che un numero venga pubblicato.
Perché i punteggi vengono ridotti in base alla confidenza
Una media grezza di una manciata di brani è rumore, e il rumore travestito da punteggio è peggio di nessun punteggio. Così ogni numero pubblicato è ridotto verso una baseline neutra di 70 in proporzione alla quantità di dati che lo supportano — formalmente, un prior equivalente a cinque osservazioni. Una cella sostenuta da tre campioni fortunati appare grossomodo nella media finché non si accumulano abbastanza misurazioni da guadagnarsi un posto; una cella sostenuta da centinaia di dati appare al suo vero valore misurato.
La dimensione del campione dietro ogni numero è mostrata, e qualsiasi cella ancora basata su meno di sei osservazioni è contrassegnata come provvisoria. Ecco perché un modello con pochi dati non schizza mai in cima per un colpo di fortuna — il metodo non lo permette.
Come la griglia rimane aggiornata
Il benchmark non è un test eseguito una volta e poi congelato. È una proiezione in tempo reale dello store di punteggi su cui gira la piattaforma: le nuove osservazioni dei giudici si integrano in una media progressiva, e il conteggio dei campioni di ogni cella cresce nel tempo, così la griglia si affina anziché invecchiare. La pagina mostra sempre la data della calibrazione più recente.
Una salvaguardia è importante per la precisione. Quando un alias duraturo (un puntatore "latest") reindirizza silenziosamente a un nuovo modello sottostante, le celle di quel modello vengono azzerate e ri-misurate da zero anziché combinate con quelle del modello sostituito — così una variazione di versione non corrompe mai silenziosamente una colonna. È anche per questo che il benchmark nomina la versione specifica misurata anziché un'etichetta generica.
Limitazioni
I punteggi descrivono la prosa su beat narrativi soltanto, giudicata rispetto a questo insieme di modelli e prompt. Non sono valutazioni ufficiali approvate dai provider dei modelli, e non dicono nulla sul ragionamento, l'accuratezza o la sicurezza di un modello al di fuori del contesto della scrittura. I nomi dei modelli e i marchi commerciali appartengono ai rispettivi proprietari; questa è una misurazione indipendente.
Due letture sono facili da fraintendere. Un basso punteggio di erotismo di solito riflette la disponibilità — un modello che declina o diventa clinico — non una carenza di stile. E un punteggio a bassa confidenza significa "non ancora dimostrato", non "dimostratamente debole". Leggi sempre un numero insieme alla sua dimensione campionaria, e ricorda che il modello migliore per il tuo romanzo dipende da quali assi il tuo romanzo predilige — che è esattamente il motivo per cui la griglia li mantiene separati.