Le benchmark de fiction Novelmint mesure la seule chose que les fiches modèles n'évaluent jamais : si un modèle est capable d'écrire une scène qu'un lecteur ne sauterait pas. Ce n'est pas un classement emprunté aux tests de mathématiques ou de programmation — il note de la véritable prose romanesque. Voici exactement comment les chiffres sont produits, afin que vous puissiez les évaluer par vous-même et les citer en toute confiance.
Ce qu'il mesure
Le benchmark évalue la qualité d'écriture fictionnelle des modèles de pointe — d'Anthropic, OpenAI, Google et xAI. Pas leur capacité à raisonner, pas à coder, pas à réussir des tests à choix multiples. Chaque modèle reçoit les mêmes séquences narratives balisées — des scènes avec des éléments obligatoires, des connaissances interdites, un point de vue et un objectif dramatique — et ce qu'il écrit est jugé en tant que fiction, à la manière dont un éditeur lit.
Tout est exprimé sur une échelle unique de 0 à 100 par axe, de sorte que les chiffres sont directement comparables entre les modèles et entre les types de scènes dont un livre est réellement composé.
Les neuf axes
La fiction n'est pas une compétence unique, et le benchmark ne la réduit pas à un seul chiffre. Il évalue neuf axes, répartis en deux familles qui signifient des choses différentes.
Les quatre axes de craft mesurent la qualité de l'écriture d'un modèle, indépendamment du sujet : literary (image au niveau de la phrase, rythme, sous-texte, retenue), dialogue (si les personnages sonnent comme des individus distincts), fidelity (à quel point il restitue fidèlement la séquence balisée, en conservant les éléments obligatoires et en excluant les connaissances interdites), et pacing (contrôle de la dynamique — quand accélérer, quand s'attarder).
Les cinq axes de content mesurent quel type de scène un modèle écrit bien : emotion, physicality (l'action et le corps dans l'espace), conflict, romance et eroticism (contenu adulte explicite). Ce ne sont pas des classements du meilleur au moins bon — ils indiquent ce pour quoi un modèle est fait. Un modèle peut avoir de belles phrases et écrire des scènes de combat ternes, c'est pourquoi les axes de craft et de content sont notés et présentés séparément, et ne sont jamais moyennés en un seul chiffre trompeur.
Comment chaque modèle est noté
La notation est une évaluation par les pairs en aveugle. Chaque modèle écrit le même ensemble de séquences balisées, et un panel de modèles juges solides et diversifiés par fournisseur évalue chaque passage de 0 à 100 sur chaque axe — sans savoir quel modèle l'a écrit, et sans jamais juger son propre travail. Un panel diversifié par fournisseur est important : un juge extérieur à la famille d'un modèle repère les caractéristiques que cette famille a tendance à récompenser.
Parce que le jugement est aveugle et transversal entre modèles, un modèle ne peut pas se flatter lui-même, et aucun style maison unique ne fixe la norme.
Contrôle du biais des juges
Utiliser des modèles pour juger d'autres modèles expose à quatre modes d'échec bien connus, et la méthode est conçue pour les neutraliser chacun.
L'auto-préférence — un modèle a tendance à récompenser son propre style maison. Deux règles l'éliminent : un modèle ne note jamais son propre passage, et le panel de juges est diversifié par fournisseur, de sorte qu'aucun goût d'une seule famille ne fixe la norme. Une caractéristique qu'une maison récompense est repérée par un juge d'une autre, et vice versa.
La verbosité — les juges sur-récompensent systématiquement la longueur. Chaque séquence cible la même longueur, environ 220 mots, de sorte que tous les passages arrivent à une taille quasi identique et que le remplissage ne rapporte rien. Un modèle mérite sa note sur ce qu'il fait avec ces mots, pas sur leur nombre.
La position — l'ordre d'apparition des passages peut orienter les notes vers ce qui est apparu en premier. Les passages sont donc réétiquetés et mélangés pour chaque séquence, et chacun est noté individuellement selon une grille d'évaluation fixe plutôt qu'en comparaison directe. L'ordre ne transmet aucun signal, et tout écart résiduel se lisse sur de nombreuses séquences et de nombreux juges.
L'échantillonnage — un seul brouillon chanceux peut flatter un modèle. La génération s'effectue à la température par défaut de chaque modèle sur une invite identique, sans réglage spécifique par modèle, de sorte qu'aucun modèle ne bénéficie d'un paramètre sélectionné sur mesure que les autres n'ont pas. Et aucune cellule ne repose sur un seul brouillon : chaque modèle est noté sur l'ensemble complet des séquences par tous les autres modèles du panel, puis ramené vers la ligne de base neutre jusqu'à l'accumulation de suffisamment de mesures — ainsi, la chance d'un brouillon unique se dissout bien avant qu'un chiffre soit publié.
Pourquoi les scores sont pondérés par la confiance
Une moyenne brute issue d'une poignée de passages est du bruit, et le bruit habillé en score est pire qu'aucun score. Ainsi, chaque chiffre publié est ramené vers une ligne de base neutre de 70 en proportion de la faiblesse des données qui le sous-tendent — formellement, un prior équivalant à cinq observations. Une cellule reposant sur trois échantillons chanceux est lue comme approximativement moyenne jusqu'à ce que suffisamment de mesures lui confèrent une place ; une cellule reposant sur des centaines se lit comme sa vraie valeur mesurée.
La taille de l'échantillon derrière chaque chiffre est indiquée, et toute cellule reposant encore sur moins de six observations est signalée comme provisoire. C'est pourquoi un modèle avec peu de données ne monte jamais en flèche au sommet par un coup de chance — la méthode ne le permet pas.
Comment la grille reste à jour
Le benchmark n'est pas un test unique qui a été effectué puis figé. C'est une projection en direct du magasin de scores sur lequel la plateforme fonctionne : les nouvelles observations des juges s'intègrent dans une moyenne continue, et le nombre d'échantillons de chaque cellule augmente au fil du temps, de sorte que la grille s'affine plutôt qu'elle ne vieillit. La page affiche toujours la date de la recalibration la plus récente.
Une mesure de sécurité est importante pour l'exactitude. Lorsqu'un alias durable (un pointeur « latest ») repointe silencieusement vers un nouveau modèle sous-jacent, les cellules de ce modèle sont réinitialisées et remesurées depuis zéro plutôt que fusionnées avec celles du modèle remplacé — ainsi, un changement de version ne corrompt jamais discrètement une colonne. C'est également pour cette raison que le benchmark indique la version spécifique qu'il a mesurée plutôt qu'une étiquette générique.
Limitations
Les scores décrivent la prose sur des séquences fictionnelles uniquement, jugée par rapport à cet ensemble de modèles et d'invites. Il ne s'agit pas de notes officielles approuvées par les fournisseurs de modèles, et elles ne disent rien sur le raisonnement, l'exactitude ou la sécurité d'un modèle en dehors du contexte de l'écriture. Les noms et marques des modèles appartiennent à leurs propriétaires respectifs ; il s'agit d'une mesure indépendante.
Deux lectures sont faciles à mal interpréter. Un score faible en eroticism reflète généralement la volonté — un modèle qui décline ou devient clinique — et non un défaut de craft. Et un score à faible confiance signifie « pas encore prouvé », et non « prouvé faible ». Lisez toujours un chiffre conjointement avec sa taille d'échantillon, et rappelez-vous que le meilleur modèle pour votre livre dépend des axes sur lesquels votre livre s'appuie — ce qui est précisément la raison pour laquelle la grille les maintient séparés.