Le benchmark de fiction Novelmint mesure ce que les fiches modèles ne mesurent jamais : si un modèle est capable d'écrire une scène qu'un lecteur ne sauterait pas. Ce n'est pas un classement emprunté aux tests de mathématiques ou de programmation — il évalue de la vraie prose romanesque. Voici exactement comment les chiffres sont produits, pour que vous puissiez les peser par vous-même et les citer en toute confiance.
Ce qu'il mesure
Le benchmark évalue dans quelle mesure les modèles de pointe — d'Anthropic, d'OpenAI, de Google et de xAI — écrivent de la fiction. Pas leur capacité à raisonner, à coder, ni leurs performances sur des tests à choix multiples. Chaque modèle reçoit les mêmes indications narratives — des scènes avec des éléments obligatoires, des connaissances interdites, un point de vue et un objectif dramatique — et ce qu'il écrit est jugé en tant que fiction, à la manière dont un éditeur lit.
Tout est exprimé sur une échelle unique de 0 à 100 par axe, de sorte que les chiffres sont directement comparables d'un modèle à l'autre et d'un type de scène à l'autre parmi ceux dont un roman est réellement composé.
Les neuf axes
La fiction n'est pas une compétence unique, aussi le benchmark ne la réduit-il pas à un seul chiffre. Il évalue neuf axes, répartis en deux familles qui signifient des choses différentes.
Les quatre axes de craft mesurent la qualité de l'écriture d'un modèle, indépendamment du sujet : literary (image au niveau de la phrase, rythme, sous-texte, retenue), dialogue (si les personnages sonnent comme des individus distincts), fidelity (avec quelle fidélité il restitue exactement l'indication narrative prescrite, en conservant les éléments obligatoires et en excluant les connaissances interdites), et pacing (maîtrise de l'élan — quand comprimer, quand s'attarder).
Les cinq axes de content mesurent quel type de scène un modèle écrit bien : emotion, physicality (l'action et le corps dans l'espace), conflict, romance, et eroticism (contenu adulte explicite). Ce ne sont pas des classements meilleur-ou-moins-bon — ils indiquent à quoi un modèle est adapté. Un modèle peut avoir de belles phrases et pourtant écrire des scènes de combat plates, ce qui explique pourquoi le craft et le content sont évalués et rapportés séparément et ne sont jamais moyennés en un seul chiffre trompeur.
Comment chaque modèle est évalué
L'évaluation est une révision par les pairs en aveugle. Chaque modèle écrit le même ensemble d'indications narratives, et un panel de modèles-juges solides et diversifiés par fournisseur note chaque passage de 0 à 100 sur chaque axe — sans savoir quel modèle l'a écrit, et sans jamais juger un passage issu de son propre fournisseur. Cette dernière règle est importante : un juge extérieur à la famille d'un modèle perçoit les tics que cette famille a tendance à récompenser, de sorte que chaque score reçu par un modèle provient d'un juge véritablement étranger, et non d'un cohabitant.
Parce que le jugement est en aveugle et inter-modèles, un modèle ne peut pas se flatter lui-même, et aucun style maison unique ne fixe la norme.
Contrôle du biais des juges
Utiliser des modèles pour juger des modèles expose à quatre modes de défaillance bien connus, et la méthode est conçue pour fermer chacun d'eux.
L'autoprédilection — un modèle tend à récompenser son propre style maison. Une règle l'élimine à la racine : un juge ne note jamais un passage issu de son propre fournisseur — pas seulement son propre modèle exact, mais tout ce qui provient de la même famille. Ainsi, chaque score reçu par un modèle vient de l'extérieur de sa propre maison, où les tics de cette maison sont visibles plutôt qu'invisibles. Le goût d'aucune famille ne peut gonfler ses propres chiffres.
La verbosité — les juges sur-récompensent de manière fiable la longueur. Chaque indication cible le même objectif, environ 220 mots, de sorte que tous les passages arrivent à une taille quasi identique et que le remplissage ne rapporte rien. Un modèle mérite son score par ce qu'il fait de ces mots, pas par leur nombre.
La position — l'ordre dans lequel les passages apparaissent peut orienter les scores vers ce qui est venu en premier. Les passages sont donc renommés et mélangés pour chaque indication, et chacun est noté seul face à une grille de critères fixe plutôt que classé tête-à-tête. L'ordre ne véhicule aucun signal, et toute dérive résiduelle se moyenne sur de nombreuses indications et de nombreux juges.
L'échantillonnage — un seul brouillon chanceux peut flatter un modèle. La génération s'exécute à la température par défaut de chaque modèle sur une invite identique, sans réglage spécifique par modèle, de sorte qu'aucun modèle ne reçoit un paramètre choisi sur le volet que les autres n'ont pas. Et aucune cellule ne repose sur un seul brouillon : chaque modèle est noté sur l'ensemble complet des indications par chacun des autres modèles du panel, puis ramené vers la ligne de base neutre jusqu'à ce que suffisamment de mesures s'accumulent — ainsi, la chance d'un brouillon unique s'efface bien avant qu'un chiffre soit publié.
Pourquoi les scores sont rétrécis selon la confiance
Une moyenne brute issue d'une poignée de passages est du bruit, et du bruit habillé en score est pire que pas de score du tout. Ainsi, chaque chiffre publié est rétréci vers une ligne de base neutre de 70 en proportion du peu de données qui le soutiennent — formellement, un a priori valant cinq observations. Une cellule appuyée sur trois échantillons chanceux se lit comme grossièrement moyenne jusqu'à ce que suffisamment de mesures lui méritent une place ; une cellule appuyée sur des centaines se lit à sa vraie valeur mesurée.
La taille d'échantillon derrière chaque chiffre est indiquée, et toute cellule reposant encore sur moins de six observations est signalée comme provisoire. C'est pourquoi un modèle aux données rares ne bondit jamais vers le sommet par hasard — la méthode ne le permet pas.
Comment la grille reste à jour
Le benchmark n'est pas un test unique qui a été exécuté puis figé. C'est une projection en direct du magasin de scores sur lequel fonctionne la plateforme : les nouvelles observations des juges s'intègrent dans une moyenne glissante, et le nombre d'échantillons de chaque cellule croît avec le temps, de sorte que la grille s'affine plutôt qu'elle ne vieillit. La page affiche toujours la date de la dernière recalibration.
Une mesure de protection est importante pour la précision. Lorsqu'un alias durable (un pointeur « latest ») se réoriente silencieusement vers un nouveau modèle sous-jacent, les cellules de ce modèle sont réinitialisées et remesurées depuis zéro plutôt que mélangées avec celles du modèle qu'il remplace — ainsi, un changement de version ne corrompt jamais silencieusement une colonne. C'est également pourquoi le benchmark nomme la version spécifique qu'il a mesurée plutôt qu'une étiquette générique.
Limites
Les scores décrivent la prose sur des indications de fiction uniquement, jugée par rapport à cet ensemble de modèles et de prompts. Ce ne sont pas des évaluations officielles approuvées par les fournisseurs de modèles, et ils ne disent rien sur le raisonnement, la précision ou la sécurité d'un modèle en dehors du contexte d'écriture. Les noms de modèles et les marques déposées appartiennent à leurs propriétaires respectifs ; il s'agit d'une mesure indépendante.
Deux lectures sont faciles à mal interpréter. Un score eroticism faible reflète généralement la volonté — un modèle qui décline ou devient clinique — et non un échec de craft. Et un score à faible confiance signifie « pas encore prouvé », et non « prouvé faible ». Lisez toujours un chiffre conjointement avec sa taille d'échantillon, et rappelez-vous que le meilleur modèle pour votre livre dépend des axes sur lesquels votre livre s'appuie — ce qui est la raison même pour laquelle la grille les maintient séparés.