El estándar de referencia de ficción de Novelmint mide lo único que las fichas de modelos nunca hacen: si un modelo puede escribir una escena que un lector no se saltaría. No es una tabla de clasificación tomada prestada de pruebas de matemáticas o programación — puntúa prosa novelística real. A continuación se explica exactamente cómo se producen los números, para que puedas evaluarlos por tu cuenta y citarlos con confianza.
Qué mide
El estándar de referencia evalúa qué tan bien escriben ficción los modelos de frontera — de Anthropic, OpenAI, Google y xAI —. No cómo razonan, no cómo programan, no cómo se desempeñan en pruebas de opción múltiple. A cada modelo se le entregan los mismos beats novelísticos detallados — escenas con elementos requeridos, conocimiento prohibido, un punto de vista y un objetivo dramático — y lo que escribe se juzga como ficción, de la manera en que lo lee un editor.
Todo se expresa en una escala única de 0 a 100 por eje, de modo que los números son directamente comparables entre modelos y entre los tipos de escena de los que realmente está hecho un libro.
Los nueve ejes
La ficción no es una sola habilidad, por lo que el estándar de referencia no la colapsa en un único número. Puntúa nueve ejes, divididos en dos familias con significados distintos.
Los cuatro ejes de oficio miden qué tan bien escribe un modelo, independientemente del tema: literario (imagen a nivel de oración, ritmo, subtexto, contención), diálogo (si los personajes suenan como personas distintas), fidelidad (qué tan fielmente reproduce exactamente el beat indicado, manteniendo los elementos requeridos e impidiendo el conocimiento prohibido) y ritmo narrativo (control del impulso — cuándo comprimir, cuándo detenerse).
Los cinco ejes de contenido miden qué tipo de escena escribe bien un modelo: emoción, fisicalidad (acción y el cuerpo en el espacio), conflicto, romance y erotismo (contenido adulto explícito). Estos no son rankings de mejor o peor — indican para qué sirve un modelo. Un modelo puede tener oraciones hermosas y aun así escribir escenas de pelea insípidas, razón por la cual el oficio y el contenido se puntúan y se reportan por separado y nunca se promedian en una única cifra engañosa.
Cómo se puntúa cada modelo
La puntuación es una revisión ciega por pares. Cada modelo escribe el mismo conjunto de beats detallados, y un panel de modelos jueces sólidos y de proveedores diversos califica cada pasaje de 0 a 100 en cada eje — sin saber qué modelo lo escribió, y sin juzgar nunca ningún pasaje de su propio proveedor. Esa última regla importa: un juez ajeno a la familia de un modelo detecta los rasgos que esa familia tiende a premiar, de modo que cada puntuación que recibe un modelo proviene de un juez genuinamente externo, no de un compañero de casa.
Dado que el juicio es ciego y cruzado entre modelos, un modelo no puede adularse a sí mismo, y ningún estilo de casa único establece el estándar.
Control del sesgo de los jueces
Usar modelos para juzgar modelos invita a cuatro modos de fallo bien conocidos, y el método está diseñado para cerrar cada uno de ellos.
Preferencia propia — un modelo tiende a premiar el estilo de su propia casa. Una regla lo elimina de raíz: un juez nunca puntúa un pasaje de su propio proveedor — no solo su propio modelo exacto, sino cualquier cosa de la misma familia. Así, cada puntuación que recibe un modelo proviene de fuera de su propia casa, donde los rasgos de esa casa son visibles en lugar de invisibles. El gusto de ninguna familia puede inflar sus propios números.
Verbosidad — los jueces tienden a sobrevalorar la extensión de manera confiable. Cada beat indica el mismo objetivo, aproximadamente 220 palabras, de modo que todos los pasajes llegan con casi el mismo tamaño y el relleno no sirve de nada. Un modelo gana su puntuación por lo que hace con esas palabras, no por cuántas emplea.
Posición — el orden en que aparecen los pasajes puede inclinar las puntuaciones hacia lo que vino primero. Por eso, los pasajes se reetiquetan y se mezclan para cada beat, y cada uno se puntúa por sí solo frente a una rúbrica fija en lugar de clasificarse cara a cara. El orden no transmite ninguna señal, y cualquier deriva residual se promedia a lo largo de muchos beats y muchos jueces.
Muestreo — un solo borrador afortunado puede adular a un modelo. La generación se ejecuta a la temperatura predeterminada de cada modelo sobre un prompt idéntico, sin ajuste por modelo, de modo que ningún modelo recibe una configuración seleccionada a mano que los demás no obtienen. Y ninguna celda descansa en un solo borrador: cada modelo se puntúa a lo largo de todo el conjunto de beats por cada otro modelo del panel, y luego se contrae hacia la línea de base neutral hasta que se acumulen suficientes mediciones — de modo que la suerte de un solo borrador desaparece mucho antes de que se publique un número.
Por qué las puntuaciones se contraen según la confianza
Un promedio bruto de un puñado de pasajes es ruido, y el ruido disfrazado de puntuación es peor que ninguna puntuación. Por eso, cada número publicado se contrae hacia una línea de base neutral de 70 en proporción a cuán pocos datos lo respaldan — formalmente, un prior equivalente a cinco observaciones. Una celda respaldada por tres muestras afortunadas se lee como aproximadamente promedio hasta que suficientes mediciones le ganen un lugar; una celda respaldada por cientos se lee como su valor medido real.
El tamaño de la muestra detrás de cada número se muestra, y cualquier celda que aún descanse en menos de seis observaciones se marca como provisional. Por eso un modelo con datos escasos nunca sube disparado al tope por un golpe de suerte — el método no lo permite.
Cómo se mantiene actualizada la cuadrícula
El estándar de referencia no es una prueba única que se realizó y se congeló. Es una proyección en vivo del almacén de puntuaciones en el que funciona la plataforma: las nuevas observaciones de los jueces se incorporan a una media acumulada, y el recuento de muestras de cada celda crece con el tiempo, de modo que la cuadrícula se afila en lugar de envejecer. La página siempre muestra la fecha de la recalibración más reciente.
Una salvaguarda es importante para la precisión. Cuando un alias duradero (un puntero "latest") redirige silenciosamente a un nuevo modelo subyacente, las celdas de ese modelo se restablecen y se miden de nuevo desde cero en lugar de mezclarse con el modelo que reemplazaron — de modo que un cambio de versión nunca corrompe silenciosamente una columna. Por eso el estándar de referencia nombra la versión específica que midió en lugar de una etiqueta genérica.
Limitaciones
Las puntuaciones describen prosa únicamente en beats de ficción, juzgada frente a este conjunto de modelos y prompts. No son calificaciones oficiales avaladas por los proveedores de modelos, y no dicen nada sobre el razonamiento, la precisión o la seguridad de un modelo fuera del contexto de escritura. Los nombres de modelos y marcas registradas pertenecen a sus respectivos propietarios; esta es una medición independiente.
Dos lecturas son fáciles de malinterpretar. Una puntuación baja en erotismo generalmente refleja disposición — un modelo que se niega o se vuelve clínico — no una falla de oficio. Y una puntuación de baja confianza significa "aún no probado", no "probado débil". Lee siempre un número junto con su tamaño de muestra, y recuerda que el mejor modelo para tu libro depende de en qué ejes se apoya tu libro — que es la razón de ser de que la cuadrícula los mantenga separados.