O benchmark de ficção do Novelmint mede a única coisa que os cartões de modelo nunca medem: se um modelo consegue escrever uma cena que o leitor não pularia. Não é um placar emprestado de testes de matemática ou programação — ele pontua prosa real de romance. Aqui está exatamente como os números são produzidos, para que você possa avaliá-los por conta própria e citá-los com confiança.
O que ele mede
O benchmark avalia o desempenho dos modelos de fronteira — da Anthropic, OpenAI, Google e xAI — na escrita de ficção. Não como eles raciocinam, não como programam, não como se saem em testes de múltipla escolha. Cada modelo recebe os mesmos beats de romance briefados — cenas com elementos obrigatórios, conhecimentos proibidos, um ponto de vista e um objetivo dramático — e o que ele escreve é julgado como ficção, da forma como um editor lê.
Tudo é expresso em uma escala única de 0 a 100 por eixo, tornando os números diretamente comparáveis entre modelos e entre os tipos de cena dos quais um livro é realmente feito.
Os nove eixos
Ficção não é uma habilidade única, portanto o benchmark não a resume em um único número. Ele pontua nove eixos, divididos em duas famílias com significados distintos.
Os quatro eixos de craft medem o quão bem um modelo escreve, independentemente do assunto: literary (imagem no nível da frase, ritmo, subtexto, contenção), dialogue (se os personagens soam como pessoas distintas), fidelity (com que fidelidade ele reproduz exatamente o beat briefado, mantendo os elementos obrigatórios e excluindo o conhecimento proibido) e pacing (controle do momentum — quando comprimir, quando se demorar).
Os cinco eixos de content medem que tipo de cena um modelo escreve bem: emotion, physicality (ação e o corpo no espaço), conflict, romance e eroticism (conteúdo adulto explícito). Estes não são rankings de melhor ou pior — eles indicam para o que um modelo é adequado. Um modelo pode ter frases belas e ainda assim escrever cenas de luta sem vida, e é por isso que craft e content são pontuados e reportados separadamente e nunca são calculados em média para gerar um único número enganoso.
Como cada modelo é pontuado
A pontuação é feita por revisão cega por pares. Cada modelo escreve o mesmo conjunto de beats briefados, e um painel de modelos juízes fortes e diversificados por provedor avalia cada trecho de 0 a 100 em cada eixo — sem saber qual modelo o escreveu, e jamais julgando qualquer trecho do seu próprio provedor. Essa última regra importa: um juiz de fora da família de um modelo detecta as marcas que essa família tende a recompensar, portanto cada pontuação que um modelo recebe vem de um juiz genuinamente externo, não de um colega de casa.
Como o julgamento é cego e cruzado entre modelos, um modelo não pode se bajular, e nenhum estilo de casa único define o padrão.
Controlando o viés dos juízes
Usar modelos para julgar modelos abre espaço para quatro modos de falha bem conhecidos, e o método foi construído para fechar cada um deles.
Autopreferência — um modelo tende a recompensar o estilo de sua própria casa. Uma regra elimina isso na raiz: um juiz nunca pontua um trecho do seu próprio provedor — não apenas seu próprio modelo exato, mas qualquer coisa da mesma família. Assim, cada pontuação que um modelo recebe vem de fora de sua própria casa, onde as marcas dessa casa são visíveis em vez de invisíveis. O gosto de nenhuma família pode inflar seus próprios números.
Verbosidade — os juízes tendem a recompensar excessivamente o comprimento. Cada beat briefa o mesmo alvo, aproximadamente 220 palavras, de modo que todos os trechos chegam com tamanho quase idêntico e encher linguiça não traz nenhum benefício. Um modelo ganha sua pontuação pelo que faz com essas palavras, não pela quantidade que usa.
Posição — a ordem em que os trechos aparecem pode influenciar as pontuações em direção ao que veio primeiro. Por isso, os trechos são renomeados e embaralhados para cada beat, e cada um é pontuado individualmente em relação a um rubric fixo, em vez de ser ranqueado frente a frente. A ordem não carrega nenhum sinal, e qualquer desvio residual se dilui ao longo de muitos beats e muitos juízes.
Amostragem — um único rascunho sortudo pode bajular um modelo. A geração ocorre na temperatura padrão de cada modelo em um prompt idêntico, sem ajuste por modelo, de modo que nenhum modelo recebe uma configuração escolhida a dedo que os outros não têm. E nenhuma célula depende de um único rascunho: cada modelo é pontuado em todo o conjunto de beats por todos os outros modelos do painel, depois encolhido em direção à linha de base neutra até que observações suficientes se acumulem — assim, a sorte de um único rascunho se dissolve muito antes de um número ser publicado.
Por que as pontuações são encolhidas pela confiança
Uma média bruta de um punhado de trechos é ruído, e ruído disfarçado de pontuação é pior do que nenhuma pontuação. Portanto, todo número publicado é encolhido em direção a uma linha de base neutra de 70, proporcionalmente à pouca quantidade de dados que o sustenta — formalmente, uma prior equivalente a cinco observações. Uma célula sustentada por três amostras sortudas é lida como aproximadamente mediana até que observações suficientes a legitimem; uma célula sustentada por centenas é lida como seu valor medido real.
O tamanho da amostra por trás de cada número é exibido, e qualquer célula que ainda dependa de menos de seis observações é sinalizada como provisória. É por isso que um modelo com poucos dados nunca dispara para o topo por um golpe de sorte — o método não permite.
Como a grade se mantém atualizada
O benchmark não é um teste único que foi executado e congelado. É uma projeção ao vivo do repositório de pontuações no qual a plataforma opera: novas observações dos juízes se incorporam a uma média contínua, e a contagem de amostras de cada célula cresce ao longo do tempo, de modo que a grade se aprimora em vez de envelhecer. A página sempre exibe a data da recalibração mais recente.
Uma salvaguarda é importante para a precisão. Quando um alias duradouro (um ponteiro "latest") aponta silenciosamente para um novo modelo subjacente, as células desse modelo são redefinidas e remensuradas do zero em vez de mescladas com o modelo que substituíram — assim, uma mudança de versão nunca corrompe silenciosamente uma coluna. É também por isso que o benchmark nomeia a versão específica que mensurou, em vez de um rótulo genérico.
Limitações
As pontuações descrevem prosa em beats de ficção apenas, julgadas em relação a este conjunto de modelos e prompts. Não são classificações oficiais endossadas pelos provedores dos modelos, e nada dizem sobre raciocínio, precisão ou segurança de um modelo fora do contexto de escrita. Os nomes e marcas registradas dos modelos pertencem aos seus respectivos proprietários; esta é uma medição independente.
Duas leituras são fáceis de interpretar errado. Uma pontuação baixa em eroticism geralmente reflete disposição — um modelo recusando ou adotando um tom clínico — e não uma falha de craft. E uma pontuação de baixa confiança significa "ainda não comprovado", não "comprovadamente fraco". Sempre leia um número junto com seu tamanho de amostra e lembre-se de que o melhor modelo para o seu livro depende de quais eixos o seu livro enfatiza — e é exatamente por isso que a grade os mantém separados.