Teste você mesmo modelos de IA em ficção e gere com o vencedor
Last checked against the product November 10, 2026
Um ranking diz qual modelo teve a melhor nota média. Ele não diz de qual você vai gostar de ler. Um bake-off permite descobrir. Escolha de dois a cinco modelos, do Novelmint, da lista mais ampla do OpenRouter ou da sua própria chave de API, e cada um escreve as mesmas cenas do nosso benchmark público de ficção. Um painel de juízes avalia cada trecho às cegas, e você lê lado a lado, com os nomes ocultos se quiser. Quando um se destaca, um único clique o torna o modelo que gera a sua série.
Key takeaways
- Um bake-off roda o benchmark de ficção do Novelmint em dois a cinco modelos à sua escolha: do Novelmint, da lista do OpenRouter ou da sua própria chave de API.
- Todo modelo recebe o mesmo briefing para cada cena, tirado das cenas padrão do benchmark, então a comparação é justa.
- O painel de juízes do próprio benchmark avalia cada trecho às cegas, e um juiz nunca avalia um modelo da sua própria empresa.
- Você lê os trechos lado a lado, pode ocultar os nomes dos modelos até escolher e pode salvar a execução inteira em um arquivo.
- Um clique em "Usar nas gerações" torna o vencedor o modelo daquela série ou o padrão do seu Studio para todas as séries.
What it does
O que um bake-off oferece
Até cinco modelos de uma vez
Misture os modelos medidos pelo Novelmint, os modelos da lista "Mais modelos" que ainda não têm nota e os modelos base que a sua própria chave consegue acessar.
As mesmas cenas para todos
A cada rodada, cada modelo escreve algumas das cenas padrão do benchmark, as que têm menos notas até agora. Escolha quantas rodadas rodar de uma vez.
Avaliação às cegas
O mesmo painel de juízes do benchmark público dá nota a cada trecho sem saber qual modelo o escreveu, e nunca avalia um modelo da própria desenvolvedora. A nota vai de 0 a 100: quão bem a cena cumpre o que testa, mais o quanto ela seguiu o briefing.
Leitura às cegas, para você também
Marque "Ocultar nomes dos modelos até eu escolher" e os trechos aparecem como Modelo A, Modelo B e assim por diante, para você julgar o texto antes da reputação.
Guarde as evidências
Salve uma rodada como arquivo, com uma chave que indica qual modelo é qual. Seus bake-offs anteriores continuam listados na aba.
Direto para as suas builds
Clique em "Usar nas builds" no trecho de que você gostou. Em uma série, isso define o modelo dessa série; no seu Studio, define o padrão para todas as séries.
How to use it
Como rodar um
Abra a aba Bake-off
Ela fica na página Modelos de IA, tanto no seu Studio quanto em cada série.
Escolha de dois a cinco modelos
Pesquise entre os modelos do Novelmint, a lista mais ampla do OpenRouter e os modelos de qualquer chave de API salva em Conta, depois Chaves de IA.
Escolha quantas rodadas e confira o preço
A aba mostra o preço da execução antes de ela começar, e quantos créditos você tem.
Rode e leia
Quando a execução terminar, leia lado a lado os trechos de cada cena, com contagem de palavras e notas. Oculte os nomes se quiser ler às cegas.
Use o vencedor
Clique em "Usar nas builds" no que você quiser. A próxima build de capítulo usará esse modelo.
Example
Como é um resultado
You ask
Uma cena do benchmark: duas irmãs afastadas se encontram no funeral do pai, e nenhuma diz o que veio dizer.
You get back
- Modelo A: 231 palavras, nota 78. Deixa o silêncio conduzir a cena e segue o briefing à risca.
- Modelo B: 214 palavras, nota 71. Diálogo forte, mas uma das irmãs diz em voz alta o que ficou por dizer na última frase.
- Modelo C: 226 palavras, nota 64. Cenário vívido, e a emoção é mais contada do que mostrada.
- Você escolhe o Modelo A, os nomes são revelados e "Usar nas builds" o torna o modelo da sua série.
Uma ilustração com cena, notas e rótulos às cegas inventados, só para mostrar o formato de um resultado. A sua execução usa as cenas reais do benchmark e as notas reais dos juízes.
Questions
Frequently asked
- Como posso comparar modelos de IA para escrever ficção?
- No Novelmint, abra a aba Bake-off na página Modelos de IA e escolha de dois a cinco modelos. Cada um escreve as mesmas cenas padrão do benchmark público de ficção, um painel de juízes avalia cada trecho às cegas e você lê tudo lado a lado.
- Um bake-off usa o meu livro?
- Não. Todos os modelos escrevem as cenas padrão do benchmark, então os resultados comparam coisas equivalentes e o seu manuscrito não entra na execução. Para ver como um modelo lida com os seus capítulos, escolha-o para uma série e faça uma build.Escolha seu modelo de IA
- Posso testar um modelo com a minha própria chave de API?
- Sim. Qualquer modelo base que a sua chave salva consiga acessar pode entrar em um bake-off, e a escrita dele roda na sua chave. Modelos que você mesmo ajustou (fine-tuning) ficam de fora, para que os juízes sempre vejam um modelo como a desenvolvedora o criou.Use sua própria chave de IA
- Quem avalia os trechos?
- O mesmo painel de modelos juízes do benchmark público do Novelmint. Eles avaliam cada trecho sem ver qual modelo o escreveu, e um juiz nunca avalia um modelo da própria desenvolvedora.
- Quanto custa um bake-off?
- O julgamento, e qualquer escrita feita pelos modelos do Novelmint, consomem créditos pelo que a IA custa ao Novelmint, sem margem adicional. A escrita na sua própria chave não consome créditos. Você vê o preço antes de começar e nunca é cobrado mais do que ele.Preços
- Meus resultados se tornam públicos?
- Suas notas, nunca os trechos, podem ajudar a classificar os modelos no benchmark público. Você pode desativar isso na aba, e desativar também retira as notas das suas execuções anteriores.
- Como uso o modelo que venceu?
- Clique em "Usar nas builds" no trecho dele. Em uma série, ela passa a ser construída com esse modelo. No seu Studio, ele se torna o padrão de todas as séries que não têm modelos próprios.
What this page does not claim
- Um bake-off roda nas cenas padrão do benchmark, não no seu manuscrito.
- Algumas cenas são apenas uma amostra. Um modelo que vence uma execução curta não necessariamente serve para todos os capítulos do seu livro.
- Os juízes avaliam técnica e fidelidade ao briefing. Gostar ou não da voz continua sendo decisão sua, e por isso você mesmo lê os trechos.
- As cenas, notas e rótulos do exemplo nesta página são inventados. Não são resultado de uma execução real.
Keep reading
O benchmark por trás
Um bake-off é o benchmark público de ficção, executado por você nos modelos que lhe interessam. As notas das suas execuções podem ajudar a classificar os modelos para todos, e por isso o julgamento é cobrado pelo que custa.
Relacionados
Planeje um livro com a Minty
Converse sobre a história e veja ela se transformar em capítulos e cenas na sua Timeline.
Construção de capítulos
Transforme os beats de um capítulo em prosa, escrita a partir do seu plano, da sua bíblia e da sua voz.
Traga sua própria chave de IA
Gere capítulos com sua própria chave Anthropic, OpenAI, Google, xAI ou OpenRouter, ou com a IA incluída nos seus créditos. Você escolhe, por série.
Escolha seu modelo de IA
Escolha o modelo de IA que escreve sua série, comparado por qualidade de escrita medida e custo, e fixe outro em qualquer cena.
Leia as evidências e escolha o seu escritor.
Sem cartão. Seu primeiro capítulo é grátis.