Uji model AI untuk fiksi sendiri, lalu bangun dengan pemenangnya
Last checked against the product November 10, 2026
Leaderboard memberi tahu model mana yang rata-rata skornya terbaik. Ia tidak bisa memberi tahu mana yang akan Anda sukai saat dibaca. Bake-off memungkinkan Anda mencari tahu. Pilih dua sampai lima model, dari model Novelmint sendiri, dari daftar OpenRouter yang lebih luas, atau dari kunci API Anda sendiri, dan masing-masing menulis adegan yang sama dari benchmark fiksi publik kami. Panel juri menilai setiap bagian secara buta, dan Anda membacanya berdampingan, dengan nama disembunyikan jika mau. Saat satu model menonjol, satu klik menjadikannya model yang dipakai serial Anda untuk membangun.
Key takeaways
- Bake-off menjalankan benchmark fiksi Novelmint pada dua sampai lima model pilihan Anda: model Novelmint, model mana pun dari daftar OpenRouter, atau model dari kunci API Anda sendiri.
- Setiap model mendapat brief yang sama untuk tiap adegan, diambil dari adegan standar benchmark, sehingga perbandingannya setara.
- Panel juri benchmark menilai setiap bagian secara buta, dan juri tidak pernah menilai model dari pembuatnya sendiri.
- Anda membaca bagian-bagian itu berdampingan, bisa menyembunyikan nama model sampai Anda memilih, dan bisa menyimpan seluruh hasil sebagai file.
- Satu klik pada "Use for Builds" menjadikan pemenang sebagai model untuk serial itu, atau default Studio Anda untuk semua serial.
What it does
Yang Anda dapatkan dari bake-off
Hingga lima model sekaligus
Campurkan model Novelmint yang sudah diukur, model dari daftar "Model lainnya" yang belum punya skor, dan model dasar yang bisa dijangkau oleh kunci milikmu sendiri.
Adegan yang sama untuk semua
Di setiap ronde, tiap model menulis beberapa adegan standar benchmark, yaitu yang skornya paling sedikit sejauh ini. Pilih berapa ronde yang dijalankan sekaligus.
Penilaian buta
Panel juri yang sama dengan benchmark publik menilai setiap bagian tulisan tanpa tahu model mana yang menulisnya, dan tidak pernah model dari pembuatnya sendiri. Skor berkisar 0 sampai 100: seberapa baik adegan itu menjalankan hal yang diujinya, ditambah seberapa dekat ia mengikuti brief.
Membaca buta, untukmu juga
Centang "Sembunyikan nama model sampai saya memilih" dan tulisan akan tampil sebagai Model A, Model B, dan seterusnya, sehingga kamu menilai tulisannya dulu sebelum reputasinya.
Simpan buktinya
Simpan hasil run sebagai file, lengkap dengan kunci yang menunjukkan model mana adalah yang mana. Bake-off sebelumnya tetap terdaftar di tab ini.
Langsung ke build-mu
Tekan "Gunakan untuk Build" pada tulisan yang kamu suka. Dari sebuah serial, ini menetapkan model serial tersebut; dari Studio-mu, ini menetapkan default untuk semua serial.
How to use it
Cara menjalankannya
Buka tab Bake-off
Tab ini ada di halaman Model AI, baik di Studio-mu maupun di setiap serial.
Pilih dua sampai lima model
Cari di model Novelmint, daftar OpenRouter yang lebih luas, dan model pada kunci API apa pun yang kamu simpan di Akun, lalu Kunci AI.
Pilih jumlah ronde dan cek harganya
Tab ini menampilkan harga run sebelum dimulai, beserta jumlah kredit yang kamu miliki.
Jalankan dan baca
Setelah run selesai, baca tulisan setiap adegan berdampingan, lengkap dengan jumlah kata dan skor. Sembunyikan nama jika ingin membacanya secara buta.
Pakai pemenangnya
Tekan "Gunakan untuk Build" pada pilihanmu. Build bab berikutnya akan memakainya.
Example
Seperti apa hasilnya
You ask
Satu adegan benchmark: dua saudari yang renggang bertemu di pemakaman ayah mereka, dan tak satu pun mengatakan apa yang ingin ia katakan.
You get back
- Model A: 231 kata, skor 78. Membiarkan keheningan membawa adegan dan mengikuti brief dengan ketat.
- Model B: 214 kata, skor 71. Dialognya kuat, tetapi salah satu saudari mengucapkan hal yang tak terkatakan itu di kalimat terakhir.
- Model C: 226 kata, skor 64. Latarnya hidup, dan emosinya lebih banyak diceritakan daripada ditunjukkan.
- Kamu memilih Model A, nama-nama diungkap, dan "Gunakan untuk Build" menjadikannya model serialmu.
Ilustrasi dengan adegan, skor, dan label buta yang dikarang, hanya untuk menunjukkan bentuk sebuah hasil. Run-mu memakai adegan asli benchmark dan skor asli dari para juri.
Questions
Frequently asked
- Bagaimana cara membandingkan model AI untuk menulis fiksi?
- Di Novelmint, buka tab Bake-off di halaman Model AI dan pilih dua sampai lima model. Masing-masing menulis adegan standar yang sama dari benchmark fiksi publik, panel juri menilai setiap tulisan secara buta, dan kamu membacanya berdampingan.
- Apakah bake-off memakai bukuku sendiri?
- Tidak. Setiap model menulis adegan standar benchmark, jadi hasilnya membandingkan hal yang setara dan naskahmu tidak ikut dalam run. Untuk melihat bagaimana sebuah model menangani babmu sendiri, pilih model itu untuk sebuah serial dan lakukan build.Pilih model AI-mu
- Bisakah saya menguji model dengan kunci API saya sendiri?
- Bisa. Model dasar apa pun yang dapat dijangkau kunci tersimpanmu bisa ikut bake-off, dan tulisannya berjalan di kunci milikmu. Model yang kamu fine-tune sendiri tidak diikutkan, sehingga para juri selalu melihat model sebagaimana dibuat oleh pembuatnya.Bawa kunci AI-mu sendiri
- Siapa yang menilai tulisannya?
- Panel model juri yang sama dengan benchmark publik Novelmint. Mereka menilai setiap tulisan tanpa melihat model mana yang menulisnya, dan seorang juri tidak pernah menilai model dari pembuatnya sendiri.
- Berapa biaya sebuah bake-off?
- Penilaian, dan tulisan apa pun dari model Novelmint, memakai kredit sesuai biaya AI bagi Novelmint, tanpa markup. Menulis dengan kunci milikmu sendiri tidak memakai kredit. Kamu melihat harganya sebelum mulai, dan tidak akan pernah dikenai biaya lebih dari itu.Harga
- Apakah hasilku menjadi publik?
- Skormu, bukan tulisannya, bisa membantu meranking model di benchmark publik. Kamu bisa mematikannya di tab ini, dan mematikannya juga menarik kembali skor dari run-run sebelumnya.
- Bagaimana cara memakai model yang menang?
- Tekan "Gunakan untuk Build" pada tulisannya. Dari sebuah serial, serial itu kini di-build dengannya. Dari Studio-mu, model itu menjadi default untuk setiap serial yang belum punya model sendiri.
What this page does not claim
- Bake-off berjalan pada adegan standar benchmark, bukan pada naskahmu.
- Beberapa adegan hanyalah sampel. Model yang menang di run singkat belum tentu cocok untuk setiap bab bukumu.
- Para juri menilai kerajinan menulis dan kesetiaan pada brief. Suka tidaknya kamu pada suaranya tetap keputusanmu, itulah sebabnya kamu membaca tulisannya sendiri.
- Adegan, skor, dan label pada contoh di halaman ini adalah rekaan. Semuanya bukan keluaran dari run sungguhan.
Keep reading
Benchmark di baliknya
Bake-off adalah benchmark fiksi publik yang kamu jalankan sendiri pada model yang kamu pedulikan. Skor dari run-mu bisa membantu meranking model untuk semua orang, itulah sebabnya penilaian dihargai sesuai biayanya.
Terkait
Rencanakan buku bersama Minty
Ceritakan kisahmu dan saksikan ia berubah menjadi bab dan adegan di Timeline-mu.
Pembangunan bab
Ubah beat sebuah bab menjadi prosa, ditulis dari rencanamu, panduan ceritamu, dan suaramu.
Bawa kunci AI Anda sendiri
Bangun bab dengan kunci Anthropic, OpenAI, Google, xAI, atau OpenRouter milik Anda sendiri, atau dengan AI yang termasuk dalam kredit Anda. Pilihan Anda, per serial.
Pilih model AI-mu
Pilih model AI yang menulis seri Anda, dibandingkan berdasarkan kualitas tulisan dan biaya yang terukur, dan sematkan model berbeda pada satu beat mana pun.