Tolok ukur fiksi Novelmint mengukur satu hal yang tidak pernah dilakukan kartu model mana pun: apakah sebuah model mampu menulis adegan yang tidak akan dilewati pembaca. Ini bukan papan peringkat yang dipinjam dari uji matematika atau koding — tolok ukur ini menilai prosa novel yang sesungguhnya. Berikut adalah cara persis angka-angka tersebut dihasilkan, sehingga Anda dapat mempertimbangkannya sendiri dan mengutipnya dengan percaya diri.
Apa yang diukur
Tolok ukur ini menilai seberapa baik model-model mutakhir — dari Anthropic, OpenAI, Google, dan xAI — menulis fiksi. Bukan cara mereka bernalar, bukan cara mereka membuat kode, bukan cara mereka tampil dalam tes pilihan ganda. Setiap model diberi rangkaian beat novel yang sama — adegan dengan elemen yang diwajibkan, pengetahuan yang dilarang, sudut pandang, dan target dramatis — dan apa yang ditulisnya dinilai sebagai fiksi, seperti cara seorang editor membaca.
Semuanya dinyatakan dalam skala tunggal 0–100 per sumbu, sehingga angka-angka tersebut dapat dibandingkan secara langsung antara model satu dengan yang lain serta antara jenis-jenis adegan yang benar-benar membentuk sebuah buku.
Sembilan sumbu
Fiksi bukan satu keterampilan tunggal, sehingga tolok ukur ini tidak meringkasnya menjadi satu angka. Tolok ukur ini menilai sembilan sumbu, yang dibagi menjadi dua keluarga dengan makna yang berbeda.
Empat sumbu keahlian mengukur seberapa baik sebuah model menulis, terlepas dari subjeknya: literary (citra di tingkat kalimat, ritme, subteks, pengendalian diri), dialogue (apakah karakter terdengar seperti orang-orang yang berbeda), fidelity (seberapa setia model merender beat yang telah di-brief, menjaga elemen wajib tetap ada dan pengetahuan terlarang tetap di luar), dan pacing (kendali atas momentum — kapan harus mempercepat, kapan harus berlama-lama).
Lima sumbu konten mengukur jenis adegan apa yang ditulis model dengan baik: emotion, physicality (aksi dan tubuh dalam ruang), conflict, romance, dan eroticism (konten dewasa eksplisit). Ini bukan peringkat lebih baik atau lebih buruk — sumbu-sumbu ini menunjukkan untuk apa sebuah model cocok digunakan. Sebuah model bisa memiliki kalimat yang indah namun tetap menulis adegan pertarungan yang datar, itulah mengapa keahlian dan konten dinilai serta dilaporkan secara terpisah dan tidak pernah dirata-ratakan menjadi satu angka tunggal yang menyesatkan.
Cara setiap model dinilai
Penilaian dilakukan secara peer review yang buta. Setiap model menulis kumpulan beat yang sama, dan panel model-model juri yang kuat dan beragam penyedianya menilai setiap bagian dengan skala 0–100 pada setiap sumbu — tanpa mengetahui model mana yang menulisnya, dan tidak pernah menilai bagian mana pun dari penyedia mereka sendiri. Aturan terakhir itu penting: juri dari luar keluarga model sendiri menangkap ciri khas yang cenderung dihargai oleh keluarga tersebut, sehingga setiap skor yang diterima model berasal dari juri yang benar-benar asing, bukan dari penghuni rumah yang sama.
Karena penilaian bersifat buta dan lintas model, sebuah model tidak dapat menyanjung dirinya sendiri, dan tidak ada satu pun gaya rumah tertentu yang menetapkan standar.
Mengendalikan bias juri
Menggunakan model untuk menilai model mengundang empat mode kegagalan yang sudah dikenal, dan metode ini dirancang untuk menutup setiap satu di antaranya.
Preferensi diri — sebuah model cenderung menghargai gaya rumahnya sendiri. Satu aturan menghilangkannya dari akar: seorang juri tidak pernah menilai bagian dari penyedianya sendiri — bukan hanya model persis miliknya sendiri, tetapi apa pun dari keluarga yang sama. Sehingga setiap skor yang diterima model berasal dari luar rumahnya sendiri, di mana ciri khas rumah tersebut terlihat jelas, bukan tersembunyi. Selera keluarga mana pun tidak dapat menggembungkan angkanya sendiri.
Verbositas — juri secara andal memberikan penghargaan berlebihan pada panjang tulisan. Setiap beat mem-brief target yang sama, sekitar 220 kata, sehingga semua bagian hadir dalam ukuran yang hampir sama dan pengisi kata tidak membeli apa pun. Sebuah model mendapatkan skornya berdasarkan apa yang dilakukannya dengan kata-kata tersebut, bukan berdasarkan berapa banyak yang dihabiskannya.
Posisi — urutan kemunculan bagian dapat mendorong skor ke arah apa pun yang muncul pertama. Oleh karena itu, bagian-bagian diberi label ulang dan diacak untuk setiap beat, dan masing-masing dinilai sendiri berdasarkan rubrik tetap alih-alih dibandingkan satu sama lain. Urutan tidak membawa sinyal apa pun, dan setiap pergeseran sisa rata-rata keluar di banyak beat dan banyak juri.
Pengambilan sampel — satu draf yang beruntung dapat menyanjung sebuah model. Generasi berjalan pada suhu default setiap model dengan prompt yang identik, tanpa penyesuaian per model, sehingga tidak ada model yang diberikan pengaturan pilihan yang tidak diperoleh model lain. Dan tidak ada sel yang bergantung pada satu draf: setiap model dinilai di seluruh kumpulan beat oleh setiap model lain dalam panel, kemudian diciutkan ke arah baseline netral hingga cukup banyak pengukuran terakumulasi — sehingga keberuntungan satu draf lenyap jauh sebelum angka diterbitkan.
Mengapa skor diciutkan berdasarkan kepercayaan
Rata-rata mentah dari sejumlah kecil bagian adalah kebisingan, dan kebisingan yang didandani sebagai skor lebih buruk daripada tidak ada skor sama sekali. Sehingga setiap angka yang diterbitkan diciutkan ke arah baseline netral 70 secara proporsional dengan seberapa sedikit data yang mendukungnya — secara formal, sebuah prior senilai lima observasi. Sel yang didukung oleh tiga sampel yang beruntung terbaca sebagai rata-rata hingga cukup banyak pengukuran layak mendapatkan tempatnya; sel yang didukung oleh ratusan terbaca sebagai nilai terukur sebenarnya.
Ukuran sampel di balik setiap angka ditampilkan, dan setiap sel yang masih bergantung pada kurang dari enam observasi ditandai sebagai sementara. Inilah mengapa model dengan data tipis tidak pernah melesat ke puncak karena keberuntungan — metode ini tidak mengizinkannya.
Cara grid tetap terkini
Tolok ukur ini bukan tes satu kali yang dijalankan dan dibekukan. Ini adalah proyeksi langsung dari penyimpanan skor yang dijalankan platform: observasi juri baru terlipat ke dalam rata-rata yang berjalan, dan jumlah sampel setiap sel bertumbuh seiring waktu, sehingga grid semakin tajam alih-alih menua. Halaman ini selalu menampilkan tanggal kalibrasi ulang terbaru.
Satu pengamanan penting untuk akurasi. Ketika alias yang tahan lama (penunjuk "latest") secara diam-diam menunjuk ke model dasar baru, sel-sel model tersebut direset dan diukur ulang dari awal alih-alih dicampurkan dengan model yang digantikannya — sehingga perubahan versi tidak pernah secara diam-diam merusak sebuah kolom. Inilah juga alasan mengapa tolok ukur ini menyebutkan versi spesifik yang diukur, bukan label umum.
Keterbatasan
Skor-skor ini menggambarkan prosa pada beat fiksi saja, dinilai berdasarkan kumpulan model dan prompt ini. Skor-skor ini bukan peringkat resmi yang didukung oleh penyedia model, dan tidak mengatakan apa pun tentang penalaran, akurasi, atau keamanan model di luar konteks penulisan. Nama model dan merek dagang adalah milik pemiliknya masing-masing; ini adalah pengukuran independen.
Dua pembacaan mudah disalahartikan. Skor eroticism yang rendah biasanya mencerminkan kesediaan — model yang menolak atau menjadi klinis — bukan kegagalan keahlian. Dan skor dengan kepercayaan rendah berarti "belum terbukti", bukan "terbukti lemah". Selalu baca angka bersama dengan ukuran sampelnya, dan ingat bahwa model terbaik untuk buku Anda bergantung pada sumbu mana yang menjadi tumpuan buku Anda — itulah seluruh alasan grid memisahkannya.