Novelmintのフィクションベンチマークは、モデルカードが決して測定しないただひとつのことを測る。それは、読者が読み飛ばさないシーンをモデルが書けるかどうかだ。数学やコーディングテストから借用したリーダーボードではなく、実際の小説散文を採点する。数値がどのように算出されるかをここで詳しく説明するので、自分自身で判断し、自信を持って引用できるようにしてほしい。
何を測定するか
このベンチマークは、Anthropic、OpenAI、Google、xAIのフロンティアモデルがどれほどうまくフィクションを書けるかを採点する。推論能力でも、コーディング能力でも、多肢選択式テストの成績でもない。各モデルには同じブリーフィングされた小説のビートが与えられる――必須要素、禁止知識、視点、劇的な目標を持つシーン――そして書かれた内容は、編集者が読むようにフィクションとして審査される。
すべては軸ごとに0〜100の単一スケールで表されるため、モデル間でも、実際の本を構成するシーンの種類間でも、数値を直接比較できる。
9つの軸
フィクションは単一のスキルではないため、ベンチマークはそれをひとつの数値に集約しない。9つの軸を採点し、異なる意味を持つ2つのファミリーに分けられる。
4つのクラフト軸は、テーマに関わらずモデルがどれほど上手く書けるかを測定する。literary（文レベルのイメージ、リズム、サブテキスト、抑制）、dialogue（キャラクターが個別の人物として聞こえるか）、fidelity（ブリーフィングされたビートを正確にどれほど忠実に再現し、必須要素を含め禁止知識を除外するか）、pacing（モメンタムのコントロール――いつ圧縮し、いつ丁寧に描写するか）だ。
5つのコンテンツ軸は、モデルがどのような種類のシーンを得意とするかを測定する。emotion、physicality（アクションと空間における身体）、conflict、romance、eroticism（露骨な成人向けコンテンツ）だ。これらは優劣のランキングではなく、モデルが何に適しているかを示す。美しい文章を書けるモデルでも、格闘シーンが平板なことがある。だからこそクラフトとコンテンツは別々に採点・報告され、誤解を招く単一の数値に平均化されることはない。
各モデルの採点方法
採点はブラインドのピアレビューだ。各モデルが同じブリーフィングされたビートのセットを書き、強力でプロバイダー多様性のある審査モデルのパネルが、どのモデルが書いたかを知らずに、しかも自分のプロバイダーのパッセージは一切審査せずに、各パッセージを各軸で0〜100で評価する。この最後のルールが重要だ。モデル自身のファミリー外の審査者は、そのファミリーが褒め称えがちな特徴を捉えるため、モデルが受けるすべてのスコアは同じ家の仲間からではなく、真に外部の審査者から来ることになる。
審査がブラインドかつクロスモデルであるため、モデルは自分自身を過大評価できず、単一のハウススタイルが標準を決めることもない。
審査バイアスのコントロール
モデルを使ってモデルを審査することには、よく知られた4つの失敗モードがあり、この手法はそれぞれを塞ぐように構築されている。
自己優先 ― モデルは自分のハウススタイルを優遇する傾向がある。ひとつのルールがその根本を取り除く。審査者は自分のプロバイダーのパッセージを採点しない――自分のモデルだけでなく、同じファミリーの何であっても。したがって、モデルが受けるすべてのスコアは自分のハウスの外から来る。そこではそのハウスの特徴が見えにくいのではなく、はっきり見える。どのファミリーの好みも、自分たちの数値を水増しできない。
冗長性 ― 審査者は一貫して長さを過剰に評価する。すべてのビートは同じターゲット（おおよそ220語）でブリーフィングされるため、すべてのパッセージはほぼ同じサイズで届き、水増しは何の利益ももたらさない。モデルはその言葉数で何をするかで得点を稼ぐのであり、何語を費やしたかではない。
ポジション ― パッセージが表示される順序は、最初に来たものへのスコアを微妙に傾けることがある。そのため、パッセージはすべてのビートでラベルを付け替えてシャッフルされ、頭対頭のランキングではなく固定のルーブリックに対して個別に採点される。順序はシグナルを持たず、残留するドリフトも多くのビートと多くの審査者にわたって平均化される。
サンプリング ― 運のいい単一の草稿はモデルを美化する可能性がある。生成は各モデルのデフォルト温度で同一のプロンプトを使って実行され、モデルごとの調整はなく、他のモデルが受けていないチェリーピックされた設定をどのモデルも与えられない。そして、いかなるセルも単一の草稿に依存しない。各モデルはパネルの他のすべてのモデルによってビートセット全体で採点され、十分な測定が蓄積されるまでニュートラルなベースラインに向かって縮小される。そのため、単一草稿の運は数値が公開されるずっと前に薄まる。
スコアが信頼度によって縮小される理由
少数のパッセージからの生の平均はノイズであり、スコアに偽装されたノイズはスコアがないより悪い。そのため、すべての公開数値は背後にあるデータが少ないほど、ニュートラルな70のベースラインに向かって縮小される――正式には5観測分の事前分布だ。3つの幸運なサンプルに基づくセルは、十分な測定が場を得るまでほぼ平均として読まれ、数百に基づくセルは真の実測値として読まれる。
すべての数値の背後にあるサンプルサイズが表示され、まだ6未満の観測に基づいているセルはプロビジョナルとしてフラグ立てされる。これが、薄いデータを持つモデルが偶然に首位に躍り出ることがない理由だ――この手法がそれを許さない。
グリッドが最新状態を保つ方法
ベンチマークは一度実行されて凍結された単発のテストではない。プラットフォームが稼働するスコアリングストアのライブプロジェクションだ。新しい審査観測値は実行中の平均に組み込まれ、各セルのサンプル数は時間とともに増えるため、グリッドは古びるのではなく精度を増す。ページには常に最新の再キャリブレーションの日付が表示される。
精度のために重要なひとつのセーフガードがある。永続的なエイリアス（「latest」ポインター）が静かに新しい基盤モデルを指し直すとき、そのモデルのセルは置き換えたモデルのデータと混合されるのではなく、ゼロからリセットされて再測定される。そのため、バージョン変更がひっそりとカラムを汚染することはない。これはまた、ベンチマークが汎用ラベルではなく測定した特定バージョンを名指しする理由でもある。
制限事項
スコアは、このモデルとプロンプトのセットに対して審査された、フィクションビートの散文のみを説明する。モデルプロバイダーが公認した公式評価ではなく、執筆コンテキスト外でのモデルの推論、正確性、安全性については何も述べていない。モデル名と商標はそれぞれの所有者に帰属する。これは独立した測定だ。
誤読しやすい点が2つある。低いeroticismスコアは通常、クラフトの失敗ではなく、意欲――モデルが断るか臨床的になること――を反映している。そして低信頼度スコアは「まだ証明されていない」を意味し、「弱いと証明された」ではない。常に数値をそのサンプルサイズと合わせて読み、あなたの本にとって最良のモデルはあなたの本がどの軸に依存するかによることを忘れないでほしい――それこそがグリッドが軸を別々に保つ理由だ。