フィクションでAIモデルを自分でテストし、勝者でビルドしよう
Last checked against the product November 10, 2026
リーダーボードが示すのは、平均して最も高得点だったモデルです。あなたが読んで心地よいモデルまでは分かりません。Bake-offなら確かめられます。Novelmintのモデル、OpenRouterの幅広いリスト、ご自身のAPIキーのモデルから2〜5つ選ぶと、それぞれが公開フィクションベンチマークの同じ場面を書きます。審査員のパネルがすべての文章をブラインドで採点し、あなたは並べて読めます。希望すればモデル名は伏せたままです。気に入ったモデルが見つかったら、ワンクリックでシリーズのビルド用モデルに設定できます。
Key takeaways
- Bake-offは、あなたが選んだ2〜5つのモデル(Novelmintのモデル、OpenRouterリストの任意のモデル、ご自身のAPIキーのモデル)でNovelmintのフィクションベンチマークを実行します。
- どのモデルにも、ベンチマークの標準的な場面から選んだ同じ指示が各場面で与えられるため、公平な比較になります。
- ベンチマーク独自の審査員パネルが各文章をブラインドで採点し、審査員が自社製モデルを採点することはありません。
- 文章を並べて読め、選ぶまでモデル名を伏せることもでき、実行結果全体をファイルとして保存できます。
- 「ビルドに使う」をワンクリックすると、勝者がそのシリーズのモデル、またはすべてのシリーズに適用するStudioのデフォルトになります。
What it does
Bake-offでできること
最大5つのモデルを同時に比較
Novelmintで計測済みのモデル、「その他のモデル」リストにあるスコア未計測のモデル、そしてご自身のキーで利用できるベースモデルを自由に組み合わせられます。
全員が同じシーンを執筆
各ラウンドで、すべてのモデルがベンチマークの標準シーンをいくつか執筆します。対象はこれまでのスコアが最も少ないシーンです。一度に実行するラウンド数は自由に選べます。
ブラインド採点
公開ベンチマークと同じ審査員パネルが、どのモデルが書いたかを知らされないまま各文章を採点します。自社モデルの文章を採点することはありません。スコアは0〜100で、シーンが狙いをどれだけ果たしているかと、指示にどれだけ忠実だったかを合わせた値です。
あなたもブラインドで読める
「選ぶまでモデル名を隠す」にチェックを入れると、文章はモデルA、モデルBのように表示されます。評判より先に、文章そのものを評価できます。
証拠を残す
実行結果は、どのモデルがどれかを示す対応表付きのファイルとして保存できます。過去のベイクオフもタブに一覧で残ります。
そのままビルドへ
気に入った文章で「ビルドに使う」を押します。シリーズから押せばそのシリーズのモデルに、Studioから押せば全シリーズの既定モデルに設定されます。
How to use it
実行の流れ
ベイクオフタブを開く
AIモデルページにあり、Studioでも各シリーズでも利用できます。
2〜5個のモデルを選ぶ
Novelmintのモデル、より広範なOpenRouterのリスト、そして「アカウント」の「AIキー」に保存したAPIキーで使えるモデルから検索できます。
ラウンド数を選び、料金を確認
開始前に、タブに実行の料金と所持クレジット数が表示されます。
実行して読む
実行が終わったら、各シーンの文章を語数とスコアとともに並べて読みます。ブラインドで読みたい場合は名前を隠してください。
勝ったモデルを使う
選びたい文章で「ビルドに使う」を押します。次の章のビルドからそのモデルが使われます。
Example
結果のイメージ
You ask
ベンチマークのシーンの一例:疎遠だった二人の姉妹が父の葬儀で再会するが、どちらも来た目的を口にできない。
You get back
- モデルA:231語、スコア78。沈黙で場面を支え、指示にも厳密に沿っています。
- モデルB:214語、スコア71。会話は力強いものの、最後の一行で姉妹の一人が言わずにおくべきことを口にしてしまいます。
- モデルC:226語、スコア64。情景は鮮やかですが、感情は見せるより語りすぎています。
- モデルAを選ぶとモデル名が明かされ、「ビルドに使う」でシリーズのモデルに設定されます。
結果の形を示すための例で、シーン、スコア、ブラインドラベルはすべて架空です。実際の実行ではベンチマークの本物のシーンと審査員の実際のスコアが使われます。
Questions
Frequently asked
- 小説執筆に使うAIモデルを比較するには?
- Novelmintで、AIモデルページのベイクオフタブを開き、2〜5個のモデルを選びます。各モデルが公開フィクションベンチマークの同じ標準シーンを執筆し、審査員パネルがすべての文章をブラインドで採点します。あとは並べて読み比べるだけです。
- ベイクオフではご自身の作品を使いますか?
- いいえ。すべてのモデルがベンチマークの標準シーンを書くため、同じ条件で比較でき、原稿が実行に使われることはありません。ご自身の章での出来を見たい場合は、シリーズ用にそのモデルを選んでビルドしてください。AIモデルを選ぶ
- ご自身のAPIキーでモデルを試せますか?
- はい。保存したキーで利用できるベースモデルはどれでもベイクオフに参加でき、執筆はご自身のキーで行われます。ご自身でファインチューニングしたモデルは対象外です。審査員が常に開発元の作ったままのモデルを見られるようにするためです。ご自身のAIキーを使う
- 文章を審査するのは誰ですか?
- Novelmintの公開ベンチマークと同じ審査員モデルのパネルです。どのモデルが書いたかを知らされずに各文章を採点し、自社の開発元のモデルを採点することはありません。
- ベイクオフの費用は?
- 審査と、Novelmintのモデルによる執筆には、NovelmintがAIに支払う実費どおり、上乗せなしでクレジットがかかります。ご自身のキーでの執筆にクレジットはかかりません。開始前に料金が表示され、それを超えて請求されることはありません。料金
- 結果は公開されますか?
- 公開ベンチマークのモデル順位づけに役立つ場合があるのはスコアのみで、文章が公開されることはありません。これはタブでオフにでき、オフにすると過去の実行分のスコアも取り下げられます。
- 勝ったモデルはどう使えばいいですか?
- そのモデルの文章で「ビルドに使う」を押します。シリーズから押せば、そのシリーズが以後そのモデルでビルドされます。Studioから押せば、独自のモデルを持たないすべてのシリーズの既定になります。
What this page does not claim
- ベイクオフはベンチマークの標準シーンで実行され、あなたの原稿は使われません。
- 数シーンはあくまで標本です。短い実行で勝ったモデルが、作品のすべての章に合うとは限りません。
- 審査員が採点するのは技巧と指示への忠実さです。その文体を気に入るかどうかはあなた次第なので、ぜひご自身で文章を読んでください。
- このページの例にあるシーン、スコア、ラベルはすべて架空のもので、実際の実行結果ではありません。
Keep reading
背景にあるベンチマーク
ベイクオフは、公開のフィクションベンチマークを、気になるモデルを対象にご自身で実行するものです。実行で得られたスコアは全ユーザー向けのモデル順位づけに役立つ場合があり、そのため審査費用は実費でご提供しています。