Novelmint 小说评测基准衡量的是模型卡从未涉及的一件事：模型是否能写出读者不会略过的场景。它不是借用数学或编程测试的排行榜——它对真实的小说散文进行评分。以下是数据生成的完整方式，供你自行权衡、放心引用。
衡量内容
该基准评估前沿模型——来自 Anthropic、OpenAI、Google 和 xAI——的小说写作能力。不是推理能力，不是编程能力，也不是多项选择题的表现。每个模型接受相同的简报式小说节拍——包含必要元素、禁止知识、叙事视角和戏剧目标的场景——其写作结果以编辑阅读小说的方式加以评判。
每个维度均采用 0–100 的单一量表，使不同模型之间、以及书中各类场景之间的数据可直接比较。
九个维度
小说并非单一技能，因此基准不将其归并为一个数字。它从九个维度进行评分，分为含义不同的两大类别。
四个技艺维度衡量模型写作的质量，与题材无关：文学性（句子层面的意象、节奏、潜台词与克制）、对话（人物是否听起来各具特色）、忠实度（对简报节拍的还原程度——保留必要元素、排除禁止知识）以及节奏（对动势的把控——何时压缩，何时停驻）。
五个内容维度衡量模型擅长写作的场景类型：情感、肢体感（动作与身体在空间中的呈现）、冲突、浪漫以及情色（明确的成人内容）。这些不是优劣排名——它们表明模型适合何种写作。一个模型可能句子优美，却写不出有力的打斗场景，这正是技艺与内容分别评分、分别呈现、绝不平均为单一误导性数字的原因。
每个模型的评分方式
评分采用盲审同行评议制度。每个模型写作相同的简报节拍，由一组来自不同服务商的强力裁判模型对每段文本在各维度上进行 0–100 的评分——裁判不知道是哪个模型所写，且从不评判来自本家服务商的段落。最后一条规则至关重要：来自模型家族之外的裁判能捕捉到该家族惯于奖励的风格特征，因此每个模型收到的分数均来自真正的外部裁判，而非同门裁判。
由于评判是盲审且跨模型进行，模型无法自我美化，也没有任何单一的写作风格能主导标准。
控制裁判偏差
以模型评判模型会引发四种公认的失效模式，该方法专为逐一规避而设计。
自我偏好——模型倾向于奖励本家的写作风格。一条规则从根源上消除了这一问题：裁判绝不评分来自本家服务商的段落——不仅是同一具体模型，而是同一家族的任何模型。因此每个模型收到的分数均来自外部，那里本家的风格特征一览无余而非视而不见。任何家族的品味都无法抬高自己的分数。
冗长偏好——裁判会可靠地过度奖励篇幅。每个节拍的目标字数相同，大约 220 词，因此所有段落篇幅几乎一致，堆砌内容毫无益处。模型凭借在这些字数内的表现赢得分数，而非靠字数取胜。
顺序效应——段落出现的顺序可能使评分偏向最先出现的内容。因此段落在每个节拍中重新标记并随机排列，每段依据固定评分标准单独评分，而非相互排名。顺序不携带任何信号，任何残余偏差都会在众多节拍和众多裁判中被平均消除。
采样偏差——单次幸运草稿可能美化模型表现。生成以每个模型的默认温度在相同提示下进行，不做任何针对特定模型的调参，因此没有模型能获得其他模型得不到的精心挑选的设置。且每个单元格不依赖单一草稿：每个模型在完整节拍集上由评审组中其他所有模型评分，然后向中性基线收缩，直到积累足够多的测量数据——因此单次草稿的运气在数字发布前早已被消除。
为何按置信度对分数进行收缩
来自少量段落的原始平均值是噪声，而将噪声包装成分数比没有分数更糟糕。因此，每个已发布的数字都会按其背后数据量的多寡向中性 70 基线收缩——正式而言，相当于一个权重为五次观测的先验。由三次幸运采样支撑的单元格，在积累足够测量数据之前，读数接近平均水平；由数百次测量支撑的单元格，则反映其真实测量值。
每个数字背后的样本量均予以展示，任何基于不足六次观测的单元格均标记为暂定。这正是数据稀少的模型绝不会因侥幸而跃居榜首的原因——该方法不允许这种情况发生。
表格如何保持最新
该基准并非一次性运行后便冻结的测试。它是平台所依托评分库的实时投影：新的裁判观测数据滚动进入运行均值，每个单元格的样本数随时间增长，因此表格不断精化而非老化。页面始终显示最近一次重新校准的日期。
有一项保障措施对准确性至关重要。当一个持久别名（"最新"指针）悄然指向新的底层模型时，该模型的单元格将被重置并从头重新测量，而非与其所取代的模型数据混合——因此版本更替绝不会悄悄污染某一列的数据。这也是基准注明具体测量版本而非通用标签的原因。
局限性
这些分数仅描述在特定模型和提示集评判下、小说节拍上的散文表现。它们不是模型服务商官方认可的评级，也不涉及模型在写作场景之外的推理能力、准确性或安全性。模型名称及商标归各自所有者所有；本测评为独立测量。
有两种解读容易产生误差。情色维度的低分通常反映的是意愿——模型拒绝或转向生硬表述——而非技艺的失败。置信度低的分数意味着"尚未得到验证"，而非"已被证明较弱"。请务必将数字与样本量一同阅读，并记住，最适合你书稿的模型取决于你的书稿侧重哪些维度——这正是表格将各维度分开呈现的全部意义所在。