Бенчмарк художественной прозы Novelmint измеряет то единственное, чего никогда не делают карточки моделей: способна ли модель написать сцену, которую читатель не захочет пропустить. Это не таблица лидеров, заимствованная из математических или программистских тестов, — он оценивает настоящую романную прозу. Ниже подробно описано, как получаются эти цифры, чтобы вы могли взвесить их самостоятельно и ссылаться на них с уверенностью.
Что измеряется
Бенчмарк оценивает, насколько хорошо ведущие модели — от Anthropic, OpenAI, Google и xAI — пишут художественную прозу. Не то, как они рассуждают, не то, как они программируют, не то, как они справляются с тестами с множественным выбором. Каждая модель получает одинаковое задание с заданными сюжетными опорами — сцены с обязательными элементами, запрещёнными знаниями, точкой зрения и драматической целью, — а написанное оценивается как художественная проза, так, как её читает редактор.
Всё выражается в единой шкале от 0 до 100 по каждой оси, поэтому цифры напрямую сопоставимы между моделями и между типами сцен, из которых на самом деле состоит книга.
Девять осей
Художественное письмо — не один навык, поэтому бенчмарк не сводит его к одному числу. Оцениваются девять осей, разделённых на два семейства с разным смыслом.
Четыре оси мастерства измеряют, насколько хорошо модель пишет, независимо от темы: литературность (образность на уровне предложения, ритм, подтекст, сдержанность), диалог (звучат ли персонажи как самобытные люди), точность (насколько верно передана заданная сюжетная опора с соблюдением обязательных элементов и исключением запрещённых знаний) и темп (управление динамикой — когда сжимать, когда задерживаться).
Пять осей содержания измеряют, какой тип сцены модель пишет хорошо: эмоции, телесность (действие и тело в пространстве), конфликт, романтика и эротика (явный контент для взрослых). Это не ранжирование по принципу «лучше — хуже»: они показывают, для чего модель подходит. Модель может писать красивые предложения и при этом создавать плоские сцены драки — именно поэтому оси мастерства и содержания оцениваются и публикуются раздельно и никогда не усредняются в одну вводящую в заблуждение цифру.
Как оценивается каждая модель
Оценивание — это слепое рецензирование. Каждая модель пишет одинаковый набор заданных сюжетных опор, и группа сильных разнообразных судейских моделей оценивает каждый отрывок по шкале 0–100 по каждой оси — не зная, какая модель его написала, и никогда не оценивая отрывки своего провайдера. Последнее правило принципиально: судья из другого семейства замечает характерные особенности, которые родное семейство склонно вознаграждать, поэтому каждая оценка, которую получает модель, приходит от по-настоящему стороннего судьи, а не от «соседа по дому».
Поскольку оценивание слепое и межмодельное, модель не может льстить себе сама, и ни один внутрикорпоративный стиль не задаёт стандарт.
Контроль предвзятости судей
Использование моделей для оценки других моделей порождает четыре хорошо известных сбоя, и метод выстроен так, чтобы исключить каждый из них.
Предпочтение собственного стиля — модель склонна вознаграждать свой внутрикорпоративный стиль. Одно правило устраняет это в корне: судья никогда не оценивает отрывок своего провайдера — не только свою конкретную модель, но и любую из того же семейства. Таким образом, каждая оценка, полученная моделью, приходит извне её собственного «дома», где характерные особенности этого «дома» заметны, а не невидимы. Вкус ни одного семейства не может завышать его собственные цифры.
Многословие — судьи надёжно переоценивают объём. Каждая сюжетная опора предполагает одинаковый целевой объём, примерно 220 слов, поэтому все отрывки поступают почти одинакового размера и «водяной» текст ничего не даёт. Модель зарабатывает оценку тем, что делает с этими словами, а не тем, сколько их тратит.
Позиция — порядок появления отрывков может склонять оценки в пользу того, что пришло первым. Поэтому отрывки переименовываются и перемешиваются для каждой сюжетной опоры, и каждый оценивается самостоятельно по фиксированной рубрике, а не в сравнении друг с другом. Порядок не несёт никакого сигнала, а любое остаточное смещение усредняется по множеству опор и множеству судей.
Сэмплирование — один удачный черновик может льстить модели. Генерация выполняется при температуре по умолчанию для каждой модели на идентичном промпте без индивидуальной настройки, поэтому ни одна модель не получает специально подобранной настройки, которой нет у других. И ни одна ячейка не основана на одном черновике: каждая модель оценивается по всему набору сюжетных опор каждой другой моделью панели, а затем сдвигается к нейтральному базовому значению до накопления достаточного количества измерений — поэтому удача одного черновика нивелируется задолго до публикации числа.
Почему оценки корректируются с учётом уверенности
Сырое среднее по нескольким отрывкам — это шум, а шум, наряженный в оценку, хуже, чем отсутствие оценки вовсе. Поэтому каждое опубликованное число сдвигается к нейтральному базовому значению 70 пропорционально тому, насколько мало данных за ним стоит — формально, априорное значение, равное пяти наблюдениям. Ячейка, основанная на трёх удачных образцах, читается как примерно средняя до тех пор, пока достаточное количество измерений не обеспечит ей место; ячейка, основанная на сотнях образцов, читается как истинное измеренное значение.
Размер выборки за каждым числом отображается, и любая ячейка, по-прежнему основанная менее чем на шести наблюдениях, помечается как предварительная. Именно поэтому модель с небольшим объёмом данных никогда не вырывается на вершину благодаря случайности — метод этого не допускает.
Как поддерживается актуальность таблицы
Бенчмарк — это не одноразовый тест, который был проведён и заморожен. Это живая проекция хранилища оценок, на котором работает платформа: новые наблюдения судей вливаются в скользящее среднее, и счётчик выборки каждой ячейки растёт со временем, поэтому таблица уточняется, а не устаревает. На странице всегда указана дата последней перекалибровки.
Одна мера защиты важна для точности. Когда постоянный алиас (указатель «latest») тихо переключается на новую базовую модель, ячейки этой модели сбрасываются и измеряются заново с нуля, а не смешиваются с данными модели, которую она заменила, — поэтому смена версии никогда незаметно не искажает столбец. По этой же причине бенчмарк указывает конкретную измеренную версию, а не обобщённое название.
Ограничения
Оценки описывают прозу только на художественных сюжетных опорах, оцениваемую данным набором моделей и промптов. Это не официальные рейтинги, одобренные провайдерами моделей, и они ничего не говорят о рассуждениях, точности или безопасности модели вне контекста написания текстов. Названия моделей и торговые марки принадлежат их соответствующим владельцам; это независимое измерение.
Два типа интерпретации легко понять неверно. Низкая оценка по оси эротика обычно отражает готовность — модель отказывается или переходит к клиническому языку, — а не провал мастерства. А низкоуверенная оценка означает «ещё не доказано», а не «доказана слабость». Всегда читайте число вместе с размером его выборки и помните, что лучшая модель для вашей книги зависит от того, на какие оси опирается ваша книга, — именно для этого таблица и держит их раздельно.