Novelmint 픽션 벤치마크는 모델 카드가 결코 측정하지 않는 단 한 가지를 측정합니다. 바로 독자가 건너뛰지 않을 장면을 모델이 쓸 수 있는지 여부입니다. 이것은 수학이나 코딩 테스트에서 빌려온 리더보드가 아닙니다 — 실제 소설 산문을 평가합니다. 아래에서는 수치가 어떻게 산출되는지 정확히 설명하므로, 직접 판단하고 자신 있게 인용할 수 있습니다.
측정 대상
이 벤치마크는 Anthropic, OpenAI, Google, xAI의 최전선 모델들이 픽션을 얼마나 잘 쓰는지 평가합니다. 추론 능력, 코딩 실력, 객관식 시험 성과가 아닙니다. 각 모델에게는 동일하게 브리핑된 소설 비트 — 필수 요소, 금지된 지식, 시점, 극적 목표가 있는 장면 — 가 주어지며, 모델이 쓴 결과물은 편집자가 읽는 방식 그대로 픽션으로서 평가됩니다.
모든 것은 축별 0–100 단일 척도로 표현되므로, 수치는 모델 간에, 그리고 실제 책을 구성하는 다양한 장면 유형 간에 직접 비교할 수 있습니다.
9가지 축
픽션은 하나의 기술이 아니므로, 벤치마크는 이를 하나의 숫자로 축소하지 않습니다. 서로 다른 의미를 지닌 두 계열로 나뉜 9가지 축을 평가합니다.
네 가지 기교 축은 주제와 무관하게 모델이 얼마나 잘 쓰는지를 측정합니다: 문학성 (문장 수준의 이미지, 리듬, 행간, 절제), 대화 (등장인물들이 뚜렷한 개성을 가진 사람처럼 들리는지), 충실도 (브리핑된 비트를 얼마나 충실히 재현하는지 — 필수 요소는 포함하고 금지된 지식은 배제하는지), 페이싱 (흐름의 통제 — 언제 압축하고 언제 머물 것인지).
다섯 가지 내용 축은 모델이 어떤 종류의 장면을 잘 쓰는지를 측정합니다: 감정, 신체성 (행동과 공간 속 몸), 갈등, 로맨스, 에로티시즘 (명시적인 성인 콘텐츠). 이것은 우열을 가리는 순위가 아닙니다 — 모델이 무엇에 적합한지를 나타냅니다. 아름다운 문장을 구사하면서도 밋밋한 격투 장면을 쓸 수 있기 때문에, 기교와 내용은 각각 별도로 점수를 매기고 보고하며, 오해를 낳는 단일 수치로 평균 내지 않습니다.
각 모델의 점수 산출 방식
점수 산출은 블라인드 동료 검토 방식입니다. 각 모델은 동일한 브리핑 비트 세트로 글을 쓰고, 제공사가 다양한 심사 모델 패널이 어느 모델이 썼는지 모르는 상태에서 — 그리고 자신의 제공사가 만든 글은 절대 심사하지 않으면서 — 각 구절을 축별로 0–100으로 평가합니다. 마지막 규칙이 중요합니다: 모델의 제공사 외부에서 온 심사자는 해당 제공사가 선호하는 특성을 포착할 수 있으므로, 모델이 받는 모든 점수는 같은 집안이 아닌 진정한 외부 심사자로부터 나옵니다.
심사가 블라인드이고 교차 모델 방식이기 때문에, 모델은 스스로를 추켜세울 수 없으며, 어느 한 집안의 스타일이 기준을 독점하지 않습니다.
심사자 편향 통제
모델로 모델을 심사하는 방식에는 네 가지 잘 알려진 실패 유형이 있으며, 이 방법론은 각각을 차단하도록 설계되어 있습니다.
자기 선호 — 모델은 자신의 집안 스타일에 보상을 주는 경향이 있습니다. 하나의 규칙이 이를 근본부터 제거합니다: 심사자는 같은 제공사의 구절을 절대 평가하지 않습니다 — 자기 자신의 정확한 모델뿐 아니라 같은 계열의 어떤 모델도 마찬가지입니다. 따라서 모델이 받는 모든 점수는 자신의 집안 밖에서 오며, 그 집안의 특성은 보이지 않는 것이 아니라 드러납니다. 어느 계열의 취향도 자신의 수치를 부풀릴 수 없습니다.
장황함 — 심사자들은 길이에 과도한 보상을 주는 경향이 있습니다. 모든 비트는 약 220단어라는 동일한 목표를 브리핑하므로, 모든 구절이 거의 같은 분량으로 도착하며 분량 채우기는 아무런 이득이 없습니다. 모델은 얼마나 많은 단어를 쓰는지가 아니라, 그 단어들로 무엇을 하는지로 점수를 얻습니다.
순서 — 구절이 나타나는 순서가 점수를 먼저 온 것 쪽으로 유도할 수 있습니다. 그래서 구절은 매 비트마다 재명칭되고 뒤섞이며, 각각은 모델 간 순위가 아닌 고정된 루브릭에 따라 독립적으로 평가됩니다. 순서는 어떠한 신호도 담지 않으며, 잔여 편차는 많은 비트와 많은 심사자에 걸쳐 상쇄됩니다.
샘플링 — 단 한 번의 운 좋은 초안이 모델을 과대평가하게 할 수 있습니다. 생성은 동일한 프롬프트에서 각 모델의 기본 온도로 실행되며, 모델별 튜닝은 없으므로, 어떤 모델도 다른 모델이 갖지 못한 유리한 설정을 받지 않습니다. 그리고 어떤 셀도 하나의 초안에만 의존하지 않습니다: 모든 모델은 패널의 다른 모든 모델에 의해 전체 비트 세트에 걸쳐 평가된 후, 충분한 측정이 쌓일 때까지 중립 기준선 쪽으로 수축됩니다 — 따라서 초안 하나의 운은 수치가 공개되기 훨씬 전에 희석됩니다.
점수를 신뢰도에 따라 수축하는 이유
소수의 구절에서 얻은 단순 평균은 잡음이며, 점수로 포장된 잡음은 점수가 없는 것보다 오히려 나쁩니다. 그래서 공개된 모든 수치는 데이터가 얼마나 부족한지에 비례하여 중립 기준선인 70을 향해 수축됩니다 — 공식적으로는 다섯 번의 관측에 해당하는 사전 확률을 사용합니다. 세 번의 운 좋은 샘플에 기반한 셀은 충분한 측정이 자리를 확보할 때까지 대략 평균으로 읽히고, 수백 번의 측정에 기반한 셀은 실제 측정값으로 읽힙니다.
모든 수치의 샘플 크기가 표시되며, 여섯 번 미만의 관측에 아직 의존하는 셀은 잠정적인 것으로 표시됩니다. 이것이 데이터가 적은 모델이 요행으로 최상위에 갑자기 올라가지 않는 이유입니다 — 방법론이 그것을 허용하지 않습니다.
그리드를 최신 상태로 유지하는 방법
이 벤치마크는 한 번 실행하고 동결한 일회성 테스트가 아닙니다. 플랫폼이 운영하는 점수 저장소의 실시간 반영입니다: 새로운 심사자 관측이 누적 평균에 반영되고, 각 셀의 샘플 수는 시간이 지남에 따라 증가하므로, 그리드는 노후화되는 것이 아니라 정교해집니다. 페이지는 항상 가장 최근 재보정 날짜를 표시합니다.
정확성을 위해 중요한 안전장치가 하나 있습니다. 지속적인 별칭("latest" 포인터)이 조용히 새로운 기반 모델을 가리키도록 변경될 경우, 해당 모델의 셀은 이전 모델과 혼합되는 대신 초기화하고 처음부터 다시 측정됩니다 — 따라서 버전 변경이 조용히 열을 오염시키는 일은 없습니다. 이것이 벤치마크가 일반적인 라벨이 아닌 측정된 특정 버전의 이름을 기재하는 이유이기도 합니다.
한계
점수는 이 모델과 프롬프트 세트에 대해 픽션 비트에서의 산문만을 설명합니다. 이것은 모델 제공사가 공식적으로 인정한 평가가 아니며, 글쓰기 맥락 외의 모델 추론, 정확성, 안전성에 대해서는 아무것도 말하지 않습니다. 모델 이름과 상표는 각 소유자에게 귀속되며, 이것은 독립적인 측정입니다.
두 가지 해석은 쉽게 오해를 불러일으킬 수 있습니다. 낮은 에로티시즘 점수는 대개 기교의 실패가 아닌 의향 — 모델이 거부하거나 임상적으로 처리하는 것 — 을 반영합니다. 그리고 낮은 신뢰도 점수는 "아직 증명되지 않음"을 의미하지, "약하다고 증명됨"을 의미하지 않습니다. 항상 수치를 샘플 크기와 함께 읽으십시오. 그리고 여러분의 책에 가장 적합한 모델은 책이 어떤 축에 기대는가에 달려 있다는 점을 기억하십시오 — 이것이 바로 그리드가 축을 따로 유지하는 이유입니다.