Novelmint kurgu kıyaslaması, model kartlarının hiçbir zaman ölçmediği tek şeyi ölçer: bir modelin, okuyucunun atlamayacağı bir sahne yazıp yazamayacağını. Bu, matematik veya kodlama testlerinden ödünç alınmış bir liderlik tablosu değildir — gerçek roman düzyazısını puanlar. Sayıların tam olarak nasıl üretildiği aşağıda açıklanmıştır; böylece bunları kendiniz değerlendirebilir ve güvenle atıfta bulunabilirsiniz.
Ne ölçer
Kıyaslama, sınır modellerin — Anthropic, OpenAI, Google ve xAI'dan — kurgu yazımındaki başarısını puanlar. Nasıl akıl yürüttüklerini değil, nasıl kod yazdıklarını değil, çoktan seçmeli testlerde nasıl performans gösterdiklerini değil. Her modele aynı brifing yapılmış roman vuruşları verilir — zorunlu öğeler, yasak bilgi, bir bakış açısı ve dramatik bir hedef içeren sahneler — ve yazdıkları, bir editörün okuduğu gibi kurgu olarak değerlendirilir.
Her şey, eksen başına 0–100'lük tek bir ölçekte ifade edilir; dolayısıyla sayılar modeller arasında ve bir kitabın gerçekte oluşturulduğu sahne türleri arasında doğrudan karşılaştırılabilir.
Dokuz eksen
Kurgu tek bir beceri değildir, bu nedenle kıyaslama onu tek bir sayıya indirgemez. İki farklı anlam taşıyan aileye bölünmüş dokuz ekseni puanlar.
Dört ustalık ekseni, konudan bağımsız olarak bir modelin ne kadar iyi yazdığını ölçer: edebi (cümle düzeyinde imge, ritim, alt metin, kısıtlama), diyalog (karakterlerin ayrı bireyler gibi kulağa gelip gelmediği), bağlılık (brifing yapılmış vuruşu tam olarak ne kadar sadakatle aktardığı; zorunlu öğeleri içeride, yasak bilgiyi dışarıda tutma) ve tempolu anlatım (ivmenin kontrolü — ne zaman sıkıştırılacağı, ne zaman üzerinde durulacağı).
Beş içerik ekseni, bir modelin ne tür sahneyi iyi yazdığını ölçer: duygu, bedensellik (eylem ve uzayda beden), çatışma, romantizm ve erotizm (açık yetişkin içeriği). Bunlar iyi-kötü sıralamaları değildir — bir modelin ne için uygun olduğunu gösterirler. Bir model güzel cümleler kurabilir ve yine de düz dövüş sahneleri yazabilir; bu nedenle ustalık ve içerik ayrı ayrı puanlanır ve raporlanır, yanıltıcı tek bir rakama asla ortalaması alınmaz.
Her model nasıl puanlanır
Puanlama, kör akran değerlendirmesidir. Her model aynı brifing yapılmış vuruş setini yazar ve güçlü, sağlayıcı çeşitliliğine sahip hakem modellerin oluşturduğu bir panel, her geçişi her eksende 0–100 arasında puanlar — hangi modelin yazdığını bilmeden ve kendi sağlayıcısından hiçbir geçişi asla yargılamadan. Bu son kural önemlidir: bir modelin kendi ailesinin dışından gelen bir hakem, o ailenin ödüllendirme eğiliminde olduğu ipuçlarını yakalar; böylece bir modelin aldığı her puan gerçek anlamda yabancı bir hakemden gelir, ev arkadaşından değil.
Değerlendirme kör ve çapraz model olduğu için, bir model kendini pohpohayamaz ve tek bir ev stili standardı belirleyemez.
Hakem önyargısını kontrol etme
Modelleri değerlendirmek için model kullanmak, dört iyi bilinen başarısızlık modunu davet eder ve yöntem her birini kapatmak üzere inşa edilmiştir.
Öz-tercih — bir model kendi ev stilini ödüllendirme eğilimindedir. Bir kural bunu kökten ortadan kaldırır: bir hakem, kendi sağlayıcısından — yalnızca kendi tam modelinden değil, aynı aileden herhangi bir şeyden — bir geçişi asla puanlamaz. Dolayısıyla bir modelin aldığı her puan kendi evinin dışından gelir; bu evin ipuçları gizli değil, görünür olduğunda. Hiçbir ailenin zevki kendi sayılarını şişiremez.
Çok sözcük kullanımı — hakemler güvenilir biçimde uzunluğu fazla ödüllendirir. Her vuruş, yaklaşık 220 sözcüklük aynı hedefi brifing yapar; böylece tüm geçişler neredeyse aynı boyuta ulaşır ve dolgu hiçbir işe yaramaz. Bir model, puanını o sözcüklerle ne yaptığıyla kazanır, kaç tane harcadığıyla değil.
Konum — geçişlerin göründüğü sıra, puanları ilk gelene doğru yönlendirebilir. Bu nedenle geçişler her vuruş için yeniden etiketlenir ve karıştırılır; her biri, baş başa sıralanmak yerine sabit bir rubrik karşısında kendi başına puanlanır. Sıralama hiçbir sinyal taşımaz ve her türlü artık sapma, pek çok vuruş ve pek çok hakem üzerinden ortalamasını alır.
Örnekleme — tek bir şanslı taslak bir modeli pohpohayabilir. Üretim, her modelin varsayılan sıcaklığında özdeş bir komut istemine karşı çalıştırılır; modele özgü ayarlama yapılmaz, bu nedenle hiçbir model diğerlerinin sahip olmadığı, özenle seçilmiş bir ayarla donatılmaz. Ve hiçbir hücre tek bir taslağa dayanmaz: her model, paneldeki diğer tüm modeller tarafından tam vuruş seti üzerinden puanlanır, ardından yeterli ölçüm birikene kadar tarafsız temel çizgiye doğru küçültülür — böylece tek taslak şansı, bir sayı yayımlanmadan çok önce etkisizleşir.
Puanlar neden güven düzeyine göre küçültülür
Bir avuç geçişten elde edilen ham ortalama gürültüdür ve puan olarak sunulan gürültü, hiç puan olmamasından daha kötüdür. Bu nedenle yayımlanan her sayı, arkasında ne kadar az veri durduğuyla orantılı olarak tarafsız bir 70 temel çizgisine doğru küçültülür — biçimsel olarak beş gözlem değerinde bir ön. Üç şanslı örneğe dayanan bir hücre, yeterli ölçüm onu bir yere kazanana kadar kabaca ortalama olarak okunur; yüzlercesine dayanan bir hücre ise gerçek ölçülen değeri olarak okunur.
Her sayının arkasındaki örneklem büyüklüğü gösterilir ve hâlâ altı gözlemden az veri üzerine oturan her hücre geçici olarak işaretlenir. Bu nedenle ince verilere sahip bir model, bir rastlantıyla asla zirveye fırlamaz — yöntem buna izin vermez.
Tablo nasıl güncel kalır
Kıyaslama, çalıştırılıp dondurulmuş tek seferlik bir test değildir. Platformun üzerinde çalıştığı puanlama deposunun canlı bir yansımasıdır: yeni hakem gözlemleri süregelen bir ortalamaya katlanır ve her hücrenin örneklem sayısı zamanla büyür; böylece tablo eskimek yerine keskinleşir. Sayfa her zaman en son yeniden kalibrasyon tarihini gösterir.
Doğruluk açısından önemli bir güvence vardır. Kalıcı bir takma ad ("latest" işaretçisi) sessizce yeni bir temel modele yeniden işaret ettiğinde, o modelin hücreleri sıfırlanır ve selefiyle harmanlanmak yerine sıfırdan yeniden ölçülür — böylece bir sürüm değişikliği bir sütunu sessizce bozmaz. Bu aynı zamanda kıyaslamanın genel bir etiket yerine ölçtüğü belirli sürümü adlandırmasının da nedenidir.
Sınırlılıklar
Puanlar, yalnızca kurgu vuruşlarındaki düzyazıyı, bu model ve komut istemleri seti karşısında değerlendirilen biçimiyle tanımlar. Model sağlayıcıları tarafından onaylanmış resmi derecelendirmeler değildir ve yazma bağlamının dışında bir modelin akıl yürütme, doğruluk veya güvenlik konularında hiçbir şey söylemez. Model adları ve ticari markalar ilgili sahiplerine aittir; bu bağımsız bir ölçümdür.
İki okuma kolaylıkla yanlış yapılabilir. Düşük bir erotizm puanı genellikle istekliliği* yansıtır — bir modelin reddetmesi veya klinik bir dile dönmesi — ustalık başarısızlığını değil. Düşük güven düzeyine sahip bir puan ise "henüz kanıtlanmamış" anlamına gelir, "zayıf olduğu kanıtlanmış" değil. Bir sayıyı her zaman örneklem büyüklüğüyle birlikte okuyun ve kitabınız için en iyi modelin, kitabınızın hangi eksenlere yaslandığına bağlı olduğunu unutmayın — tablonun onları ayrı tutmasının tüm nedeni de budur.