يقيس معيار Novelmint للخيال الأدبي الشيء الوحيد الذي لا تقيسه بطاقات النماذج أبدًا: ما إذا كان النموذج قادرًا على كتابة مشهد لن يتخطاه القارئ. إنه ليس لوحة تصنيف مستعارة من اختبارات الرياضيات أو البرمجة — بل يُقيّم نثر الروايات الحقيقية. فيما يلي كيفية إنتاج الأرقام بالضبط، حتى تتمكن من الحكم عليها بنفسك والاستشهاد بها بثقة.
ما الذي يقيسه
يُقيّم المعيار مدى براعة النماذج الحدودية — من Anthropic وOpenAI وGoogle وxAI — في كتابة الخيال الأدبي. ليس كيف تستدل، وليس كيف تبرمج، وليس كيف تؤدي في اختبارات الاختيار من متعدد. يُعطى كل نموذج نفس المحطات الروائية المُوجَّهة — مشاهد بعناصر مطلوبة، ومعلومات محظورة، ووجهة نظر، وهدف درامي — ويُحكم على ما يكتبه بوصفه خيالًا أدبيًا، بالطريقة التي يقرأ بها المحرر.
يُعبَّر عن كل شيء على مقياس واحد من 0 إلى 100 لكل محور، لذا تكون الأرقام قابلة للمقارنة المباشرة عبر النماذج وعبر أنواع المشاهد التي تتألف منها الرواية فعلًا.
المحاور التسعة
الخيال الأدبي ليس مهارة واحدة، لذا لا يختزله المعيار في رقم واحد. يُقيّم تسعة محاور، مقسّمة إلى عائلتين تعنيان أشياء مختلفة.
تقيس المحاور الأربعة لـالحرفة مدى جودة كتابة النموذج، بغض النظر عن الموضوع: الأدبية (الصورة على مستوى الجملة، والإيقاع، والمضمون الضمني، والضبط)، والحوار (ما إذا كان الشخصيات تبدو كأشخاص متميزين)، والأمانة (مدى دقة تصوير المحطة المُوجَّهة، مع الحفاظ على العناصر المطلوبة وإبعاد المعلومات المحظورة)، والإيقاع الزمني (التحكم في الزخم — متى يُضغط ومتى يُتأنى).
تقيس المحاور الخمسة لـالمحتوى نوع المشهد الذي يكتبه النموذج بشكل جيد: العاطفة، والجسدية (الحركة والجسم في الفضاء)، والصراع، والرومانسية، والإيروسية (المحتوى الصريح للبالغين). هذه ليست تصنيفات أفضل أو أسوأ — إنها تُوضح ما يكون النموذج مناسبًا له. يمكن أن يمتلك النموذج جملًا جميلة ومع ذلك يكتب مشاهد قتال مسطحة، وهذا هو السبب في أن الحرفة والمحتوى يُسجَّلان ويُبلَّغ عنهما بشكل منفصل ولا يُجمعان أبدًا في رقم واحد مضلل.
كيف يُسجَّل كل نموذج
التسجيل هو مراجعة أقران عمياء. يكتب كل نموذج نفس مجموعة المحطات الموجَّهة، ويُقيّم فريق من نماذج قضاة أقوياء ومتنوعة المزودين كل مقطع من 0 إلى 100 على كل محور — دون معرفة أي نموذج كتبه، ودون أن يُقيّم أي مقطع من مزوده الخاص. هذه القاعدة الأخيرة مهمة: يلتقط القاضي من خارج عائلة النموذج السمات التي تميل تلك العائلة إلى مكافأتها، لذا يأتي كل درجة يحصل عليها النموذج من قاضٍ أجنبي حقًا، وليس من رفيق في المنزل ذاته.
نظرًا لأن التقييم أعمى ومتقاطع بين النماذج، فلا يمكن لنموذج أن يُطري نفسه، ولا يُحدد أسلوب منزل واحد المعيار.
التحكم في تحيز القضاة
استخدام النماذج لتقييم النماذج يستدعي أربعة أنماط فشل معروفة، والمنهج مبني على إغلاق كل واحد منها.
التفضيل الذاتي — يميل النموذج إلى مكافأة أسلوب منزله الخاص. تزيل قاعدة واحدة ذلك من الجذر: لا يُقيّم القاضي أبدًا مقطعًا من مزوده الخاص — ليس فقط نموذجه الدقيق، بل أي شيء من نفس العائلة. لذا يأتي كل درجة يحصل عليها النموذج من خارج منزله، حيث تكون علامات ذلك المنزل مرئية لا خفية. لا يمكن لذوق أي عائلة أن يرفع أرقامها الخاصة.
الإسهاب — يُفرط القضاة بشكل موثوق في مكافأة الطول. تُحدد كل محطة الهدف ذاته، نحو 220 كلمة تقريبًا، لذا تصل جميع المقاطع بحجم متقارب تقريبًا ولا يجني الحشو شيئًا. يستحق النموذج درجته بما يفعله بهذه الكلمات، لا بعدد ما يُنفق منها.
الترتيب — يمكن لترتيب ظهور المقاطع أن يُميل الدرجات نحو ما جاء أولًا. لذا تُعاد تسمية المقاطع وخلطها لكل محطة، ويُقيَّم كل مقطع بمفرده وفق معيار ثابت بدلًا من تصنيفها وجهًا لوجه. لا يحمل الترتيب أي إشارة، وأي انحراف متبقٍّ يُمحى عبر محطات ومقيّمين كثيرين.
أخذ العينات — يمكن لمسودة محظوظة واحدة أن تُزيّن نموذجًا. يجري التوليد بدرجة حرارة افتراضية كل نموذج على موجّه متطابق، دون ضبط لكل نموذج على حدة، لذا لا يُمنح أي نموذج إعدادًا منتقى لا يحظى به الآخرون. ولا يعتمد أي خلية على مسودة واحدة: يُقيَّم كل نموذج عبر مجموعة المحطات الكاملة من قِبل كل نموذج آخر في الفريق، ثم يُقلَّص نحو الخط الأساسي المحايد حتى تتراكم قياسات كافية — لذا تزول حظوظ المسودة الواحدة قبل وقت طويل من نشر أي رقم.
لماذا تُقلَّص الدرجات بالثقة
المتوسط الخام من حفنة من المقاطع مجرد ضوضاء، والضوضاء المُزيَّنة كدرجة أسوأ من لا شيء. لذا فإن كل رقم منشور يُقلَّص نحو خط أساسي محايد عند 70 بما يتناسب مع قلة البيانات التي تدعمه — رسميًا، أولوية تساوي خمس مشاهدات. تُقرأ خلية مدعومة بثلاثة عينات محظوظة كمتوسط تقريبًا حتى تستحق قياسات كافية مكانها؛ أما خلية مدعومة بمئات فتُقرأ كقيمتها المقيسة الحقيقية.
يُعرض حجم العينة وراء كل رقم، وتُوسَم أي خلية لا تزال تعتمد على أقل من ست مشاهدات بأنها مؤقتة. هذا هو السبب في أن نموذجًا ذا بيانات شحيحة لا يرتفع فجأة إلى القمة بسبب ضربة حظ — لن يسمح المنهج بذلك.
كيف تظل الشبكة محدَّثة
المعيار ليس اختبارًا لمرة واحدة جرى وتجمّد. إنه إسقاط حي لمخزن التسجيل الذي تعمل عليه المنصة: تنصهر مشاهدات القضاة الجديدة في متوسط متدرج، ويزداد عدد عينات كل خلية بمرور الوقت، فتتحسن دقة الشبكة بدلًا من أن تتقادم. تعرض الصفحة دائمًا تاريخ أحدث إعادة معايرة.
ثمة ضمانة واحدة تهم الدقة. عندما يُعيد اسم مستعار دائم (مؤشر "أحدث") بصمت توجيهه إلى نموذج أساسي جديد، تُعاد ضبط خلايا ذلك النموذج وقياسها من الصفر بدلًا من مزجها مع النموذج الذي حلّ محله — لذا لا يُفسد تغيير الإصدار عمودًا بصمت. هذا أيضًا هو السبب في أن المعيار يُسمي الإصدار المحدد الذي قاسه بدلًا من تسمية عامة.
القيود
تصف الدرجات النثر على محطات الخيال الأدبي فحسب، وتُقيَّم بهذه المجموعة من النماذج والموجهات. إنها ليست تقييمات رسمية تُجيزها مزودو النماذج، ولا تقول شيئًا عن استدلال النموذج أو دقته أو سلامته خارج سياق الكتابة. أسماء النماذج والعلامات التجارية ملك لأصحابها المعنيين؛ وهذا قياس مستقل.
ثمة قراءتان يسهل الخطأ فيهما. عادةً ما تعكس درجة الإيروسية المنخفضة الاستعداد — وهو نموذج يرفض أو يتجه نحو الأسلوب السريري — لا إخفاقًا في الحرفة. وتعني الدرجة المنخفضة الثقة "غير مُثبت بعد"، لا "مُثبت الضعف". اقرأ دائمًا رقمًا مع حجم عينته، وتذكر أن أفضل نموذج لكتابك يعتمد على المحاور التي يعتمد عليها كتابك — وهذا هو السبب الكامل وراء إبقاء الشبكة لها منفصلة.