يقيس معيار Novelmint للخيال الأدبي شيئاً واحداً لا تفعله بطاقات النماذج أبداً: ما إذا كان النموذج قادراً على كتابة مشهد لن يتخطاه القارئ. إنه ليس لوح صدارة مستعاراً من اختبارات الرياضيات أو البرمجة — بل يُقيّم نثر الرواية الحقيقي. وفيما يلي بالضبط كيفية إنتاج هذه الأرقام، حتى تتمكن من الحكم عليها بنفسك والاستشهاد بها بثقة.
ما الذي يقيسه
يقيس المعيار مدى جودة أداء النماذج المتقدمة — من Anthropic وOpenAI وGoogle وxAI — في كتابة الخيال الأدبي. لا طريقة تفكيرها، ولا قدرتها على البرمجة، ولا أداءها في اختبارات الاختيار من متعدد. يُعطى كل نموذج المقاطع الروائية ذاتها المُحدَّدة المعالم — مشاهد بعناصر مطلوبة، ومعلومات محظورة، ووجهة نظر، وهدف درامي — ثم يُحكَم على ما يكتبه بوصفه خيالاً أدبياً، بالطريقة التي يقرأ بها المحرر.
يُعبَّر عن كل شيء بمقياس موحّد من 0 إلى 100 لكل محور، مما يجعل الأرقام قابلة للمقارنة المباشرة عبر النماذج المختلفة وعبر أنواع المشاهد التي تتألف منها الرواية فعلياً.
المحاور التسعة
الخيال الأدبي ليس مهارة واحدة، لذا لا يختزله المعيار في رقم واحد. بل يُقيّم تسعة محاور، مقسّمة إلى عائلتين تعنيان أشياء مختلفة.
تقيس محاور الحرفة الأربعة مدى جودة كتابة النموذج، بصرف النظر عن الموضوع: الأدبية (الصورة على مستوى الجملة، والإيقاع، والمضمر، والتحفظ)، والحوار (هل يبدو الشخصيات أناساً متميزين)، والأمانة (مدى وفائه بتصوير المقطع المحدد بدقة، مع إبقاء العناصر المطلوبة والإقصاء التام للمعلومات المحظورة)، والإيقاع الزمني (التحكم في الزخم — متى يُضغط، ومتى يُتوسع).
تقيس محاور المحتوى الخمسة نوع المشهد الذي يُتقن النموذج كتابته: العاطفة، والجسدية (الحركة والجسد في الفضاء)، والصراع، والرومانسية، والإيروسية (المحتوى الصريح للبالغين). هذه ليست تصنيفات من الأفضل إلى الأسوأ — بل تُحدد ما يصلح له النموذج. قد يمتلك نموذج ما جملاً بديعة ومع ذلك يكتب مشاهد قتال مسطّحة، ولهذا يُسجَّل المحتوان الحرفي والمضموني ويُبلَّغ عنهما بصورة منفصلة ولا يُدمجان أبداً في رقم واحد مُضلِّل.
كيف يُقيَّم كل نموذج
التقييم مراجعة أقران عمياء. يكتب كل نموذج المجموعة ذاتها من المقاطع المحددة المعالم، ثم تُقيّم هيئة من نماذج قضائية قوية ومتنوعة من حيث المزوّدين كل مقطع من 0 إلى 100 على كل محور — دون معرفة أي نموذج كتبه، وبدون أن يحكم أي نموذج على عمله الخاص. تنوع المزوّدين في هيئة التحكيم أمر بالغ الأهمية: المحكِّم القادم من خارج عائلة النموذج يرصد الأساليب التي تميل تلك العائلة إلى مكافأتها.
بما أن التحكيم أعمى ومتقاطع بين النماذج، فلا يستطيع نموذج ما إطراء نفسه، ولا يحدد أسلوب بيت واحد المعيار.
التحكم في تحيز المحكِّمين
استخدام النماذج للحكم على النماذج يستدعي أربعة أنماط فشل معروفة، والمنهجية مُصمَّمة لسد كل منها.
التفضيل الذاتي — يميل النموذج إلى مكافأة أسلوب بيته الخاص. تُزيله قاعدتان: لا يُقيّم نموذج ما مقطعه الخاص أبداً، وهيئة التحكيم متنوعة من حيث المزوّدين، حتى لا تُحدد ذوق عائلة واحدة المعيار. ما يُكافئه بيت واحد يرصده محكِّم من بيت آخر، والعكس صحيح.
الإسهاب — يميل المحكِّمون بشكل موثوق إلى الإفراط في مكافأة الطول. كل مقطع مُحدَّد يستهدف ما يقرب من 220 كلمة، لذا تصل جميع المقاطع بحجم متقارب، ولا تُجدي الحشو نفعاً. يكسب النموذج درجته بناءً على ما يفعله بهذه الكلمات، لا على عددها.
الموضع — قد يدفع ترتيب ظهور المقاطع الدرجات نحو ما جاء أولاً. لذلك تُعاد تسمية المقاطع وإعادة ترتيبها عشوائياً لكل مقطع، ويُقيَّم كل منها بصورة مستقلة وفق معيار ثابت بدلاً من ترتيبها وجهاً لوجه. لا يحمل الترتيب أي إشارة، ويُعوَّض أي انحراف متبقٍ عبر مقاطع عديدة ومحكِّمين كثيرين.
أخذ العينات — قد تُجمّل مسودة موفقة واحدة صورة النموذج. يعمل التوليد عند درجة الحرارة الافتراضية لكل نموذج وفق موجّه متطابق، دون ضبط خاص بكل نموذج، فلا يُمنح أي نموذج إعداداً مُختاراً بعناية لا تحظى به النماذج الأخرى. ولا يرتكز أي خلية على مسودة واحدة: يُقيَّم كل نموذج عبر مجموعة المقاطع الكاملة من قِبَل كل نموذج آخر في الهيئة، ثم يُقلَّص نحو خط الأساس المحايد حتى تتراكم قياسات كافية — فتزول حظوظ المسودة الواحدة قبل نشر أي رقم.
لماذا تُقلَّص الدرجات بحسب الثقة
المتوسط الخام لعدد قليل من المقاطع مجرد ضوضاء، والضوضاء المُقنَّعة بهيئة درجة أسوأ من عدم وجود درجة إطلاقاً. لذا فإن كل رقم منشور يُقلَّص نحو خط أساس محايد عند 70 بنسبة تتناسب مع ضعف البيانات التي تستند إليها — رسمياً، قبلي يعادل خمس ملاحظات. خلية تستند إلى ثلاث عينات موفقة تُقرأ على أنها متوسطة تقريباً حتى تكسب قياسات كافية مكانها؛ وخلية تستند إلى مئات القياسات تُقرأ بوصفها قيمتها الحقيقية المقاسة.
يُعرض حجم العينة خلف كل رقم، وأي خلية لا تزال تستند إلى أقل من ست ملاحظات تُوسَم بالأولية. لهذا لا يقفز نموذج ذو بيانات شحيحة إلى القمة بسبب صدفة موفقة — فالمنهجية لا تُتيح ذلك.
كيف يظل الجدول محدَّثاً
المعيار ليس اختباراً لمرة واحدة جرى وجُمِّد. إنه إسقاط حي لمخزن التقييم الذي تعمل عليه المنصة: تتدفق ملاحظات المحكِّمين الجديدة إلى متوسط متحرك، ويتنامى عدد عينات كل خلية بمرور الوقت، فيتحسن الجدول بدلاً من أن يتقادم. تُظهر الصفحة دائماً تاريخ أحدث معايرة.
ثمة ضمانة واحدة مهمة للدقة. عندما يُعيد اسم مستعار دائم (مؤشر "الأحدث") التوجيه بصمت نحو نموذج أساسي جديد، تُعاد تعيين خلايا ذلك النموذج وقياسها من الصفر بدلاً من دمجها مع النموذج الذي حلّ محله — حتى لا تُفسد تغييرات الإصدار عموداً بصمت. وهذا أيضاً هو السبب في أن المعيار يُسمّي الإصدار المحدد الذي قاسه بدلاً من تسمية عامة.
القيود
تصف الدرجات النثر في مقاطع الخيال الأدبي فقط، مُحكَماً بهذه المجموعة من النماذج والموجّهات. وهي ليست تقييمات رسمية معتمدة من مزودي النماذج، ولا تقول شيئاً عن تفكير النموذج أو دقته أو سلامته خارج سياق الكتابة. أسماء النماذج والعلامات التجارية ملك لأصحابها المعنيين؛ وهذا قياس مستقل.
ثمة قراءتان يسهل الوقوع في خطئهما. درجة الإيروسية المنخفضة تعكس في الغالب الاستعداد — نموذج يرفض أو يتبنى أسلوباً سريرياً — لا إخفاقاً في الحرفة. ودرجة الثقة المنخفضة تعني "لم يُثبَت بعد"، لا "ثبت ضعفه". اقرأ دائماً أي رقم مقروناً بحجم عينته، وتذكر أن أفضل نموذج لكتابك يعتمد على المحاور التي يرتكز عليها كتابك — وهذا هو السبب الجوهري الذي يجعل الجدول يُبقي عليها منفصلة.