افسانوی ماڈل بینچ مارک کیسے کام کرتا ہے

Novelmint کا فکشن بینچ مارک وہ ایک چیز ناپتا ہے جو ماڈل کارڈز کبھی نہیں ناپتے: کیا کوئی ماڈل ایسا منظر لکھ سکتا ہے جسے قاری چھوڑے نہیں۔ یہ ریاضی یا کوڈنگ ٹیسٹوں سے مستعار لیا گیا لیڈربورڈ نہیں ہے — یہ حقیقی ناول نثر کو اسکور کرتا ہے۔ یہاں بالکل وضاحت کی گئی ہے کہ یہ اعداد کیسے تیار ہوتے ہیں، تاکہ آپ انھیں خود پرکھ سکیں اور اعتماد کے ساتھ حوالہ دے سکیں۔

یہ کیا ناپتا ہے

یہ بینچ مارک اسکور کرتا ہے کہ فرنٹیئر ماڈلز — Anthropic، OpenAI، Google، اور xAI سے — فکشن کتنی اچھی طرح لکھتے ہیں۔ یہ نہیں کہ وہ کیسے سوچتے ہیں، کیسے کوڈ کرتے ہیں، یا ملٹیپل چوائس ٹیسٹوں میں کیسا کارکردگی دکھاتے ہیں۔ ہر ماڈل کو یکساں بریف کیے گئے ناول بیٹس دیے جاتے ہیں — ایسے مناظر جن میں لازمی عناصر، ممنوعہ معلومات، ایک نقطۂ نظر، اور ایک ڈرامائی ہدف شامل ہوتا ہے — اور جو لکھا جاتا ہے اسے فکشن کے طور پر پرکھا جاتا ہے، بالکل اسی طرح جیسے ایک ایڈیٹر پڑھتا ہے۔

ہر محور پر ایک 0–100 کا پیمانہ استعمال ہوتا ہے، اس لیے اعداد مختلف ماڈلوں اور کتاب میں واقعی آنے والے مناظر کی اقسام میں براہِ راست موازنہ کے قابل ہوتے ہیں۔

نو محور

فکشن ایک ہنر نہیں ہے، اس لیے بینچ مارک اسے ایک عدد میں سمیٹتا نہیں۔ یہ نو محوروں کو اسکور کرتا ہے، دو خاندانوں میں تقسیم جن کے معنی مختلف ہیں۔

چار کرافٹ محور ناپتے ہیں کہ ایک ماڈل کتنا اچھا لکھتا ہے، موضوع سے قطع نظر: literary (جملے کی سطح پر تصویر، آہنگ، ضمنی مفہوم، تحمل)، dialogue (کیا کردار الگ الگ لوگوں کی طرح بولتے ہیں)، fidelity (یہ کہ وہ بریف کیے گئے بیٹ کو کتنی وفاداری سے پیش کرتا ہے، لازمی عناصر شامل رکھتا ہے اور ممنوعہ معلومات باہر)، اور pacing (رفتار کا کنٹرول — کب مختصر کریں، کب ٹھہریں)۔

پانچ content محور ناپتے ہیں کہ ایک ماڈل کس قسم کا منظر اچھا لکھتا ہے: emotion، physicality (عمل اور جسم فضا میں)، conflict، romance، اور eroticism (صریح بالغ مواد)۔ یہ بہتر یا بدتر کی درجہ بندی نہیں ہیں — یہ بتاتے ہیں کہ ایک ماڈل کس کے لیے موزوں ہے۔ کسی ماڈل کے جملے خوبصورت ہو سکتے ہیں اور پھر بھی وہ پھیکے لڑائی کے مناظر لکھے، اسی لیے کرافٹ اور کونٹینٹ کو الگ الگ اسکور کر کے رپورٹ کیا جاتا ہے اور کبھی ایک گمراہ کن عدد میں نہیں جوڑا جاتا۔

ہر ماڈل کو کیسے اسکور کیا جاتا ہے

اسکورنگ بلائنڈ پیئر ریویو ہے۔ ہر ماڈل ایک ہی بریف کیے گئے بیٹس کا مجموعہ لکھتا ہے، اور مضبوط، فراہم کنندہ-متنوع جج ماڈلوں کا ایک پینل ہر اقتباس کو ہر محور پر 0–100 پر ریٹ کرتا ہے — یہ جانے بغیر کہ اسے کس ماڈل نے لکھا، اور کبھی اپنے کام کا خود فیصلہ کیے بغیر۔ فراہم کنندہ-متنوع پینل اہم ہے: کسی ماڈل کے اپنے خاندان سے باہر کا جج ان علامات کو پکڑتا ہے جنھیں وہ خاندان عام طور پر انعام دیتا ہے۔

چونکہ فیصلہ اندھا اور کراس ماڈل ہے، ایک ماڈل خود کو خوش نہیں کر سکتا، اور کوئی ایک گھریلو طرز معیار مقرر نہیں کر سکتا۔

جج تعصب کو کنٹرول کرنا

ماڈلوں سے ماڈلوں کا فیصلہ کرانا چار معروف ناکامی کے طریقوں کو دعوت دیتا ہے، اور طریقہ کار ہر ایک کو بند کرنے کے لیے بنایا گیا ہے۔

خود پسندی — ایک ماڈل اپنے گھریلو طرز کو انعام دیتا ہے۔ دو اصول اسے ختم کرتے ہیں: ایک ماڈل کبھی اپنے اقتباس کو اسکور نہیں کرتا، اور جج پینل فراہم کنندہ-متنوع ہے، تاکہ کوئی ایک خاندان کا ذوق معیار نہ بنے۔ جو علامت ایک گھر انعام دیتا ہے، وہ دوسرے کے جج سے پکڑی جاتی ہے، اور اس کے برعکس۔

لمبائی پسندی — جج قابلِ اعتماد طور پر لمبائی کو زیادہ انعام دیتے ہیں۔ ہر بیٹ ایک ہی ہدف بریف کرتا ہے، تقریباً 220 الفاظ، اس لیے تمام اقتباسات تقریباً ایک ہی سائز کے ہوتے ہیں اور پیڈنگ کچھ نہیں خریدتی۔ ایک ماڈل اپنا اسکور اس بات پر کماتا ہے کہ وہ ان الفاظ سے کیا کرتا ہے، نہ کہ کتنے خرچ کرتا ہے۔

ترتیب — اقتباسات جس ترتیب میں آتے ہیں وہ اسکور کو پہلے والے کی طرف موڑ سکتی ہے۔ اس لیے اقتباسات کو ہر بیٹ کے لیے دوبارہ لیبل کر کے ترتیب بدلی جاتی ہے، اور ہر ایک کو ایک طے شدہ رُبرک کے خلاف آزادانہ اسکور کیا جاتا ہے نہ کہ آمنے سامنے درجہ بندی کی جاتی ہے۔ ترتیب کوئی اشارہ نہیں دیتی، اور کوئی باقی ماندہ انحراف بہت سے بیٹس اور بہت سے ججوں پر اوسط ہو جاتا ہے۔

سیمپلنگ — ایک خوش قسمت ڈرافٹ ایک ماڈل کو خوشامد کر سکتا ہے۔ جنریشن ہر ماڈل کی ڈیفالٹ ٹیمپریچر پر ایک یکساں پرامپٹ پر چلتی ہے، بغیر کسی فی ماڈل ٹیوننگ کے، تاکہ کسی ماڈل کو ایسی چیری پک کی گئی سیٹنگ نہ ملے جو دوسروں کو نہیں ملتی۔ اور کوئی سیل ایک ڈرافٹ پر نہیں ٹکتی: ہر ماڈل کو پینل کے ہر دوسرے ماڈل کی طرف سے پورے بیٹ سیٹ پر اسکور کیا جاتا ہے، پھر غیر جانبدار بیس لائن کی طرف سکیڑا جاتا ہے جب تک کافی پیمائشیں جمع نہ ہوں — اس لیے سنگل ڈرافٹ کی قسمت شائع ہونے سے بہت پہلے دھل جاتی ہے۔

اسکور اعتماد کے حساب سے کیوں سکیڑے جاتے ہیں

چند اقتباسات کی خام اوسط شور ہے، اور شور کو اسکور کے روپ میں پیش کرنا کوئی اسکور نہ ہونے سے بدتر ہے۔ اس لیے ہر شائع شدہ عدد کو اس کے پیچھے ڈیٹا جتنا کم ہو، اتنا ہی ایک غیر جانبدار 70 بیس لائن کی طرف سکیڑا جاتا ہے — رسمی طور پر، پانچ مشاہدات کے قابل ایک پرائر۔ تین خوش قسمت نمونوں پر مبنی سیل تقریباً اوسط کے طور پر پڑھی جاتی ہے جب تک کافی پیمائشیں اسے جگہ نہ دلائیں؛ سیکڑوں پر مبنی سیل اپنی حقیقی ماپی گئی قدر کے طور پر پڑھی جاتی ہے۔

ہر عدد کے پیچھے نمونہ کا سائز دکھایا جاتا ہے، اور جو بھی سیل ابھی چھ سے کم مشاہدات پر ہو اسے عارضی قرار دیا جاتا ہے۔ اسی لیے پتلے ڈیٹا والا ماڈل کبھی اچانک اتفاق سے سرفہرست نہیں آتا — طریقہ کار اسے ہونے نہیں دیتا۔

گرڈ کیسے موجودہ رہتا ہے

بینچ مارک ایک بار کا ٹیسٹ نہیں ہے جو چلایا گیا اور منجمد کر دیا گیا۔ یہ اسکورنگ اسٹور کا ایک لائیو پروجیکشن ہے جس پر پلیٹ فارم چلتا ہے: نئے جج مشاہدات ایک رننگ مین میں ضم ہوتے ہیں، اور ہر سیل کی نمونہ تعداد وقت کے ساتھ بڑھتی ہے، اس لیے گرڈ پرانا ہونے کی بجائے تیز ہوتا جاتا ہے۔ صفحہ ہمیشہ سب سے حالیہ ری کیلیبریشن کی تاریخ دکھاتا ہے۔

ایک حفاظتی اقدام درستگی کے لیے اہم ہے۔ جب ایک پائیدار عرف (ایک "latest" پوائنٹر) خاموشی سے ایک نئے بنیادی ماڈل کی طرف دوبارہ اشارہ کرتا ہے، تو اس ماڈل کی سیلیں ری سیٹ کر کے صفر سے دوبارہ ماپی جاتی ہیں نہ کہ اس ماڈل کے ساتھ ملائی جاتی ہیں جسے اس نے بدلا — تاکہ ورژن تبدیلی کبھی خاموشی سے کالم کو خراب نہ کرے۔ یہی وجہ ہے کہ بینچ مارک عام لیبل کی بجائے ماپی گئی مخصوص ورژن کا نام لیتا ہے۔

حدود

اسکور صرف فکشن بیٹس پر نثر کو بیان کرتے ہیں، ماڈلوں اور پرامپٹس کے اس مجموعے کے خلاف پرکھا گیا۔ یہ ماڈل فراہم کنندگان کی طرف سے منظور شدہ سرکاری ریٹنگز نہیں ہیں، اور یہ تحریری سیاق سے باہر ماڈل کی سوچ، درستگی، یا حفاظت کے بارے میں کچھ نہیں کہتے۔ ماڈل کے نام اور ٹریڈ مارک ان کے متعلقہ مالکوں کے ہیں؛ یہ ایک آزاد پیمائش ہے۔

دو قرائت آسانی سے غلط ہو سکتی ہیں۔ کم eroticism اسکور عموماً آمادگی کی عکاسی کرتا ہے — ایک ماڈل کا انکار یا طبی انداز اختیار کرنا — نہ کہ کرافٹ کی ناکامی۔ اور کم اعتماد والا اسکور "ابھی ثابت نہیں ہوا" کا مطلب رکھتا ہے، نہ کہ "کمزور ثابت ہوا"۔ ہمیشہ کسی عدد کو اس کے نمونہ کے سائز کے ساتھ پڑھیں، اور یاد رکھیں کہ آپ کی کتاب کے لیے بہترین ماڈل اس بات پر منحصر ہے کہ آپ کی کتاب کون سے محوروں پر جھکتی ہے — اور یہی پوری وجہ ہے کہ گرڈ انھیں الگ رکھتا ہے۔