افسانوی ماڈل بینچ مارک کیسے کام کرتا ہے

Novelmint کا فکشن معیار اس ایک چیز کو جانچتا ہے جو ماڈل کارڈز کبھی نہیں کرتے: آیا کوئی ماڈل ایسا منظر لکھ سکتا ہے جسے قاری چھوڑے نہیں۔ یہ ریاضی یا کوڈنگ ٹیسٹ سے مستعار لیا گیا لیڈر بورڈ نہیں ہے — یہ حقیقی ناول نثر کو اسکور کرتا ہے۔ یہاں بالکل وضاحت کی گئی ہے کہ یہ اعداد کیسے تیار کیے جاتے ہیں، تاکہ آپ انہیں خود پرکھ سکیں اور اعتماد کے ساتھ حوالہ دے سکیں۔

یہ کیا جانچتا ہے

یہ معیار یہ اسکور کرتا ہے کہ سرحدی ماڈلز — Anthropic، OpenAI، Google، اور xAI کے — فکشن کتنا اچھا لکھتے ہیں۔ یہ نہیں کہ وہ کیسے استدلال کرتے ہیں، یہ نہیں کہ وہ کیسے کوڈ کرتے ہیں، اور یہ نہیں کہ وہ کثیر انتخابی ٹیسٹوں میں کیسی کارکردگی دکھاتے ہیں۔ ہر ماڈل کو یکساں مختصر ناول واقعات دیے جاتے ہیں — ایسے مناظر جن میں ضروری عناصر، ممنوع معلومات، ایک نقطہ نظر، اور ایک ڈرامائی ہدف ہوتا ہے — اور جو کچھ وہ لکھتا ہے اسے فکشن کی طرح پرکھا جاتا ہے، جس طرح ایک مدیر پڑھتا ہے۔

ہر محور پر 0–100 کے واحد پیمانے پر سب کچھ ظاہر کیا جاتا ہے، اس لیے اعداد براہ راست مختلف ماڈلز کے درمیان اور ان مناظر کی اقسام کے درمیان قابل موازنہ ہیں جن سے ایک کتاب دراصل بنتی ہے۔

نو محور

فکشن ایک مہارت نہیں ہے، اس لیے معیار اسے ایک عدد میں نہیں سموتا۔ یہ نو محوروں کو اسکور کرتا ہے، جو دو خاندانوں میں تقسیم ہیں جن کے مختلف معنی ہیں۔

چار دستکاری محور یہ جانچتے ہیں کہ موضوع سے قطع نظر کوئی ماڈل کتنا اچھا لکھتا ہے: ادبی (جملے کی سطح پر تصویر، تال، پوشیدہ معنی، تحمل)، مکالمہ (آیا کردار الگ الگ لوگوں کی طرح سنائی دیتے ہیں)، وفاداری (یہ کتنی ایمانداری سے بالکل وہی واقعہ پیش کرتا ہے جو بریف کیا گیا، ضروری عناصر کو شامل رکھتے ہوئے اور ممنوع معلومات کو باہر)، اور رفتار (تسلسل پر قابو — کب مختصر کریں، کب ٹھہریں)۔

پانچ مواد محور یہ جانچتے ہیں کہ کوئی ماڈل کس قسم کا منظر اچھا لکھتا ہے: جذبہ، جسمانیت (عمل اور فضا میں جسم)، تنازع، رومانس، اور شہوانیت (صریح بالغ مواد)۔ یہ بہتر یا بدتر کی درجہ بندی نہیں ہیں — یہ بتاتے ہیں کہ کوئی ماڈل کس کے لیے موزوں ہے۔ کوئی ماڈل خوبصورت جملے لکھ سکتا ہے اور پھر بھی بے رنگ لڑائی کے مناظر لکھ سکتا ہے، یہی وجہ ہے کہ دستکاری اور مواد کو الگ اسکور کیا اور رپورٹ کیا جاتا ہے اور انہیں کبھی ایک واحد گمراہ کن عدد میں اوسط نہیں کیا جاتا۔

ہر ماڈل کو کیسے اسکور کیا جاتا ہے

اسکورنگ اندھا ہم عصر جائزہ ہے۔ ہر ماڈل یکساں مختصر واقعات کا ایک سیٹ لکھتا ہے، اور مضبوط، فراہم کنندہ-متنوع جج ماڈلز کا ایک پینل ہر اقتباس کو ہر محور پر 0–100 پر درجہ دیتا ہے — یہ جانے بغیر کہ کس ماڈل نے لکھا، اور اپنے فراہم کنندہ کے کسی بھی اقتباس کا کبھی فیصلہ نہ کرتے ہوئے۔ یہ آخری اصول اہم ہے: کسی ماڈل کے اپنے خاندان سے باہر کا جج وہ خامیاں پکڑتا ہے جنہیں وہ خاندان عموماً انعام دیتا ہے، اس لیے کوئی ماڈل جو بھی اسکور حاصل کرتا ہے وہ واقعی کسی بیرونی جج سے آتا ہے، نہ کہ گھر کے ساتھی سے۔

چونکہ فیصلہ اندھا اور ماڈلوں کے درمیان ہے، کوئی ماڈل اپنی تعریف خود نہیں کر سکتا، اور کوئی واحد گھریلو اسلوب معیار طے نہیں کرتا۔

جج کے تعصب پر قابو

ماڈلز کو ماڈلز کا جج بنانا چار معروف ناکامی کے طریقوں کو دعوت دیتا ہے، اور طریقہ کار ہر ایک کو بند کرنے کے لیے بنایا گیا ہے۔

خود ترجیحی — ایک ماڈل اپنے گھریلو اسلوب کو انعام دینے کا رجحان رکھتا ہے۔ ایک اصول اسے جڑ سے ہٹاتا ہے: ایک جج کبھی اپنے فراہم کنندہ کے اقتباس کو اسکور نہیں کرتا — نہ صرف اپنا عین ماڈل، بلکہ ایک ہی خاندان کی کوئی بھی چیز نہیں۔ اس لیے کوئی ماڈل جو بھی اسکور حاصل کرتا ہے وہ اپنے گھر سے باہر سے آتا ہے، جہاں اس گھر کی خامیاں پوشیدہ کے بجائے نظر آتی ہیں۔ کوئی بھی خاندان کا ذوق اپنے اعداد کو پھلا نہیں سکتا۔

طوالت — جج قابل اعتماد طریقے سے لمبائی کو زیادہ انعام دیتے ہیں۔ ہر واقعہ یکساں ہدف بریف کرتا ہے، تقریباً 220 الفاظ، اس لیے تمام اقتباسات تقریباً یکساں سائز پر پہنچتے ہیں اور پُر کرنا کچھ نہیں خریدتا۔ ایک ماڈل وہ اسکور کماتا ہے جو وہ ان الفاظ کے ساتھ کرتا ہے، نہ کہ کتنے خرچ کرتا ہے۔

پوزیشن — اقتباسات جس ترتیب میں آتے ہیں وہ اسکور کو جو بھی پہلے آیا اس کی طرف دھکیل سکتی ہے۔ اس لیے اقتباسات کو ہر واقعے کے لیے دوبارہ لیبل کیا اور ملایا جاتا ہے، اور ہر ایک کو ایک مقررہ معیار کے خلاف خود پر اسکور کیا جاتا ہے نہ کہ ایک دوسرے کے آمنے سامنے۔ ترتیب کوئی اشارہ نہیں رکھتی، اور کوئی بھی باقی ماندہ بہاؤ کئی واقعات اور کئی ججوں میں اوسط ہو جاتا ہے۔

نمونہ لینا — ایک خوش قسمت مسودہ ماڈل کی تعریف کر سکتا ہے۔ پیداوار ہر ماڈل کے ڈیفالٹ درجہ حرارت پر یکساں پرامپٹ پر چلتی ہے، بغیر کسی فی ماڈل ٹیوننگ کے، اس لیے کوئی بھی ماڈل چیری چنی ہوئی سیٹنگ نہیں پاتا جو دوسروں کو نہیں ملتی۔ اور کوئی بھی سیل ایک مسودے پر نہیں ٹکی ہوتی: ہر ماڈل کو پینل کے ہر دوسرے ماڈل کے ذریعے پورے واقعہ سیٹ میں اسکور کیا جاتا ہے، پھر کافی پیمائشیں جمع ہونے تک غیر جانبدار بنیاد کی طرف سکڑایا جاتا ہے — اس لیے ایک مسودے کی قسمت کسی عدد کی اشاعت سے پہلے ہی ختم ہو جاتی ہے۔

اسکور اعتماد کے ساتھ کیوں سکڑتے ہیں

مٹھی بھر اقتباسات سے خام اوسط شور ہے، اور اسکور کے بھیس میں شور کوئی اسکور نہ ہونے سے بھی بدتر ہے۔ اس لیے ہر شائع عدد کو اس تناسب میں 70 کی غیر جانبدار بنیاد کی طرف سکڑایا جاتا ہے کہ اس کے پیچھے کتنا کم ڈیٹا ہے — باضابطہ طور پر، پانچ مشاہدات کے برابر ایک پیشگی قدر۔ تین خوش قسمت نمونوں پر مبنی ایک سیل تقریباً اوسط پڑھی جاتی ہے جب تک کافی پیمائشیں اسے جگہ نہ دلائیں؛ سینکڑوں پر مبنی ایک سیل اپنی حقیقی پیمائش شدہ قدر کے طور پر پڑھی جاتی ہے۔

ہر عدد کے پیچھے نمونے کا سائز دکھایا جاتا ہے، اور کوئی بھی سیل جو ابھی تک چھ سے کم مشاہدات پر ٹکی ہو اسے عارضی کے طور پر نشان لگایا جاتا ہے۔ یہی وجہ ہے کہ پتلے ڈیٹا والا کوئی ماڈل کبھی اتفاق سے سرفہرست نہیں پہنچتا — طریقہ کار اسے اجازت نہیں دیتا۔

گرڈ کیسے موجودہ رہتا ہے

یہ معیار ایک بار کا ٹیسٹ نہیں ہے جو چلایا گیا اور منجمد کر دیا گیا۔ یہ اس اسکورنگ اسٹور کا ایک زندہ پروجیکشن ہے جس پر پلیٹ فارم چلتا ہے: نئے جج مشاہدات ایک چلتی اوسط میں شامل ہوتے ہیں، اور ہر سیل کی نمونہ گنتی وقت کے ساتھ بڑھتی ہے، اس لیے گرڈ پرانا ہونے کے بجائے تیز ہوتا ہے۔ صفحہ ہمیشہ تازہ ترین دوبارہ کیلیبریشن کی تاریخ دکھاتا ہے۔

درستگی کے لیے ایک حفاظتی اقدام اہم ہے۔ جب کوئی پائیدار عرف نام (ایک "latest" پوائنٹر) خاموشی سے کسی نئے بنیادی ماڈل کی طرف اشارہ کرتا ہے، تو اس ماڈل کی سیلز کو دوبارہ ترتیب دی گئی ماڈل کے ساتھ ملانے کے بجائے ری سیٹ کر کے شروع سے دوبارہ ناپا جاتا ہے — اس لیے ورژن تبدیلی کبھی خاموشی سے کالم کو خراب نہیں کرتی۔ یہی وجہ ہے کہ معیار عام لیبل کے بجائے مخصوص ورژن کا نام لیتا ہے جو اس نے ناپا۔

حدود

اسکور صرف فکشن واقعات پر نثر کو بیان کرتے ہیں، ماڈلز اور پرامپٹس کے اس سیٹ کے خلاف پرکھا گیا۔ یہ ماڈل فراہم کنندگان کی طرف سے تصدیق شدہ سرکاری درجہ بندی نہیں ہیں، اور یہ تحریر کے سیاق و سباق سے باہر کسی ماڈل کے استدلال، درستگی، یا حفاظت کے بارے میں کچھ نہیں کہتے۔ ماڈل کے نام اور ٹریڈ مارک ان کے متعلقہ مالکان سے تعلق رکھتے ہیں؛ یہ ایک آزاد پیمائش ہے۔

دو تشریحیں آسانی سے غلط سمجھی جا سکتی ہیں۔ کم شہوانیت اسکور عموماً رضامندی کو ظاہر کرتا ہے — ایک ماڈل کا انکار یا طبی انداز اختیار کرنا — دستکاری کی ناکامی نہیں۔ اور کم اعتماد اسکور کا مطلب ہے "ابھی تک ثابت نہیں"، "کمزور ثابت" نہیں۔ ہمیشہ ایک عدد کو اس کے نمونے کے سائز کے ساتھ پڑھیں، اور یاد رکھیں کہ آپ کی کتاب کے لیے بہترین ماڈل اس بات پر منحصر ہے کہ آپ کی کتاب کن محوروں پر جھکتی ہے — یہی وہ وجہ ہے کہ گرڈ انہیں الگ رکھتا ہے۔