معیار داستاننویسی Novelmint چیزی را می‌سنجد که کارت‌های مشخصات مدل هرگز نمی‌سنجند: اینکه آیا یک مدل می‌تواند صحنهای بنویسد که خواننده از آن نگذرد. این یک جدول رتبهبندی قرضی از آزمون‌های ریاضی یا کدنویسی نیست — این ابزار، نثر واقعی رمان را نمره‌دهی میکند. در اینجا دقیقاً توضیح داده شده که اعداد چگونه تولید میشوند، تا بتوانید خودتان آن‌ها را ارزیابی کنید و با اطمینان به آن‌ها استناد کنید.
چه چیزی می‌سنجد
این معیار می‌سنجد که مدلهای پیشرو — از Anthropic، OpenAI، Google و xAI — چقدر خوب داستان می‌نویسند. نه اینکه چگونه استدلال میکنند، نه اینکه چگونه کد می‌نویسند، نه اینکه چگونه در آزمون‌های چندگزینه‌ای عمل میکنند. هر مدل همان ضربات داستانی از پیش‌تعریف‌شده را دریافت میکند — صحنه‌هایی با عناصر الزامی، دانش ممنوعه، دیدگاه روایی، و هدف دراماتیک — و آنچه مینویسد به‌عنوان داستان قضاوت میشود، همان‌طور که یک ویراستار می‌خواند.
همه چیز روی یک مقیاس ۰ تا ۱۰۰ برای هر محور بیان میشود، بنابراین اعداد به‌طور مستقیم در میان مدلها و در میان انواع صحنه‌هایی که یک کتاب از آن‌ها ساخته شده، قابل مقایسه‌اند.
نه محور
داستاننویسی یک مهارت واحد نیست، پس این معیار آن را در یک عدد خلاصه نمی‌کند. نه محور را می‌سنجد که به دو دسته با معانی متفاوت تقسیم میشوند.
چهار محور صنعت می‌سنجند که یک مدل چقدر خوب مینویسد، مستقل از موضوع: ادبی (تصویر در سطح جمله، ریتم، زیرمتن، خویشتن‌داری)، دیالوگ (اینکه آیا شخصیت‌ها مثل افراد متمایز به نظر می‌رسند)، امانت‌داری (چقدر دقیق ضربه داستانی از پیش‌تعریف‌شده را بازمی‌آفریند، عناصر الزامی را نگه می‌دارد و دانش ممنوعه را بیرون می‌گذارد)، و ریتم‌پردازی (کنترل مومنتوم — چه زمانی فشرده کند، چه زمانی بماند).
پنج محور محتوا می‌سنجند که یک مدل چه نوع صحنهای را خوب مینویسد: احساس، جسمانیت (اکشن و حضور جسم در فضا)، تعارض، رمانس، و شهوانیت (محتوای صریح بزرگسالان). این‌ها رتبهبندی بهتر-بدتر نیستند — می‌گویند یک مدل برای چه چیزی مناسب است. یک مدل می‌تواند جملات زیبا داشته باشد و همچنان صحنه‌های درگیری کسل‌کننده بنویسد، به همین دلیل صنعت و محتوا جداگانه نمره‌دهی و گزارش میشوند و هرگز در یک عدد گمراه‌کننده ادغام نمیشوند.
هر مدل چگونه نمره‌دهی میشود
نمره‌دهی، بازبینی همتایان کور است. هر مدل همان مجموعه ضربات داستانی از پیش‌تعریف‌شده را مینویسد، و یک هیئت از مدلهای قضاوت‌کننده قوی و متنوع از نظر ارائه‌دهنده، هر متن را از ۰ تا ۱۰۰ در هر محور ارزیابی میکند — بدون اینکه بداند کدام مدل آن را نوشته، و هرگز هیچ متنی از ارائه‌دهنده خودش را قضاوت نمی‌کند. آن آخرین قانون اهمیت دارد: یک قاضی از خارج از خانواده مدل، نشانه‌هایی را می‌گیرد که آن خانواده معمولاً پاداش میدهد، بنابراین هر نمره‌ای که یک مدل دریافت میکند از یک قاضی واقعاً بیگانه می‌آید، نه یک هم‌خانه.
چون قضاوت کور و بین‌مدلی است، یک مدل نمی‌تواند خودش را تملق‌آمیز ارزیابی کند، و هیچ سبک خانگی واحدی معیار را تعیین نمی‌کند.
کنترل سوگیری قاضی
استفاده از مدلها برای قضاوت مدلها چهار حالت شکست شناخته‌شده را دعوت میکند، و این روش برای بستن هر کدام ساخته شده است.
ترجیح‌دهی به خود — یک مدل تمایل دارد سبک خانگی خود را پاداش دهد. یک قانون آن را از ریشه حذف میکند: یک قاضی هرگز متنی از ارائه‌دهنده خودش را نمره‌دهی نمی‌کند — نه فقط مدل دقیق خودش، بلکه هر چیزی از همان خانواده. بنابراین هر نمره‌ای که یک مدل دریافت میکند از خارج از خانه خودش می‌آید، جایی که نشانه‌های آن خانه مرئی هستند نه نامرئی. سلیقه هیچ خانواده‌ای نمی‌تواند اعداد خودش را تورم دهد.
پرگویی — قاضیان به‌طور قابل اعتماد طول را بیش از حد پاداش میدهند. هر ضربه داستانی همان هدف را — تقریباً ۲۲۰ کلمه — خلاصه میکند، بنابراین همه متن‌ها با تقریباً همان اندازه می‌رسند و حشو چیزی نمی‌خرد. یک مدل نمره خود را بر اساس آنچه با آن کلمات میکند کسب میکند، نه اینکه چه تعداد را خرج میکند.
موقعیت — ترتیب ظاهر شدن متن‌ها می‌تواند نمرات را به سمت آنچه اول آمده هدایت کند. بنابراین متن‌ها برای هر ضربه داستانی برچسب‌گذاری مجدد و درهم ریخته میشوند، و هر کدام به‌تنهایی در برابر یک معیار ثابت نمره‌دهی میشود نه بهصورت رتبهبندی رودررو. ترتیب هیچ سیگنالی ندارد، و هر انحراف باقی‌مانده‌ای در بسیاری از ضربات داستانی و بسیاری از قاضیان میانگین میشود.
نمونه‌برداری — یک پیش‌نویس خوش‌شانس واحد می‌تواند یک مدل را تملق‌آمیز نشان دهد. تولید با دمای پیش‌فرض هر مدل روی یک پرامپت یکسان اجرا میشود، بدون هیچ تنظیم خاص مدل، بنابراین هیچ مدلی تنظیماتی گلچین‌شده‌ای که بقیه ندارند دریافت نمی‌کند. و هیچ سلولی روی یک پیش‌نویس باقی نمی‌ماند: هر مدل در کل مجموعه ضربات داستانی توسط هر مدل دیگری در هیئت نمره‌دهی میشود، سپس به سمت خط پایه خنثی منقبض میشود تا اندازه‌گیری‌های کافی انباشته شود — بنابراین شانس پیش‌نویس واحد خیلی قبل از اینکه عددی منتشر شود از بین می‌رود.
چرا نمرات بر اساس اطمینان منقبض میشوند
یک میانگین خام از چند متن نویز است، و نویزی که به‌شکل نمره درآمده بدتر از نداشتن نمره است. بنابراین هر عدد منتشرشده‌ای به نسبت اینکه چه مقدار داده کمی پشت آن ایستاده به سمت خط پایه خنثی ۷۰ منقبض میشود — رسماً، یک پیشین به ارزش پنج مشاهده. یک سلول با پشتوانه سه نمونه خوش‌شانس تا زمانی که اندازه‌گیری‌های کافی جایگاهی برایش فراهم کنند تقریباً متوسط خوانده میشود؛ سلولی با پشتوانه صدها مشاهده به‌عنوان مقدار اندازه‌گیری‌شده واقعی‌اش خوانده میشود.
اندازه نمونه پشت هر عدد نشان داده میشود، و هر سلولی که هنوز روی کمتر از شش مشاهده تکیه کرده به‌عنوان موقت علامتگذاری میشود. به همین دلیل است که یک مدل با داده کم هرگز به‌خاطر شانس به صدر نمی‌رسد — روش اجازه نمی‌دهد.
چگونه جدول به‌روز می‌ماند
این معیار یک آزمون یکبار که اجرا شده و منجمد شده نیست. این یک پروجکشن زنده از انبار نمره‌دهی است که پلتفرم روی آن اجرا میشود: مشاهدات جدید قاضی در یک میانگین جاری ادغام میشوند، و تعداد نمونه هر سلول با گذر زمان رشد میکند، بنابراین جدول به‌جای اینکه کهنه شود تیزتر میشود. صفحه همیشه تاریخ آخرین کالیبراسیون مجدد را نشان میدهد.
یک پادمان برای دقت اهمیت دارد. وقتی یک نام مستعار پایدار (یک اشاره‌گر "latest") بی‌سروصدا به یک مدل زیرین جدید هدایت میشود، سلول‌های آن مدل بازنشانی شده و از ابتدا مجدداً اندازهگیری میشوند به‌جای اینکه با مدلی که جایگزین کرده ادغام شوند — بنابراین تغییر نسخه هرگز به‌آرامی یک ستون را خراب نمی‌کند. به همین دلیل است که این معیار نسخه خاصی را که اندازه گرفته نام می‌برد نه یک برچسب عمومی.
محدودیت‌ها
نمرات نثر روی ضربات داستانی را توصیف میکنند، که در برابر این مجموعه از مدلها و پرامپتها قضاوت شده‌اند. این‌ها رتبه‌بندی‌های رسمی مورد تأیید ارائه‌دهندگان مدل نیستند، و درباره استدلال، دقت، یا ایمنی یک مدل خارج از زمینه نوشتن چیزی نمی‌گویند. نام‌های تجاری و علائم تجاری مدلها متعلق به صاحبان مربوطهشان هستند؛ این یک اندازهگیری مستقل است.
دو تفسیر به‌راحتی می‌توانند اشتباه باشند. نمره پایین شهوانیت معمولاً تمایل را منعکس میکند — مدلی که امتناع میکند یا کلینیکی میشود — نه شکست صنعت. و یک نمره با اطمینان پایین یعنی «هنوز ثابت نشده»، نه «ضعیف ثابت شده». همیشه یک عدد را همراه با اندازه نمونه‌اش بخوانید، و به یاد داشته باشید که بهترین مدل برای کتاب شما بستگی دارد به اینکه کتاب شما روی کدام محورها تکیه میکند — که دقیقاً همان دلیلی است که جدول آن‌ها را جدا نگه می‌دارد.