ফিকশন মডেল বেঞ্চমার্ক কীভাবে কাজ করে

Novelmint ফিকশন বেঞ্চমার্ক সেই একটিমাত্র বিষয় পরিমাপ করে যা মডেল কার্ডগুলো কখনো করে না: একটি মডেল এমন দৃশ্য লিখতে পারে কিনা যা পাঠক এড়িয়ে যাবে না। এটি গণিত বা কোডিং পরীক্ষা থেকে ধার করা কোনো লিডারবোর্ড নয় — এটি প্রকৃত উপন্যাসের গদ্যকে স্কোর করে। সংখ্যাগুলো ঠিক কীভাবে তৈরি হয় তা এখানে বিস্তারিত দেওয়া হলো, যাতে আপনি নিজে সেগুলো বিচার করতে পারেন এবং আত্মবিশ্বাসের সাথে উদ্ধৃত করতে পারেন।

এটি কী পরিমাপ করে

বেঞ্চমার্কটি স্কোর করে যে ফ্রন্টিয়ার মডেলগুলো — Anthropic, OpenAI, Google এবং xAI-এর — কতটা ভালো ফিকশন লিখতে পারে। তারা কীভাবে যুক্তি দেয় তা নয়, কীভাবে কোড লেখে তা নয়, বহু-পছন্দের পরীক্ষায় কেমন করে তা নয়। প্রতিটি মডেলকে একই সংক্ষিপ্ত উপন্যাসের বিট দেওয়া হয় — প্রয়োজনীয় উপাদান, নিষিদ্ধ জ্ঞান, একটি দৃষ্টিভঙ্গি এবং একটি নাটকীয় লক্ষ্যসহ দৃশ্যগুলো — এবং এটি যা লেখে তা ফিকশন হিসেবে বিচার করা হয়, যেভাবে একজন সম্পাদক পড়েন।

সবকিছু প্রতিটি অক্ষে একটি একক ০–১০০ স্কেলে প্রকাশ করা হয়, তাই সংখ্যাগুলো মডেলগুলোর মধ্যে এবং একটি বই আসলে যে ধরনের দৃশ্য দিয়ে তৈরি তার মধ্যে সরাসরি তুলনাযোগ্য।

নয়টি অক্ষ

ফিকশন একটি একক দক্ষতা নয়, তাই বেঞ্চমার্ক এটিকে একটি সংখ্যায় সংকুচিত করে না। এটি নয়টি অক্ষে স্কোর করে, দুটি পরিবারে বিভক্ত যা ভিন্ন জিনিস বোঝায়।

চারটি কারুকাজ অক্ষ পরিমাপ করে একটি মডেল কতটা ভালো লেখে, বিষয় নির্বিশেষে: literary (বাক্য-স্তরের চিত্র, ছন্দ, উপপাঠ, সংযম), dialogue (চরিত্রগুলো কি আলাদা মানুষের মতো শোনায়), fidelity (এটি কতটা বিশ্বস্তভাবে নির্দিষ্ট বিটটি রেন্ডার করে, প্রয়োজনীয় উপাদান রেখে এবং নিষিদ্ধ জ্ঞান বাদ দিয়ে), এবং pacing (গতির নিয়ন্ত্রণ — কখন সংকুচিত করতে হবে, কখন থামতে হবে)।

পাঁচটি বিষয়বস্তু অক্ষ পরিমাপ করে একটি মডেল কী ধরনের দৃশ্য ভালো লেখে: emotion, physicality (কর্ম এবং স্থানে শরীর), conflict, romance, এবং eroticism (স্পষ্ট প্রাপ্তবয়স্ক বিষয়বস্তু)। এগুলো ভালো-বা-খারাপের র‍্যাংকিং নয় — এগুলো বলে একটি মডেল কীসের জন্য উপযুক্ত। একটি মডেলের সুন্দর বাক্য থাকতে পারে এবং তবুও সমতল লড়াইয়ের দৃশ্য লিখতে পারে, এই কারণেই কারুকাজ এবং বিষয়বস্তু আলাদাভাবে স্কোর করা এবং রিপোর্ট করা হয় এবং কখনো একটি একক বিভ্রান্তিকর সংখ্যায় গড় করা হয় না।

প্রতিটি মডেল কীভাবে স্কোর করা হয়

স্কোরিং হলো অন্ধ সহকর্মী পর্যালোচনা। প্রতিটি মডেল একই সেট সংক্ষিপ্ত বিট লেখে, এবং শক্তিশালী, প্রদানকারী-বৈচিত্র্যময় বিচারক মডেলগুলোর একটি প্যানেল প্রতিটি অনুচ্ছেদকে প্রতিটি অক্ষে ০–১০০ রেট করে — কোন মডেল এটি লিখেছে তা না জেনে, এবং নিজের প্রদানকারীর কোনো অনুচ্ছেদ কখনো বিচার না করে। সেই শেষ নিয়মটি গুরুত্বপূর্ণ: একটি মডেলের নিজের পরিবারের বাইরের বিচারক সেই পরিবার যে বৈশিষ্ট্যগুলোকে পুরস্কৃত করতে প্রবণ তা ধরে ফেলে, তাই একটি মডেল যে প্রতিটি স্কোর পায় তা সত্যিকারের বাইরের বিচারক থেকে আসে, হাউসমেট থেকে নয়।

যেহেতু বিচারিং অন্ধ এবং ক্রস-মডেল, একটি মডেল নিজেকে তোষামোদ করতে পারে না, এবং কোনো একক হাউস স্টাইল মান নির্ধারণ করে না।

বিচারক পক্ষপাত নিয়ন্ত্রণ করা

মডেল দিয়ে মডেল বিচার করা চারটি সুপরিচিত ব্যর্থতার মোড আমন্ত্রণ জানায়, এবং পদ্ধতিটি প্রতিটি বন্ধ করতে তৈরি করা হয়েছে।

নিজের পছন্দ — একটি মডেল তার নিজস্ব হাউস স্টাইলকে পুরস্কৃত করতে প্রবণ। একটি নিয়ম এটি মূল থেকে সরিয়ে দেয়: একটি বিচারক কখনো তার নিজের প্রদানকারীর অনুচ্ছেদ স্কোর করে না — শুধু তার নিজস্ব সঠিক মডেল নয়, একই পরিবারের যেকোনো কিছু নয়। তাই একটি মডেল যে প্রতিটি স্কোর পায় তা তার নিজের বাড়ির বাইরে থেকে আসে, যেখানে সেই বাড়ির বৈশিষ্ট্যগুলো অদৃশ্য নয় বরং দৃশ্যমান। কোনো পরিবারের রুচি নিজের সংখ্যা বাড়াতে পারে না।

বাচালতা — বিচারকরা নির্ভরযোগ্যভাবে দীর্ঘতাকে অতিরিক্ত পুরস্কার দেয়। প্রতিটি বিট একই লক্ষ্য সংক্ষিপ্ত করে, মোটামুটি ২২০ শব্দ, তাই সমস্ত অনুচ্ছেদ প্রায় একই আকারে আসে এবং পূরণকারী শব্দ কিছুই কেনে না। একটি মডেল সেই শব্দগুলো দিয়ে কী করে তার উপর স্কোর অর্জন করে, কতগুলো ব্যয় করে তার উপর নয়।

অবস্থান — অনুচ্ছেদগুলো যে ক্রমে উপস্থিত হয় তা স্কোরগুলোকে প্রথমে যা এসেছিল তার দিকে ঠেলে দিতে পারে। তাই অনুচ্ছেদগুলো প্রতিটি বিটের জন্য পুনরায় লেবেল করা হয় এবং মিশিয়ে দেওয়া হয়, এবং প্রতিটি একটি নির্দিষ্ট রুব্রিকের বিপরীতে মাথামুখি র‍্যাংক করার পরিবর্তে একা স্কোর করা হয়। ক্রম কোনো সংকেত বহন করে না, এবং যেকোনো অবশিষ্ট পরিবর্তন অনেক বিট এবং অনেক বিচারকের মধ্যে গড় হয়ে যায়।

স্যাম্পলিং — একটি একক ভাগ্যবান খসড়া একটি মডেলকে তোষামোদ করতে পারে। জেনারেশন একটি অভিন্ন প্রম্পটে প্রতিটি মডেলের ডিফল্ট তাপমাত্রায় চলে, কোনো প্রতি-মডেল টিউনিং ছাড়াই, তাই কোনো মডেলকে এমন চেরি-পিকড সেটিং দেওয়া হয় না যা অন্যরা পায় না। এবং কোনো সেল একটি খসড়ার উপর নির্ভর করে না: প্রতিটি মডেল প্যানেলের প্রতিটি অন্য মডেল দ্বারা সম্পূর্ণ বিট সেট জুড়ে স্কোর করা হয়, তারপর যথেষ্ট পরিমাপ জমা না হওয়া পর্যন্ত নিরপেক্ষ বেসলাইনের দিকে সংকুচিত করা হয় — তাই একক-খসড়ার ভাগ্য একটি সংখ্যা প্রকাশিত হওয়ার অনেক আগেই ধুয়ে যায়।

কেন স্কোরগুলো আত্মবিশ্বাস দ্বারা সংকুচিত করা হয়

কয়েকটি অনুচ্ছেদ থেকে একটি অপরিশোধিত গড় হলো গোলমাল, এবং স্কোর হিসেবে সাজানো গোলমাল কোনো স্কোর না থাকার চেয়ে খারাপ। তাই প্রতিটি প্রকাশিত সংখ্যা এর পেছনে কতটুকু ডেটা আছে তার অনুপাতে একটি নিরপেক্ষ ৭০ বেসলাইনের দিকে সংকুচিত করা হয় — আনুষ্ঠানিকভাবে, পাঁচটি পর্যবেক্ষণের মূল্যের একটি প্রাইর। তিনটি ভাগ্যবান নমুনা দ্বারা সমর্থিত একটি সেল যথেষ্ট পরিমাপ অর্জন না করা পর্যন্ত মোটামুটি গড় হিসেবে পড়া হয়; শত শত দ্বারা সমর্থিত একটি সেল তার প্রকৃত পরিমাপ মান হিসেবে পড়া হয়।

প্রতিটি সংখ্যার পেছনে নমুনার আকার দেখানো হয়, এবং যেকোনো সেল যা এখনো ছয়টির কম পর্যবেক্ষণের উপর নির্ভর করছে তা অস্থায়ী হিসেবে চিহ্নিত। এই কারণেই পাতলা ডেটা সহ একটি মডেল কখনো একটি ঘটনাক্রমে শীর্ষে রকেট করে না — পদ্ধতি এটি হতে দেবে না।

গ্রিড কীভাবে বর্তমান থাকে

বেঞ্চমার্কটি একটি এককালীন পরীক্ষা নয় যা চালানো হয়েছিল এবং জমাট বাঁধা হয়েছিল। এটি স্কোরিং স্টোরের একটি লাইভ প্রজেকশন যার উপর প্ল্যাটফর্ম চলে: নতুন বিচারক পর্যবেক্ষণগুলো একটি চলমান গড়ে ভাঁজ হয়, এবং প্রতিটি সেলের নমুনা গণনা সময়ের সাথে বৃদ্ধি পায়, তাই গ্রিডটি বয়সের পরিবর্তে তীক্ষ্ণ হয়। পৃষ্ঠাটি সর্বদা সর্বশেষ পুনর্ক্যালিব্রেশনের তারিখ দেখায়।

একটি সুরক্ষা নির্ভুলতার জন্য গুরুত্বপূর্ণ। যখন একটি স্থায়ী উপনাম (একটি "latest" পয়েন্টার) নীরবে একটি নতুন অন্তর্নিহিত মডেলে পয়েন্ট করে, সেই মডেলের সেলগুলো এটি যে মডেলটিকে প্রতিস্থাপন করেছে তার সাথে মিশ্রিত করার পরিবর্তে শূন্য থেকে পুনরায় সেট এবং পুনরায় পরিমাপ করা হয় — তাই একটি সংস্করণ পরিবর্তন কখনো চুপচাপ একটি কলাম নষ্ট করে না। এই কারণেই বেঞ্চমার্ক একটি জেনেরিক লেবেলের পরিবর্তে এটি পরিমাপ করা নির্দিষ্ট সংস্করণের নাম দেয়।

সীমাবদ্ধতা

স্কোরগুলো শুধুমাত্র ফিকশন বিটের গদ্য বর্ণনা করে, এই সেটের মডেল এবং প্রম্পটের বিপরীতে বিচার করা হয়। এগুলো মডেল প্রদানকারীদের দ্বারা অনুমোদিত সরকারি রেটিং নয়, এবং এগুলো লেখার প্রসঙ্গের বাইরে একটি মডেলের যুক্তি, নির্ভুলতা, বা নিরাপত্তা সম্পর্কে কিছু বলে না। মডেলের নাম এবং ট্রেডমার্কগুলো তাদের নিজ নিজ মালিকদের অন্তর্গত; এটি একটি স্বাধীন পরিমাপ।

দুটি পাঠ ভুল করা সহজ। একটি কম eroticism স্কোর সাধারণত ইচ্ছা প্রতিফলিত করে — একটি মডেল প্রত্যাখ্যান করছে বা ক্লিনিকাল হয়ে যাচ্ছে — কারুকাজের ব্যর্থতা নয়। এবং একটি কম-আত্মবিশ্বাস স্কোর মানে "এখনো প্রমাণিত নয়", "দুর্বল প্রমাণিত" নয়। সর্বদা এর নমুনার আকারের সাথে একটি সংখ্যা পড়ুন, এবং মনে রাখবেন যে আপনার বইয়ের জন্য সেরা মডেলটি নির্ভর করে আপনার বই কোন অক্ষের উপর ঝুঁকছে — এই কারণেই গ্রিড সেগুলো আলাদা রাখে।