फिक्शन मॉडल बेंचमार्क कैसे काम करता है

Novelmint फ़िक्शन बेंचमार्क वह एकमात्र चीज़ मापता है जो मॉडल कार्ड कभी नहीं मापते: क्या कोई मॉडल ऐसा दृश्य लिख सकता है जिसे पाठक छोड़े नहीं। यह गणित या कोडिंग परीक्षणों से उधार लिया गया लीडरबोर्ड नहीं है — यह असली उपन्यास-गद्य को स्कोर करता है। यहाँ बिल्कुल सटीक तरीके से बताया गया है कि ये संख्याएँ कैसे तैयार होती हैं, ताकि आप इन्हें अपने विवेक से परख सकें और आत्मविश्वास के साथ उद्धृत कर सकें।

यह क्या मापता है

यह बेंचमार्क मापता है कि अग्रणी मॉडल — Anthropic, OpenAI, Google और xAI से — फ़िक्शन कितनी अच्छी तरह लिखते हैं। यह नहीं कि वे कैसे तर्क करते हैं, कोड कैसे लिखते हैं, या बहुविकल्पीय परीक्षणों में कैसा प्रदर्शन करते हैं। हर मॉडल को एक जैसे संक्षिप्त उपन्यास-बीट दिए जाते हैं — ऐसे दृश्य जिनमें आवश्यक तत्व, वर्जित ज्ञान, एक दृष्टिकोण और एक नाटकीय लक्ष्य होता है — और जो वह लिखता है उसे फ़िक्शन की तरह आँका जाता है, जैसे कोई संपादक पढ़ता है।

सब कुछ प्रति-अक्ष 0–100 के एकल पैमाने पर व्यक्त किया जाता है, इसलिए संख्याएँ सीधे मॉडलों के बीच और उन दृश्यों की किस्मों के बीच तुलनीय होती हैं जिनसे कोई किताब वास्तव में बनती है।

नौ अक्ष

फ़िक्शन एक ही कौशल नहीं है, इसलिए बेंचमार्क इसे एक संख्या में नहीं समेटता। यह नौ अक्षों पर स्कोर करता है, जो दो परिवारों में विभाजित हैं जिनके अलग-अलग अर्थ हैं।

चार शिल्प अक्ष मापते हैं कि कोई मॉडल कितनी अच्छी तरह लिखता है, विषय से स्वतंत्र: literary (वाक्य-स्तरीय बिम्ब, लय, अंतर्निहित अर्थ, संयम), dialogue (क्या पात्र अलग-अलग लोगों जैसे लगते हैं), fidelity (यह कितनी ईमानदारी से संक्षिप्त बीट को उसी रूप में प्रस्तुत करता है, आवश्यक तत्वों को शामिल रखते हुए और वर्जित ज्ञान को बाहर), और pacing (गति पर नियंत्रण — कब संकुचित करना है, कब ठहरना है)।

पाँच सामग्री अक्ष मापते हैं कि कोई मॉडल किस तरह का दृश्य अच्छी तरह लिखता है: emotion, physicality (क्रिया और अंतरिक्ष में शरीर), conflict, romance, और eroticism (स्पष्ट वयस्क सामग्री)। ये बेहतर-या-बदतर की रैंकिंग नहीं हैं — ये बताते हैं कि कोई मॉडल किसके लिए उपयुक्त है। एक मॉडल के वाक्य सुंदर हो सकते हैं और फिर भी वह सपाट लड़ाई के दृश्य लिख सकता है, यही कारण है कि शिल्प और सामग्री को अलग-अलग स्कोर किया और रिपोर्ट किया जाता है और कभी भी एक भ्रामक संख्या में औसत नहीं किया जाता।

हर मॉडल को कैसे स्कोर किया जाता है

स्कोरिंग अंध सहकर्मी समीक्षा है। हर मॉडल एक जैसे संक्षिप्त बीट का सेट लिखता है, और मज़बूत, प्रदाता-विविध न्यायाधीश मॉडलों का एक पैनल हर अंश को प्रत्येक अक्ष पर 0–100 पर रेट करता है — बिना यह जाने कि किस मॉडल ने इसे लिखा, और अपने ही प्रदाता के किसी भी अंश को कभी न आँककर। वह अंतिम नियम महत्वपूर्ण है: किसी मॉडल के अपने परिवार से बाहर का न्यायाधीश उन विशेषताओं को पकड़ता है जिन्हें वह परिवार पुरस्कृत करता है, इसलिए एक मॉडल को मिलने वाला हर स्कोर वास्तव में किसी बाहरी न्यायाधीश से आता है, न कि घर के किसी सदस्य से।

चूँकि निर्णय अंध और क्रॉस-मॉडल है, कोई मॉडल खुद की तारीफ नहीं कर सकता, और कोई एकल घरेलू शैली मानक नहीं तय करती।

न्यायाधीश पक्षपात को नियंत्रित करना

मॉडलों को मॉडलों के न्याय के लिए उपयोग करना चार जानी-मानी विफलता-विधियों को आमंत्रित करता है, और पद्धति इनमें से प्रत्येक को बंद करने के लिए बनाई गई है।

स्व-प्राथमिकता — एक मॉडल अपनी खुद की घरेलू शैली को पुरस्कृत करता है। एक नियम इसे जड़ से हटाता है: कोई न्यायाधीश अपने प्रदाता के किसी भी अंश को स्कोर नहीं करता — न केवल अपने सटीक मॉडल को, बल्कि उसी परिवार की किसी भी चीज़ को। इसलिए एक मॉडल को मिलने वाला हर स्कोर उसके अपने घर के बाहर से आता है, जहाँ उस घर की विशेषताएँ अदृश्य नहीं बल्कि दृश्यमान होती हैं। किसी भी परिवार का स्वाद अपनी संख्याओं को बढ़ा नहीं सकता।

वाचालता — न्यायाधीश विश्वसनीय रूप से लंबाई को अधिक पुरस्कृत करते हैं। हर बीट एक जैसे लक्ष्य, लगभग 220 शब्दों को संक्षिप्त करता है, इसलिए सभी अंश लगभग एक ही आकार में पहुँचते हैं और भराव कुछ नहीं खरीदता। एक मॉडल अपना स्कोर उन शब्दों के साथ क्या करता है उस पर अर्जित करता है, न कि कितने खर्च करता है।

स्थिति — अंश जिस क्रम में दिखाई देते हैं वह स्कोर को जो पहले आया उसकी ओर धकेल सकता है। इसलिए अंशों को हर बीट के लिए पुनः लेबल किया जाता है और फेरबदल किया जाता है, और प्रत्येक को एक निश्चित रूब्रिक के विरुद्ध अपने आप पर स्कोर किया जाता है न कि आमने-सामने रैंक किया जाता है। क्रम कोई संकेत नहीं देता, और कोई भी अवशिष्ट बदलाव कई बीट और कई न्यायाधीशों में औसत हो जाता है।

नमूनाकरण — एक ही भाग्यशाली मसौदा किसी मॉडल की तारीफ कर सकता है। पीढ़ी एक समान प्रॉम्प्ट पर प्रत्येक मॉडल के डिफ़ॉल्ट तापमान पर चलती है, बिना किसी प्रति-मॉडल ट्यूनिंग के, इसलिए किसी भी मॉडल को ऐसी चेरी-पिक्ड सेटिंग नहीं दी जाती जो दूसरों को नहीं मिलती। और कोई भी सेल एक मसौदे पर नहीं टिकती: हर मॉडल को पैनल पर हर दूसरे मॉडल द्वारा पूरे बीट सेट में स्कोर किया जाता है, फिर तटस्थ आधार रेखा की ओर तब तक संकुचित किया जाता है जब तक पर्याप्त माप जमा नहीं हो जाते — इसलिए एकल-मसौदे की किस्मत बहुत पहले धुल जाती है इससे पहले कि कोई संख्या प्रकाशित हो।

स्कोर को विश्वास के अनुसार क्यों संकुचित किया जाता है

मुट्ठी भर अंशों से कच्चा औसत शोर है, और शोर को स्कोर के रूप में सजाना बिल्कुल स्कोर न होने से भी बुरा है। इसलिए हर प्रकाशित संख्या को तटस्थ 70 आधार रेखा की ओर उस अनुपात में संकुचित किया जाता है जितना कम डेटा उसके पीछे है — औपचारिक रूप से, पाँच अवलोकनों के मूल्य का एक पूर्व-प्रावधान। तीन भाग्यशाली नमूनों द्वारा समर्थित एक सेल लगभग औसत पढ़ी जाती है जब तक पर्याप्त माप उसे स्थान नहीं दिला देते; सैकड़ों द्वारा समर्थित एक सेल अपने वास्तविक मापे गए मूल्य के रूप में पढ़ी जाती है।

हर संख्या के पीछे का नमूना आकार दिखाया जाता है, और कोई भी सेल जो अभी भी छह से कम अवलोकनों पर टिकी है उसे अनंतिम के रूप में चिह्नित किया जाता है। यही कारण है कि पतले डेटा वाला मॉडल कभी किसी संयोग से शीर्ष पर नहीं पहुँचता — पद्धति इसकी अनुमति नहीं देती।

ग्रिड कैसे अद्यतन रहती है

बेंचमार्क एक बार का परीक्षण नहीं है जो चलाया और जमाया गया था। यह स्कोरिंग स्टोर का एक लाइव प्रक्षेपण है जिस पर प्लेटफ़ॉर्म चलता है: नए न्यायाधीश अवलोकन एक चलते हुए माध्य में समाहित होते हैं, और प्रत्येक सेल की नमूना संख्या समय के साथ बढ़ती है, इसलिए ग्रिड पुरानी होने के बजाय तेज़ होती जाती है। पेज हमेशा सबसे हालिया पुनर्अंशांकन की तिथि दिखाता है।

सटीकता के लिए एक सुरक्षा उपाय महत्वपूर्ण है। जब एक टिकाऊ उपनाम (एक "latest" पॉइंटर) चुपचाप एक नए अंतर्निहित मॉडल की ओर पुनः इंगित करता है, तो उस मॉडल की सेलें रीसेट की जाती हैं और उस मॉडल से मिश्रित होने के बजाय खरोंच से पुनः-मापी जाती हैं — इसलिए संस्करण परिवर्तन कभी चुपचाप किसी कॉलम को दूषित नहीं करता। यही कारण है कि बेंचमार्क किसी सामान्य लेबल के बजाय उस विशिष्ट संस्करण का नाम देता है जिसे उसने मापा।

सीमाएँ

स्कोर केवल फ़िक्शन बीट पर गद्य का वर्णन करते हैं, इस मॉडल और प्रॉम्प्ट के सेट के विरुद्ध आँका गया। ये मॉडल प्रदाताओं द्वारा समर्थित आधिकारिक रेटिंग नहीं हैं, और ये लेखन संदर्भ के बाहर किसी मॉडल के तर्क, सटीकता या सुरक्षा के बारे में कुछ नहीं कहते। मॉडल नाम और ट्रेडमार्क उनके संबंधित स्वामियों के हैं; यह एक स्वतंत्र माप है।

दो व्याख्याएँ आसानी से गलत हो सकती हैं। कम eroticism स्कोर आमतौर पर इच्छाशक्ति को दर्शाता है — एक मॉडल का मना करना या नैदानिक होना — शिल्प की विफलता नहीं। और कम-विश्वास स्कोर का अर्थ है "अभी तक सिद्ध नहीं", न कि "कमज़ोर सिद्ध"। हमेशा किसी संख्या को उसके नमूना आकार के साथ पढ़ें, और याद रखें कि आपकी किताब के लिए सबसे अच्छा मॉडल इस बात पर निर्भर करता है कि आपकी किताब किन अक्षों पर झुकती है — यही पूरा कारण है कि ग्रिड उन्हें अलग रखती है।