फ़िक्शन पर AI मॉडलों को खुद परखें, फिर विजेता से बिल्ड करें
Last checked against the product November 10, 2026
लीडरबोर्ड बताता है कि औसतन किस मॉडल ने सबसे अच्छा स्कोर किया। पर वह यह नहीं बता सकता कि आपको कौन-सा पढ़ने में अच्छा लगेगा। बेक-ऑफ़ से आप यह खुद जान सकते हैं। दो से पाँच मॉडल चुनें, Novelmint के अपने, OpenRouter की बड़ी सूची से, या आपकी अपनी API key से, और हर एक हमारे सार्वजनिक फ़िक्शन बेंचमार्क के वही दृश्य लिखता है। जजों का एक पैनल हर अंश को ब्लाइंड स्कोर करता है, और आप उन्हें साथ-साथ पढ़ते हैं, चाहें तो नाम छिपाकर। जब कोई एक अलग दिखे, तो एक क्लिक में वही आपकी सीरीज़ का बिल्ड मॉडल बन जाता है।
Key takeaways
- बेक-ऑफ़ आपके चुने दो से पाँच मॉडलों पर Novelmint का फ़िक्शन बेंचमार्क चलाता है: Novelmint के, OpenRouter सूची के किसी भी, या आपकी अपनी API key वाले मॉडल।
- हर मॉडल को हर दृश्य के लिए वही ब्रीफ़ मिलता है, जो बेंचमार्क के मानक दृश्यों से लिया गया है, इसलिए तुलना बराबरी की होती है।
- बेंचमार्क का अपना जज पैनल हर अंश को ब्लाइंड स्कोर करता है, और कोई जज अपने ही निर्माता के मॉडल को स्कोर नहीं करता।
- आप अंशों को साथ-साथ पढ़ते हैं, चुनने तक मॉडलों के नाम छिपा सकते हैं, और पूरे रन को फ़ाइल के रूप में सहेज सकते हैं।
- "Use for Builds" पर एक क्लिक से विजेता उस सीरीज़ का मॉडल बन जाता है, या हर सीरीज़ के लिए आपका Studio डिफ़ॉल्ट।
What it does
बेक-ऑफ़ से आपको क्या मिलता है
एक साथ पाँच तक मॉडल
Novelmint के परखे हुए मॉडल, "More models" सूची के वे मॉडल जिन्हें अभी कोई स्कोर नहीं मिला, और वे बेस मॉडल जो आपकी अपनी key से उपलब्ध हैं — सबको मिलाकर चुनें।
सबके लिए एक जैसे दृश्य
हर राउंड में, हर मॉडल बेंचमार्क के कुछ मानक दृश्य लिखता है — वही दृश्य जिन्हें अब तक सबसे कम स्कोर मिले हैं। एक बार में कितने राउंड चलाने हैं, यह आप तय करें।
ब्लाइंड स्कोरिंग
सार्वजनिक बेंचमार्क वाला ही जजों का पैनल हर अंश को स्कोर करता है, यह जाने बिना कि उसे किस मॉडल ने लिखा है, और कभी उसी निर्माता के मॉडल को नहीं। स्कोर 0 से 100 तक होता है: दृश्य अपने परीक्षण-लक्ष्य को कितना निभाता है, और ब्रीफ़ का कितना पालन करता है।
ब्लाइंड पढ़ना, आपके लिए भी
"Hide model names until I pick" पर टिक करें और अंश Model A, Model B आदि के रूप में दिखेंगे, ताकि आप नाम की साख से पहले लेखन को परखें।
सबूत सहेजकर रखें
किसी रन को फ़ाइल के रूप में सेव करें, साथ में यह बताने वाली key कि कौन-सा मॉडल कौन-सा है। आपके पिछले bake-off टैब पर सूचीबद्ध रहते हैं।
सीधे आपके बिल्ड में
जो अंश पसंद आया, उस पर "Use for Builds" दबाएँ। किसी सीरीज़ से दबाने पर वह उस सीरीज़ का मॉडल बन जाता है; आपके Studio से दबाने पर वह हर सीरीज़ का डिफ़ॉल्ट बन जाता है।
How to use it
चलाने का तरीका
Bake-off टैब खोलें
यह AI Models पेज पर है, आपके Studio में भी और हर सीरीज़ में भी।
दो से पाँच मॉडल चुनें
Novelmint के मॉडल, OpenRouter की व्यापक सूची, और Account, फिर AI keys में सेव की गई किसी भी API key के मॉडल खोजें।
राउंड की संख्या चुनें और कीमत देखें
टैब रन शुरू होने से पहले उसकी कीमत दिखाता है, और यह भी कि आपके पास कितने क्रेडिट हैं।
चलाएँ और पढ़ें
रन पूरा होने पर हर दृश्य के अंश शब्द-संख्या और स्कोर के साथ अगल-बगल पढ़ें। ब्लाइंड पढ़ना चाहें तो नाम छिपा लें।
विजेता को इस्तेमाल करें
जो पसंद आए उस पर "Use for Builds" दबाएँ। आपका अगला चैप्टर बिल्ड उसी का उपयोग करेगा।
Example
नतीजा कैसा दिखता है
You ask
बेंचमार्क का एक दृश्य: दो बिछड़ी हुई बहनें अपने पिता के अंतिम संस्कार में मिलती हैं, और कोई भी वह नहीं कहती जो कहने आई थी।
You get back
- Model A: 231 शब्द, स्कोर 78। दृश्य को चुप्पी के सहारे चलने देता है और ब्रीफ़ का पूरी तरह पालन करता है।
- Model B: 214 शब्द, स्कोर 71। संवाद दमदार हैं, पर आख़िरी पंक्ति में एक बहन अनकही बात ज़ोर से कह देती है।
- Model C: 226 शब्द, स्कोर 64। परिवेश जीवंत है, और भावना दिखाई कम, बताई ज़्यादा गई है।
- आप Model A चुनते हैं, नाम खुल जाते हैं, और "Use for Builds" उसे आपकी सीरीज़ का मॉडल बना देता है।
यह एक काल्पनिक दृश्य, काल्पनिक स्कोर और ब्लाइंड लेबल वाला उदाहरण है, जो नतीजे का स्वरूप दिखाता है। आपका रन बेंचमार्क के असली दृश्यों और जजों के असली स्कोर का उपयोग करता है।
Questions
Frequently asked
- फ़िक्शन लिखने के लिए AI मॉडलों की तुलना कैसे करूँ?
- Novelmint में AI Models पेज पर Bake-off टैब खोलें और दो से पाँच मॉडल चुनें। हर मॉडल सार्वजनिक फ़िक्शन बेंचमार्क के वही मानक दृश्य लिखता है, जजों का पैनल हर अंश को ब्लाइंड स्कोर करता है, और आप उन्हें अगल-बगल पढ़ते हैं।
- क्या bake-off मेरी अपनी किताब का उपयोग करता है?
- नहीं। हर मॉडल बेंचमार्क के मानक दृश्य लिखता है, इसलिए नतीजे बराबरी की तुलना होते हैं और आपकी पांडुलिपि रन का हिस्सा नहीं होती। किसी मॉडल का आपके अपने चैप्टरों पर प्रदर्शन देखना हो तो उसे किसी सीरीज़ के लिए चुनें और बिल्ड करें।अपना AI मॉडल चुनें
- क्या मैं किसी मॉडल को अपनी API key पर आज़मा सकता हूँ?
- हाँ। आपकी सेव की हुई key से उपलब्ध कोई भी बेस मॉडल bake-off में शामिल हो सकता है, और उसकी लेखन-प्रक्रिया आपकी key पर चलती है। आपके खुद फ़ाइन-ट्यून किए मॉडल शामिल नहीं होते, ताकि जज हमेशा मॉडल को वैसे ही देखें जैसा उसके निर्माता ने बनाया है।अपनी AI key लाएँ
- अंशों को कौन जज करता है?
- Novelmint के सार्वजनिक बेंचमार्क वाला ही जज मॉडलों का पैनल। वे हर अंश को बिना यह देखे स्कोर करते हैं कि उसे किस मॉडल ने लिखा, और कोई जज कभी अपने ही निर्माता के मॉडल को स्कोर नहीं करता।
- Bake-off की कीमत क्या है?
- जजिंग और Novelmint के मॉडलों का लेखन क्रेडिट में उसी कीमत पर लगता है जो AI से Novelmint को पड़ती है, बिना किसी मार्कअप के। आपकी अपनी key पर लेखन में कोई क्रेडिट नहीं लगता। शुरू करने से पहले आपको कीमत दिख जाती है, और उससे ज़्यादा कभी नहीं लगता।कीमतें
- क्या मेरे नतीजे सार्वजनिक हो जाते हैं?
- आपके स्कोर, अंश कभी नहीं, सार्वजनिक बेंचमार्क पर मॉडलों की रैंकिंग में मदद कर सकते हैं। आप इसे टैब पर बंद कर सकते हैं, और बंद करने से आपके पिछले रनों के स्कोर भी वापस ले लिए जाते हैं।
- जीतने वाले मॉडल का उपयोग कैसे करूँ?
- उसके अंश पर "Use for Builds" दबाएँ। सीरीज़ से दबाने पर वह सीरीज़ अब उसी से बिल्ड होती है। आपके Studio से दबाने पर वह हर उस सीरीज़ का डिफ़ॉल्ट बन जाता है जिसके अपने मॉडल नहीं हैं।
What this page does not claim
- Bake-off बेंचमार्क के मानक दृश्यों पर चलता है, आपकी पांडुलिपि पर नहीं।
- कुछ दृश्य बस एक नमूना हैं। छोटे रन में जीतने वाला मॉडल आपकी किताब के हर चैप्टर के लिए उपयुक्त हो, इसकी कोई गारंटी नहीं।
- जज शिल्प और ब्रीफ़ के प्रति निष्ठा को स्कोर करते हैं। आवाज़ पसंद आती है या नहीं, यह अब भी आपका फ़ैसला है, इसीलिए अंश आप खुद पढ़ते हैं।
- इस पेज के उदाहरण में दिए गए दृश्य, स्कोर और लेबल काल्पनिक हैं। वे किसी असली रन का आउटपुट नहीं हैं।
Keep reading
इसके पीछे का बेंचमार्क
Bake-off दरअसल सार्वजनिक फ़िक्शन बेंचमार्क ही है, जिसे आप अपने पसंदीदा मॉडलों पर खुद चलाते हैं। आपके रन से बने स्कोर सबके लिए मॉडलों की रैंकिंग में मदद कर सकते हैं, इसीलिए जजिंग की कीमत उसकी लागत जितनी ही रखी गई है।
संबंधित
Minty के साथ किताब की योजना बनाएं
कहानी पर बात करें और देखें कैसे वह आपके Timeline पर अध्यायों और दृश्यों में बदलती है।
Chapter builds
अध्याय के बीट्स को गद्य में बदलें — आपकी योजना, आपकी बाइबल और आपकी आवाज़ से लिखा हुआ।
अपनी AI कुंजी साथ लाएँ
अध्याय अपनी Anthropic, OpenAI, Google, xAI या OpenRouter कुंजी पर बनाएँ, या अपने क्रेडिट में शामिल AI पर। चुनाव आपका, हर सीरीज़ के लिए।
अपना AI मॉडल चुनें
वह AI मॉडल चुनें जो आपकी सीरीज़ लिखे, मापी गई लेखन गुणवत्ता और लागत के आधार पर तुलना करके, और किसी भी एक बीट पर अलग मॉडल पिन करें।
सबूत पढ़ें, फिर अपना लेखक चुनें।
कार्ड नहीं चाहिए। आपका पहला चैप्टर मुफ़्त है।