புனைகதை மாதிரி அளவுகோல் எவ்வாறு செயல்படுகிறது

Novelmint fiction benchmark ஒரே ஒரு விஷயத்தை அளவிடுகிறது — model cards எப்போதும் செய்யாத ஒன்றை: ஒரு மாடல் எழுதும் காட்சியை வாசகர் தவிர்க்காமல் படிப்பாரா என்பதை. இது கணிதம் அல்லது கோடிங் சோதனைகளிலிருந்து கடன் வாங்கப்பட்ட தரவரிசை அல்ல — இது உண்மையான நாவல் உரைநடையை மதிப்பிடுகிறது. எண்கள் எவ்வாறு உருவாக்கப்படுகின்றன என்பதை இங்கே தெளிவாக விளக்குகிறோம், இதனால் நீங்கள் அவற்றை சொந்தமாக மதிப்பீடு செய்து நம்பிக்கையுடன் மேற்கோள் காட்டலாம்.

இது என்ன அளவிடுகிறது

இந்த benchmark, Anthropic, OpenAI, Google மற்றும் xAI ஆகிய நிறுவனங்களின் முன்னணி மாடல்கள் புனைவை எவ்வளவு சிறப்பாக எழுதுகின்றன என்பதை மதிப்பிடுகிறது. அவை எவ்வாறு சிந்திக்கின்றன என்பதை அல்ல, எவ்வாறு குறியிடுகின்றன என்பதை அல்ல, பன்முக தேர்வு சோதனைகளில் எவ்வாறு செயல்படுகின்றன என்பதை அல்ல. ஒவ்வொரு மாடலுக்கும் ஒரே மாதிரியான திட்டமிடப்பட்ட நாவல் கட்டமைப்புகள் — தேவையான கூறுகள், தடைசெய்யப்பட்ட அறிவு, ஒரு கண்ணோட்டம் மற்றும் ஒரு நாடகீய இலக்கு கொண்ட காட்சிகள் — வழங்கப்படுகின்றன, அது எழுதுவதை ஒரு ஆசிரியர் படிப்பதுபோல் புனைவாக மதிப்பிடுகிறோம்.

அனைத்தும் ஒவ்வொரு அச்சுக்கும் 0–100 என்ற ஒற்றை அளவில் வெளிப்படுத்தப்படுகின்றன, எனவே மாடல்களுக்கிடையில் மற்றும் ஒரு புத்தகம் உண்மையில் கொண்டிருக்கும் காட்சி வகைகளுக்கிடையில் எண்கள் நேரடியாக ஒப்பிடத்தக்கவை.

ஒன்பது அச்சுகள்

புனைவு என்பது ஒரே ஒரு திறன் அல்ல, எனவே benchmark அதை ஒரே எண்ணில் சுருக்குவதில்லை. இது ஒன்பது அச்சுகளை மதிப்பிடுகிறது, அவை இரண்டு குடும்பங்களாக பிரிக்கப்படுகின்றன, அவை வேறு வேறு விஷயங்களை அர்த்தப்படுத்துகின்றன.

நான்கு கைவினை அச்சுகள் ஒரு மாடல் எவ்வளவு சிறப்பாக எழுதுகிறது என்பதை அளவிடுகின்றன, பொருளைப் பொருட்படுத்தாமல்: literary (வாக்கிய அளவிலான படிமம், தாளம், உள்ளர்த்தம், நிதானம்), dialogue (கதாபாத்திரங்கள் தனித்தனி மனிதர்களைப் போல் ஒலிக்கிறார்களா), fidelity (திட்டமிடப்பட்ட கட்டமைப்பை எவ்வளவு உண்மையாக வழங்குகிறது — தேவையான கூறுகளை உள்ளே வைத்து தடைசெய்யப்பட்ட அறிவை வெளியே வைக்கிறதா), மற்றும் pacing (வேகத்தின் கட்டுப்பாடு — எப்போது சுருக்க வேண்டும், எப்போது நிதானிக்க வேண்டும்).

ஐந்து உள்ளடக்கம் அச்சுகள் ஒரு மாடல் எந்த வகையான காட்சியை சிறப்பாக எழுதுகிறது என்பதை அளவிடுகின்றன: emotion, physicality (செயல் மற்றும் வெளியில் உடல்), conflict, romance, மற்றும் eroticism (வெளிப்படையான பெரியவர் உள்ளடக்கம்). இவை சிறந்தது-மோசமானது என்ற தரவரிசைகள் அல்ல — ஒரு மாடல் எதற்கு தகுந்தது என்பதை இவை கூறுகின்றன. ஒரு மாடலுக்கு அழகான வாக்கியங்கள் இருக்கலாம், ஆனாலும் சண்டைக் காட்சிகளை தட்டையாக எழுதலாம், அதனால்தான் கைவினை மற்றும் உள்ளடக்கம் தனித்தனியாக மதிப்பிடப்பட்டு அறிவிக்கப்படுகின்றன, ஒருபோதும் ஒற்றை தவறான புள்ளியாக சராசரியாக்கப்படுவதில்லை.

ஒவ்வொரு மாடலும் எவ்வாறு மதிப்பிடப்படுகிறது

மதிப்பீடு என்பது குருட்டு சக மதிப்பாய்வு. ஒவ்வொரு மாடலும் ஒரே திட்டமிடப்பட்ட கட்டமைப்புகளை எழுதுகிறது, மேலும் வலுவான, வழங்குநர்-வேறுபட்ட நடுவர் மாடல்களின் குழு ஒவ்வொரு பகுதியையும் ஒவ்வொரு அச்சிலும் 0–100 என மதிப்பிடுகிறது — எந்த மாடல் எழுதியது என்று தெரியாமல், மேலும் ஒருபோதும் தன் சொந்த வழங்குநரின் பகுதியை மதிப்பிட மாட்டார்கள். அந்த கடைசி விதி முக்கியமானது: ஒரு மாடலின் சொந்த குடும்பத்திற்கு வெளியில் இருந்து ஒரு நடுவர் அந்த குடும்பம் பொதுவாக வெகுமதி அளிக்கும் குறிகளை கண்டுபிடிக்கிறார், எனவே ஒரு மாடல் பெறும் ஒவ்வொரு மதிப்பெண்ணும் ஒரு உண்மையான வெளி நடுவரிடமிருந்து வருகிறது, வீட்டு சக ஊழியரிடமிருந்து அல்ல.

மதிப்பீடு குருடாக மற்றும் குறுக்கு-மாடலாக இருப்பதால், ஒரு மாடல் தன்னைத்தானே புகழ்ந்துகொள்ள முடியாது, மேலும் எந்த ஒரு வீட்டு நடை தரத்தை நிர்ணயிக்கவில்லை.

நடுவர் சார்பை கட்டுப்படுத்துதல்

மாடல்களை மதிப்பிட மாடல்களை பயன்படுத்துவது நான்கு நன்கு அறியப்பட்ட தோல்வி முறைகளை அழைக்கிறது, மேலும் இந்த முறை ஒவ்வொன்றையும் மூட கட்டமைக்கப்பட்டுள்ளது.

சுய-விருப்பம் — ஒரு மாடல் தன் சொந்த வீட்டு நடையை வெகுமதி அளிக்கும் போக்கு உள்ளது. ஒரு விதி அதை வேரிலேயே அகற்றுகிறது: ஒரு நடுவர் ஒருபோதும் தன் சொந்த வழங்குநரின் பகுதியை மதிப்பிட மாட்டார் — தன் சொந்த சரியான மாடல் மட்டுமல்ல, ஒரே குடும்பத்தில் இருந்து எதுவும். எனவே ஒரு மாடல் பெறும் ஒவ்வொரு மதிப்பெண்ணும் தன் சொந்த வீட்டிற்கு வெளியில் இருந்து வருகிறது, அங்கு அந்த வீட்டின் குறிகள் கண்ணுக்கு தெரியும் அல்லாமல் மறைவாக இல்லை. எந்த குடும்பத்தின் சுவையும் தன் சொந்த எண்களை பெரிதாக்க முடியாது.

வாய்ப்புரை — நடுவர்கள் நம்பகத்தன்மையுடன் நீளத்திற்கு அதிகமாக வெகுமதி அளிக்கிறார்கள். ஒவ்வொரு கட்டமைப்பும் ஒரே இலக்கை, தோராயமாக 220 வார்த்தைகளை, கோடிட்டுக் காட்டுகிறது, எனவே அனைத்து பகுதிகளும் கிட்டத்தட்ட ஒரே அளவில் வருகின்றன மற்றும் நிரப்புதல் எதையும் வாங்குவதில்லை. ஒரு மாடல் அந்த வார்த்தைகளை எப்படி பயன்படுத்துகிறது என்பதன் மீது தன் மதிப்பெண்ணை பெறுகிறது, எத்தனை செலவழிக்கிறது என்பதன் மீது அல்ல.

நிலை — பகுதிகள் தோன்றும் வரிசை முதலில் வந்ததை நோக்கி மதிப்பெண்களை தள்ளலாம். எனவே ஒவ்வொரு கட்டமைப்பிற்கும் பகுதிகள் மறுலேபல் செய்யப்பட்டு கலைக்கப்படுகின்றன, மேலும் ஒவ்வொன்றும் தலை-முதல் தரவரிசைப்படுத்தப்படுவதற்கு பதிலாக ஒரு நிலையான rubric க்கு எதிராக தனியாக மதிப்பிடப்படுகிறது. வரிசை எந்த சமிக்ஞையையும் கொண்டு செல்வதில்லை, மேலும் எந்த எஞ்சிய விலகலும் பல கட்டமைப்புகள் மற்றும் பல நடுவர்களிடையே சராசரியாகிறது.

மாதிரி — ஒரு தனி அதிர்ஷ்டமான வரைவு ஒரு மாடலை புகழலாம். தலைமுறை ஒவ்வொரு மாடலின் இயல்புநிலை வெப்பநிலையில் ஒரே மாதிரியான உடனடி அழைப்பில் இயங்குகிறது, மாடல்-குறிப்பிட்ட சரிசெய்தல் இல்லாமல், எனவே எந்த மாடலுக்கும் மற்றவர்கள் பெறாத ஒரு தேர்ந்தெடுத்த அமைப்பு வழங்கப்படவில்லை. மேலும் எந்த செல்லும் ஒரு வரைவில் நிற்பதில்லை: ஒவ்வொரு மாடலும் குழுவில் உள்ள ஒவ்வொரு மற்ற மாடலால் முழு கட்டமைப்பு தொகுப்பில் மதிப்பிடப்படுகிறது, பின்னர் போதுமான அளவீடுகள் குவியும் வரை நடுநிலை baseline நோக்கி சுருக்கப்படுகிறது — எனவே ஒரு-வரைவு அதிர்ஷ்டம் ஒரு எண் வெளியிடப்படுவதற்கு முன்பே கழுவப்படுகிறது.

மதிப்பெண்கள் நம்பிக்கையால் ஏன் சுருக்கப்படுகின்றன

சில பகுதிகளிலிருந்து ஒரு மூல சராசரி சத்தம், மற்றும் மதிப்பெண்ணாக அலங்கரிக்கப்பட்ட சத்தம் எந்த மதிப்பெண்ணும் இல்லாததை விட மோசமானது. எனவே ஒவ்வொரு வெளியிடப்பட்ட எண்ணும் அதன் பின்னால் எவ்வளவு குறைவான தரவு இருக்கிறது என்பதற்கு விகிதாசாரமாக ஒரு நடுநிலை 70 baseline நோக்கி சுருக்கப்படுகிறது — முறையாக, ஐந்து கவனிப்புகள் மதிப்புள்ள ஒரு prior. மூன்று அதிர்ஷ்டமான மாதிரிகளால் ஆதரிக்கப்பட்ட ஒரு செல் போதுமான அளவீடுகள் அதை ஒரு இடம் பெறும் வரை தோராயமாக சராசரியாக படிக்கிறது; நூற்றுக்கணக்கானவற்றால் ஆதரிக்கப்பட்ட ஒரு செல் அதன் உண்மையான அளவிடப்பட்ட மதிப்பாக படிக்கிறது.

ஒவ்வொரு எண்ணுக்கும் பின்னால் உள்ள மாதிரி அளவு காட்டப்படுகிறது, மேலும் இன்னும் ஆறு கவனிப்புகளுக்கும் குறைவாக உள்ள எந்த செல்லும் தற்காலிகமாக கொடியிடப்படுகிறது. அதனால்தான் மெல்லிய தரவு கொண்ட ஒரு மாடல் ஒரு தற்செயலில் மேல் நோக்கி ஏவுகணை செய்வதில்லை — முறை அதை அனுமதிக்காது.

கட்டம் எவ்வாறு தற்போதையதாக இருக்கிறது

Benchmark என்பது ஒரு முறை இயக்கப்பட்டு உறைந்த ஒரு சோதனை அல்ல. இது தளம் இயங்கும் மதிப்பீட்டு கடையின் நேரடி திட்டமாகும்: புதிய நடுவர் கவனிப்புகள் ஒரு நடப்பு சராசரியில் மடிக்கின்றன, மேலும் ஒவ்வொரு செல்லின் மாதிரி எண்ணிக்கை காலப்போக்கில் வளர்கிறது, எனவே கட்டம் வயதாவதற்கு பதிலாக கூர்மையாகிறது. பக்கம் எப்போதும் மிக சமீபத்திய மறுகுழைவின் தேதியை காட்டுகிறது.

துல்லியத்திற்கு ஒரு பாதுகாப்பு முக்கியமானது. ஒரு நீடித்த alias ("latest" சுட்டிக்காட்டி) ஒரு புதிய அடிப்படை மாடலை அமைதியாக சுட்டிக்காட்டும்போது, அந்த மாடலின் செல்கள் மாற்றப்பட்ட மாடலுடன் கலக்கப்படுவதற்கு பதிலாக மீட்டமைக்கப்பட்டு புதிதாக அளவிடப்படுகின்றன — எனவே ஒரு பதிப்பு மாற்றம் ஒரு நெடுவரிசையை அமைதியாக சிதைப்பதில்லை. அதனால்தான் benchmark ஒரு பொதுவான லேபல் பதிலாக தான் அளவிட்ட குறிப்பிட்ட பதிப்பை பெயரிடுகிறது.

வரம்புகள்

மதிப்பெண்கள் புனைவு கட்டமைப்புகளில் உரைநடையை மட்டும் விவரிக்கின்றன, இந்த மாடல்கள் மற்றும் உடனடி அழைப்புகள் தொகுப்பில் மதிப்பிடப்படுகின்றன. அவை மாடல் வழங்குநர்களால் அங்கீகரிக்கப்பட்ட அதிகாரப்பூர்வ மதிப்பீடுகள் அல்ல, மேலும் எழுத்து சூழலுக்கு வெளியே ஒரு மாடலின் சிந்தனை, துல்லியம் அல்லது பாதுகாப்பு பற்றி அவை எதையும் கூறவில்லை. மாடல் பெயர்கள் மற்றும் வர்த்தக முத்திரைகள் அவற்றின் தனித்தனி உரிமையாளர்களுக்கு சொந்தமானவை; இது ஒரு சுயாதீன அளவீடு.

இரண்டு வாசிப்புகளை தவறாக புரிந்துகொள்வது எளிது. குறைந்த eroticism மதிப்பெண் பொதுவாக விருப்பத்தை பிரதிபலிக்கிறது — ஒரு மாடல் மறுக்கிறது அல்லது மருத்துவமயமாகிறது — கைவினையின் தோல்வி அல்ல. மேலும் குறைந்த நம்பிக்கை மதிப்பெண் "இன்னும் நிரூபிக்கப்படவில்லை" என்று அர்த்தம், "பலவீனமாக நிரூபிக்கப்பட்டது" அல்ல. எப்போதும் ஒரு எண்ணை அதன் மாதிரி அளவுடன் சேர்த்து படியுங்கள், மேலும் உங்கள் புத்தகத்திற்கான சிறந்த மாடல் உங்கள் புத்தகம் எந்த அச்சுகளில் சாய்கிறது என்பதைப் பொறுத்தது என்பதை நினைவில் கொள்ளுங்கள் — கட்டம் அவற்றை தனித்தனியாக வைத்திருப்பதற்கான முழு காரணம் இதுவே.