Tiêu chuẩn đánh giá văn xuôi của Novelmint đo lường điều mà thẻ thông tin mô hình chưa bao giờ làm: liệu một mô hình có thể viết một cảnh mà người đọc sẽ không bỏ qua hay không. Đây không phải bảng xếp hạng vay mượn từ các bài kiểm tra toán học hay lập trình — nó chấm điểm văn xuôi tiểu thuyết thực sự. Dưới đây là cách các con số được tạo ra, để bạn có thể tự cân nhắc và trích dẫn chúng một cách tự tin.
Những gì nó đo lường
Tiêu chuẩn này chấm điểm mức độ viết văn xuôi hư cấu của các mô hình hàng đầu — từ Anthropic, OpenAI, Google và xAI. Không phải cách chúng lý luận, không phải cách chúng lập trình, không phải cách chúng thực hiện các bài kiểm tra trắc nghiệm. Mỗi mô hình được giao cùng một tập hợp các nhịp tiểu thuyết đã được dàn dựng — các cảnh với các yếu tố bắt buộc, kiến thức bị cấm, góc nhìn nhân vật và mục tiêu kịch tính — và những gì nó viết ra được đánh giá như văn xuôi hư cấu, theo cách một biên tập viên đọc.
Tất cả đều được biểu thị trên thang điểm 0–100 cho mỗi trục, vì vậy các con số có thể so sánh trực tiếp giữa các mô hình và giữa các loại cảnh mà một cuốn sách thực sự được tạo nên.
Chín trục đánh giá
Văn xuôi hư cấu không phải là một kỹ năng duy nhất, vì vậy tiêu chuẩn không thu gọn nó thành một con số duy nhất. Nó chấm điểm chín trục, chia thành hai nhóm mang ý nghĩa khác nhau.
Bốn trục kỹ thuật đo lường một mô hình viết tốt đến mức nào, bất kể chủ đề: văn học (hình ảnh ở cấp độ câu, nhịp điệu, hàm ý, sự kiềm chế), đối thoại (liệu các nhân vật có nghe như những người riêng biệt), trung thành (mức độ trung thực khi tái hiện đúng nhịp đã dàn dựng, giữ các yếu tố bắt buộc và loại bỏ kiến thức bị cấm), và nhịp độ (kiểm soát đà câu chuyện — khi nào nên rút gọn, khi nào nên dừng lại).
Năm trục nội dung đo lường mô hình viết loại cảnh nào tốt: cảm xúc, thể chất (hành động và cơ thể trong không gian), xung đột, lãng mạn, và tình dục (nội dung người lớn tường minh). Đây không phải là xếp hạng tốt hơn hay kém hơn — chúng cho biết một mô hình phù hợp với điều gì. Một mô hình có thể có những câu văn đẹp nhưng vẫn viết các cảnh chiến đấu nhạt nhẽo, đó là lý do tại sao kỹ thuật và nội dung được chấm điểm và báo cáo riêng biệt, không bao giờ được tính trung bình thành một con số đơn lẻ gây hiểu nhầm.
Cách mỗi mô hình được chấm điểm
Chấm điểm là đánh giá ngang hàng ẩn danh. Mỗi mô hình viết cùng một tập hợp các nhịp đã dàn dựng, và một hội đồng các mô hình giám khảo mạnh mẽ, đa dạng theo nhà cung cấp, đánh giá mỗi đoạn văn từ 0–100 trên mỗi trục — mà không biết mô hình nào đã viết, và không bao giờ chấm điểm bất kỳ đoạn văn nào từ nhà cung cấp của chính mình. Quy tắc cuối cùng đó rất quan trọng: một giám khảo đến từ bên ngoài gia đình của một mô hình sẽ nhận ra những đặc điểm mà gia đình đó thường khen thưởng, vì vậy mọi điểm số mà một mô hình nhận được đều đến từ một giám khảo thực sự độc lập, không phải từ người cùng nhà.
Vì việc chấm điểm là ẩn danh và chéo mô hình, một mô hình không thể tự tâng bốc bản thân, và không một phong cách nhà nào đặt ra tiêu chuẩn.
Kiểm soát thiên kiến của giám khảo
Sử dụng mô hình để chấm điểm mô hình dẫn đến bốn lỗi phổ biến, và phương pháp này được xây dựng để ngăn chặn từng lỗi một.
Ưu tiên bản thân — một mô hình có xu hướng khen thưởng phong cách nhà của mình. Một quy tắc loại bỏ điều này từ gốc: một giám khảo không bao giờ chấm điểm một đoạn văn từ nhà cung cấp của chính mình — không chỉ là mô hình chính xác của nó, mà bất kỳ thứ gì từ cùng một gia đình. Vì vậy mọi điểm số mà một mô hình nhận được đều đến từ bên ngoài ngôi nhà của nó, nơi những đặc điểm của ngôi nhà đó hiện rõ thay vì bị che khuất. Không gia đình nào có thể dùng sở thích của mình để thổi phồng con số của chính mình.
Độ dài — các giám khảo thường xuyên khen thưởng quá mức cho độ dài. Mỗi nhịp đều có cùng một mục tiêu, khoảng 220 từ, vì vậy tất cả các đoạn văn đến với cùng một kích thước và việc thêm đệm không mang lại lợi ích gì. Một mô hình kiếm điểm số của mình dựa trên những gì nó làm với những từ đó, không phải bao nhiêu từ nó dùng.
Vị trí — thứ tự xuất hiện của các đoạn văn có thể nghiêng điểm số về phía những gì xuất hiện đầu tiên. Vì vậy các đoạn văn được đổi nhãn và xáo trộn cho mỗi nhịp, và mỗi đoạn được chấm điểm riêng lẻ theo một bộ tiêu chí cố định thay vì được xếp hạng so sánh trực tiếp. Thứ tự không mang tín hiệu nào, và bất kỳ sự lệch còn lại nào sẽ được san bằng qua nhiều nhịp và nhiều giám khảo.
Lấy mẫu — một bản thảo may mắn duy nhất có thể tâng bốc một mô hình. Việc tạo văn bản chạy ở nhiệt độ mặc định của mỗi mô hình trên cùng một lời nhắc, không có tinh chỉnh theo từng mô hình, vì vậy không mô hình nào được trao một cài đặt được chọn lọc kỹ mà các mô hình khác không có. Và không ô nào dựa trên một bản thảo duy nhất: mỗi mô hình được chấm điểm trên toàn bộ tập hợp nhịp bởi mọi mô hình khác trong hội đồng, sau đó được co lại về mức cơ sở trung tính cho đến khi có đủ phép đo — vì vậy sự may mắn của một bản thảo duy nhất sẽ biến mất trước khi một con số được công bố.
Tại sao điểm số được co lại theo mức độ tin cậy
Một giá trị trung bình thô từ một vài đoạn văn là nhiễu, và nhiễu được ngụy trang thành điểm số còn tệ hơn là không có điểm số. Vì vậy mọi con số được công bố đều được co lại về mức cơ sở trung tính 70, tỷ lệ thuận với lượng dữ liệu đứng sau nó — về mặt hình thức, là một prior tương đương năm quan sát. Một ô được hỗ trợ bởi ba mẫu may mắn sẽ được đọc là gần mức trung bình cho đến khi có đủ phép đo để xứng đáng có một vị trí; một ô được hỗ trợ bởi hàng trăm mẫu sẽ được đọc là giá trị đo lường thực sự của nó.
Kích thước mẫu đứng sau mỗi con số được hiển thị, và bất kỳ ô nào vẫn dựa trên ít hơn sáu quan sát đều được gắn cờ là tạm thời. Đây là lý do tại sao một mô hình với ít dữ liệu không bao giờ vọt lên đầu bảng nhờ một cú may — phương pháp này không cho phép điều đó.
Cách lưới điểm được cập nhật
Tiêu chuẩn này không phải là một bài kiểm tra một lần được chạy và đóng băng. Đây là một phép chiếu trực tiếp của kho điểm mà nền tảng vận hành: các quan sát của giám khảo mới được tích hợp vào giá trị trung bình liên tục, và số lượng mẫu của mỗi ô tăng theo thời gian, vì vậy lưới điểm trở nên sắc nét hơn thay vì cũ đi. Trang luôn hiển thị ngày hiệu chỉnh lại gần nhất.
Một biện pháp bảo vệ quan trọng cho độ chính xác. Khi một bí danh bền vững (con trỏ "latest") âm thầm chuyển hướng đến một mô hình cơ bản mới, các ô của mô hình đó được đặt lại và đo lại từ đầu thay vì được pha trộn với mô hình mà nó thay thế — vì vậy một thay đổi phiên bản không bao giờ âm thầm làm hỏng một cột. Đây cũng là lý do tại sao tiêu chuẩn đặt tên cho phiên bản cụ thể mà nó đã đo lường thay vì một nhãn chung chung.
Hạn chế
Các điểm số mô tả văn xuôi trên các nhịp hư cấu chỉ, được đánh giá dựa trên tập hợp mô hình và lời nhắc này. Chúng không phải là xếp hạng chính thức được nhà cung cấp mô hình xác nhận, và chúng không nói gì về khả năng lý luận, độ chính xác hay tính an toàn của một mô hình ngoài bối cảnh viết văn. Tên mô hình và thương hiệu thuộc về các chủ sở hữu tương ứng; đây là một phép đo độc lập.
Hai cách đọc dễ hiểu sai. Một điểm tình dục thấp thường phản ánh sự sẵn sàng — một mô hình từ chối hoặc chuyển sang giọng điệu lâm sàng — không phải là thất bại về kỹ thuật. Và một điểm số độ tin cậy thấp có nghĩa là "chưa được chứng minh", không phải "được chứng minh là yếu". Luôn đọc một con số cùng với kích thước mẫu của nó, và nhớ rằng mô hình tốt nhất cho cuốn sách của bạn phụ thuộc vào những trục mà cuốn sách của bạn nghiêng về — đó chính là lý do tại sao lưới điểm giữ chúng riêng biệt.