AI 모델의 소설 실력을 직접 테스트하고, 승자로 빌드하세요
Last checked against the product November 10, 2026
리더보드는 평균적으로 어떤 모델의 점수가 높은지 알려 주지만, 어떤 모델의 글이 내 취향인지는 알려 주지 못합니다. Bake-off로 직접 확인해 보세요. Novelmint 자체 모델, 더 넓은 OpenRouter 목록, 또는 내 API 키의 모델 중에서 두 개에서 다섯 개를 고르면, 각 모델이 공개 소설 벤치마크의 같은 장면을 씁니다. 심사위원단이 모든 글을 블라인드로 채점하고, 원하면 이름을 가린 채 나란히 읽을 수 있습니다. 마음에 드는 모델이 나오면 클릭 한 번으로 시리즈 빌드 모델로 지정됩니다.
Key takeaways
- Bake-off는 직접 고른 두 개에서 다섯 개의 모델(Novelmint 모델, OpenRouter 목록의 모델, 내 API 키의 모델)에 Novelmint의 소설 벤치마크를 실행합니다.
- 모든 모델이 벤치마크의 표준 장면에서 뽑은 같은 지시문으로 각 장면을 쓰므로, 동일한 조건에서 비교할 수 있습니다.
- 벤치마크의 심사위원단이 각 글을 블라인드로 채점하며, 심사위원은 자신과 같은 제작사의 모델은 채점하지 않습니다.
- 글을 나란히 읽고, 선택하기 전까지 모델 이름을 숨길 수 있으며, 전체 실행 결과를 파일로 저장할 수 있습니다.
- "빌드에 사용"을 한 번 누르면 승자가 해당 시리즈의 모델이 되거나, 모든 시리즈에 적용되는 Studio 기본값이 됩니다.
What it does
Bake-off로 할 수 있는 것
최대 다섯 개 모델 동시 비교
Novelmint가 점수를 측정한 모델, 점수가 아직 없는 "More models" 목록의 모델, 그리고 내 키로 사용할 수 있는 기본 모델을 자유롭게 섞어 보세요.
모두에게 같은 장면을
매 라운드마다 모든 모델이 벤치마크의 표준 장면 중 지금까지 점수가 가장 적은 장면 몇 개를 씁니다. 한 번에 몇 라운드를 돌릴지 직접 정하세요.
블라인드 채점
공개 벤치마크와 같은 심사위원단이 어떤 모델이 썼는지 모른 채 각 글을 채점하며, 제작사가 같은 모델은 절대 채점하지 않습니다. 점수는 0~100점으로, 장면이 목표로 하는 바를 얼마나 잘 해냈는지와 브리프를 얼마나 충실히 따랐는지를 합산합니다.
나도 블라인드로 읽기
"선택하기 전까지 모델 이름 숨기기"를 체크하면 글이 모델 A, 모델 B 같은 이름으로 표시되어, 평판보다 글 자체를 먼저 판단할 수 있습니다.
증거를 보관하세요
각 모델이 무엇인지 알려 주는 키와 함께 실행 결과를 파일로 저장하세요. 지난 베이크오프는 탭에 계속 목록으로 남습니다.
바로 빌드에 적용
마음에 든 글에서 "Use for Builds"를 누르세요. 시리즈에서 누르면 해당 시리즈의 모델이, Studio에서 누르면 모든 시리즈의 기본값이 설정됩니다.
How to use it
실행 방법
Bake-off 탭 열기
Studio와 각 시리즈의 AI Models 페이지에 있습니다.
모델 2~5개 선택
Novelmint의 모델, 더 넓은 OpenRouter 목록, 그리고 계정 > AI 키에 저장해 둔 API 키로 쓸 수 있는 모델을 검색해 보세요.
라운드 수를 정하고 가격 확인
시작하기 전에 이번 실행의 가격과 보유 크레딧이 탭에 표시됩니다.
실행하고 읽어 보기
실행이 끝나면 장면별 글을 단어 수와 점수와 함께 나란히 읽어 보세요. 블라인드로 읽고 싶다면 이름을 숨기세요.
우승 모델 사용하기
원하는 글에서 "Use for Builds"를 누르세요. 다음 챕터 빌드부터 그 모델이 사용됩니다.
Example
결과는 이렇게 보입니다
You ask
벤치마크 장면 하나: 사이가 소원해진 두 자매가 아버지의 장례식에서 만나지만, 둘 다 하려던 말을 꺼내지 못합니다.
You get back
- 모델 A: 231단어, 78점. 침묵이 장면을 이끌게 하며 브리프를 철저히 따릅니다.
- 모델 B: 214단어, 71점. 대화는 훌륭하지만, 마지막 줄에서 한 자매가 끝내 숨겨 둔 말을 입 밖에 냅니다.
- 모델 C: 226단어, 64점. 배경 묘사는 생생하지만 감정을 보여 주기보다 설명하는 편입니다.
- 모델 A를 고르면 이름이 공개되고, "Use for Builds"로 시리즈의 모델로 설정됩니다.
결과의 형태를 보여 주기 위해 장면, 점수, 블라인드 라벨을 지어낸 예시입니다. 실제 실행에서는 벤치마크의 실제 장면과 심사위원의 실제 점수가 사용됩니다.
Questions
Frequently asked
- 소설 집필용 AI 모델을 어떻게 비교할 수 있나요?
- Novelmint의 AI Models 페이지에서 Bake-off 탭을 열고 모델 2~5개를 고르세요. 각 모델이 공개 소설 벤치마크의 같은 표준 장면을 쓰면, 심사위원단이 모든 글을 블라인드로 채점하고, 여러분은 글을 나란히 놓고 읽어 볼 수 있습니다.
- 베이크오프에 내 작품이 사용되나요?
- 아니요. 모든 모델이 벤치마크의 표준 장면을 쓰므로 동일한 조건에서 비교할 수 있고, 내 원고는 실행에 포함되지 않습니다. 내 챕터에서 모델이 어떻게 쓰는지 보려면 시리즈에 그 모델을 선택하고 빌드하세요.AI 모델 선택하기
- 내 API 키로 모델을 테스트할 수 있나요?
- 네. 저장해 둔 키로 사용할 수 있는 기본 모델은 모두 베이크오프에 참여할 수 있으며, 글쓰기는 내 키로 실행됩니다. 직접 파인튜닝한 모델은 제외되므로, 심사위원은 항상 제작사가 만든 그대로의 모델을 보게 됩니다.내 AI 키 사용하기
- 누가 글을 심사하나요?
- Novelmint의 공개 벤치마크와 같은 심사위원 모델단입니다. 어떤 모델이 썼는지 모른 채 각 글을 채점하며, 심사위원은 제작사가 같은 모델은 채점하지 않습니다.
- 베이크오프 비용은 얼마인가요?
- 심사와 Novelmint 모델의 글쓰기는 Novelmint에 드는 AI 비용 그대로, 마진 없이 크레딧으로 차감됩니다. 내 키로 쓰는 글은 크레딧이 들지 않습니다. 시작하기 전에 가격이 표시되며, 그보다 더 청구되는 일은 없습니다.요금
- 내 결과가 공개되나요?
- 글은 공개되지 않으며, 점수만 공개 벤치마크의 모델 순위에 도움이 될 수 있습니다. 탭에서 이 기능을 끌 수 있고, 끄면 이전 실행의 점수도 함께 회수됩니다.
- 우승한 모델은 어떻게 사용하나요?
- 해당 글에서 "Use for Builds"를 누르세요. 시리즈에서 누르면 그 시리즈가 이 모델로 빌드되고, Studio에서 누르면 자체 모델이 없는 모든 시리즈의 기본값이 됩니다.
What this page does not claim
- 베이크오프는 내 원고가 아니라 벤치마크의 표준 장면으로 실행됩니다.
- 몇몇 장면은 표본일 뿐입니다. 짧은 실행에서 우승한 모델이 내 책의 모든 챕터에 맞는다는 보장은 없습니다.
- 심사위원은 문장력과 브리프 충실도를 채점합니다. 문체가 마음에 드는지는 여전히 여러분이 판단할 몫이므로, 글을 직접 읽어 보세요.
- 이 페이지 예시의 장면, 점수, 라벨은 모두 지어낸 것입니다. 실제 실행 결과가 아닙니다.
Keep reading
그 바탕이 되는 벤치마크
베이크오프는 공개 소설 벤치마크를 내가 관심 있는 모델로 직접 돌려 보는 것입니다. 실행으로 나온 점수는 모든 사용자를 위한 모델 순위에 도움이 될 수 있으며, 그래서 심사 비용은 원가 그대로입니다.