Przetestuj modele AI na fikcji sam, potem buduj z wygranym
Last checked against the product November 10, 2026
Ranking mówi, który model dostał średnio najwyższą ocenę. Nie powie, który z nich będzie Ci się lepiej czytać. Bake-off pozwala to sprawdzić. Wybierz od dwóch do pięciu modeli, z własnych modeli Novelmint, z szerszej listy OpenRouter lub z własnego klucza API, a każdy napisze te same sceny z naszego publicznego benchmarku fikcji. Panel sędziów ocenia każdy fragment w ciemno, a Ty czytasz je obok siebie, w razie chęci z ukrytymi nazwami. Gdy któryś się wyróżni, jedno kliknięcie ustawia go jako model, na którym buduje się Twoja seria.
Key takeaways
- Bake-off uruchamia benchmark fikcji Novelmint na dwóch do pięciu wybranych modelach: modelach Novelmint, dowolnych z listy OpenRouter lub z własnego klucza API.
- Każdy model dostaje to samo zadanie dla każdej sceny, wybrane ze standardowych scen benchmarku, więc porównanie jest uczciwe.
- Panel sędziów benchmarku ocenia każdy fragment w ciemno, a sędzia nigdy nie ocenia modelu własnego twórcy.
- Czytasz fragmenty obok siebie, możesz ukryć nazwy modeli do czasu wyboru i zapisać cały przebieg jako plik.
- Jedno kliknięcie „Użyj do buildów” ustawia zwycięzcę jako model tej serii albo domyślny model Studio dla wszystkich serii.
What it does
Co daje bake-off
Do pięciu modeli naraz
Zestawiaj modele z pomiarami Novelmint, modele z listy „More models”, które nie mają jeszcze wyniku, oraz modele bazowe dostępne przez Twój własny klucz.
Te same sceny dla wszystkich
W każdej rundzie każdy model pisze kilka standardowych scen benchmarku, tych z dotychczas najmniejszą liczbą ocen. Sam wybierasz, ile rund uruchomić naraz.
Ocena w ciemno
Ten sam zespół sędziów co w publicznym benchmarku ocenia każdy fragment, nie wiedząc, który model go napisał, i nigdy nie ocenia modelu własnego twórcy. Wynik to 0–100: jak dobrze scena spełnia testowane zadanie oraz jak wiernie trzyma się założeń.
Czytanie w ciemno, także dla Ciebie
Zaznacz „Hide model names until I pick”, a fragmenty pojawią się jako Model A, Model B itd. — oceniasz więc tekst, zanim zadziała renoma.
Zachowaj dowody
Zapisz przebieg do pliku wraz z kluczem, który model jest którym. Twoje dotychczasowe bake-offy pozostają na liście w tej karcie.
Prosto do Twoich buildów
Kliknij „Use for Builds” przy fragmencie, który Ci się spodobał. W serii ustawia model tej serii, a w Studio — domyślny model dla wszystkich serii.
How to use it
Jak go uruchomić
Otwórz kartę Bake-off
Znajdziesz ją na stronie AI Models, zarówno w Studio, jak i w każdej serii.
Wybierz od dwóch do pięciu modeli
Przeszukaj modele Novelmint, szerszą listę OpenRouter oraz modele z każdego klucza API zapisanego w Account, a potem w AI keys.
Wybierz liczbę rund i sprawdź cenę
Karta pokazuje cenę przebiegu przed startem oraz liczbę Twoich kredytów.
Uruchom i czytaj
Po zakończeniu przebiegu czytaj fragmenty każdej sceny obok siebie, wraz z liczbą słów i wynikami. Ukryj nazwy, jeśli chcesz czytać w ciemno.
Użyj zwycięzcy
Kliknij „Use for Builds” przy wybranym fragmencie. Twój następny build rozdziału użyje tego modelu.
Example
Jak wygląda wynik
You ask
Jedna scena z benchmarku: dwie skłócone siostry spotykają się na pogrzebie ojca i żadna nie mówi tego, po co przyszła.
You get back
- Model A: 231 słów, wynik 78. Pozwala ciszy poprowadzić scenę i ściśle trzyma się założeń.
- Model B: 214 słów, wynik 71. Mocne dialogi, ale w ostatniej linijce jedna z sióstr wypowiada na głos to, co miało pozostać niewypowiedziane.
- Model C: 226 słów, wynik 64. Wyrazisty obraz miejsca, a emocje są raczej opowiedziane niż pokazane.
- Wybierasz Model A, nazwy zostają ujawnione, a „Use for Builds” ustawia go jako model Twojej serii.
Ilustracja z zmyśloną sceną, zmyślonymi wynikami i oznaczeniami w ciemno, pokazująca kształt wyniku. Twój przebieg używa prawdziwych scen benchmarku i prawdziwych ocen sędziów.
Questions
Frequently asked
- Jak porównać modele AI do pisania prozy?
- W Novelmint otwórz kartę Bake-off na stronie AI Models i wybierz od dwóch do pięciu modeli. Każdy pisze te same standardowe sceny z publicznego benchmarku prozy, zespół sędziów ocenia każdy fragment w ciemno, a Ty czytasz je obok siebie.
- Czy bake-off korzysta z mojej książki?
- Nie. Każdy model pisze standardowe sceny benchmarku, więc wyniki są porównywalne, a Twój rękopis nie bierze udziału w przebiegu. Aby zobaczyć, jak model radzi sobie z Twoimi rozdziałami, wybierz go dla serii i uruchom build.Wybierz swój model AI
- Czy mogę przetestować model na własnym kluczu API?
- Tak. Do bake-offu może dołączyć każdy model bazowy dostępny przez Twój zapisany klucz, a jego pisanie odbywa się na Twoim kluczu. Modele, które sam dostroiłeś, są pomijane, dzięki czemu sędziowie zawsze oceniają model takim, jakim stworzył go jego twórca.Użyj własnego klucza AI
- Kto ocenia fragmenty?
- Ten sam zespół modeli-sędziów co w publicznym benchmarku Novelmint. Oceniają każdy fragment, nie widząc, który model go napisał, a sędzia nigdy nie ocenia modelu własnego twórcy.
- Ile kosztuje bake-off?
- Ocenianie oraz pisanie przez modele Novelmint kosztują kredyty w wysokości kosztu AI dla Novelmint, bez marży. Pisanie na Twoim własnym kluczu nie kosztuje kredytów. Cenę widzisz przed startem i nigdy nie zostaniesz obciążony kwotą wyższą.Cennik
- Czy moje wyniki staną się publiczne?
- Twoje wyniki, nigdy same fragmenty, mogą pomóc w rankingu modeli w publicznym benchmarku. Możesz to wyłączyć w karcie, a wyłączenie wycofuje też wyniki z Twoich wcześniejszych przebiegów.
- Jak użyć modelu, który wygrał?
- Kliknij „Use for Builds” przy jego fragmencie. W serii ta seria będzie odtąd budowana z jego użyciem. W Studio stanie się modelem domyślnym dla każdej serii, która nie ma własnych modeli.
What this page does not claim
- Bake-off działa na standardowych scenach benchmarku, a nie na Twoim rękopisie.
- Kilka scen to tylko próbka. Model, który wygra krótki przebieg, nie musi pasować do każdego rozdziału Twojej książki.
- Sędziowie oceniają warsztat i wierność założeniom. To, czy podoba Ci się głos, nadal należy do Ciebie — dlatego sam czytasz fragmenty.
- Sceny, wyniki i oznaczenia w przykładzie na tej stronie są zmyślone. Nie pochodzą z prawdziwego przebiegu.
Keep reading
Benchmark, na którym to się opiera
Bake-off to publiczny benchmark prozy, który uruchamiasz sam na modelach, które Cię interesują. Wyniki z Twoich przebiegów mogą pomóc w rankingu modeli dla wszystkich, dlatego ocenianie kosztuje tyle, ile wynosi jego koszt.
Powiązane
Zaplanuj książkę z Minty
Opowiedz historię na głos i obserwuj, jak zamienia się w rozdziały i sceny na Twojej Osi czasu.
Budowanie rozdziałów
Zamień sceny rozdziału w prozę napisaną na podstawie Twojego planu, biblii i głosu.
Użyj własnego klucza AI
Twórz rozdziały na własnym kluczu Anthropic, OpenAI, Google, xAI lub OpenRouter albo na AI wliczonym w kredyty. Twój wybór, osobno dla każdej serii.
Wybierz swój model AI
Wybierz model AI piszący Twoją serię, porównany pod względem zmierzonej jakości pisania i kosztu, i przypisz inny do dowolnego pojedynczego beatu.
Przeczytaj dowody, potem wybierz swojego pisarza.
Bez karty. Pierwszy rozdział jest za darmo.