Wir haben fünf Modelle durch dasselbe 22-seitige Dokument laufen lassen. Das haben wir gelernt.

Alle paar Wochen erscheint ein neues Modell mit einem Benchmark-Diagramm. Keines dieser Diagramme misst das, was ein Dokumenten-Tool am dringendsten benötigt: Kann das Modell ein langes, strukturiertes Dokument bis ganz zum Ende schreiben, und zwar in einer Geschwindigkeit, auf die ein Benutzer wartet, ohne einfach stillschweigend vorzeitig aufzuhören?

Deshalb haben wir unseren eigenen Test entwickelt, und jedes Modell muss ihn bestehen, bevor es eine Spur in NextDocs erhält. Dieser Beitrag erklärt den Test und zeigt, wie sich fünf aktuelle Modelle dabei geschlagen haben. Einige der Ergebnisse haben uns überrascht.

Die Hürde

Wir haben einen echten Prompt aus der Produktion genommen: eine Anfrage, die ein 22-seitiges Dokument mit Abschnitten, Tabellen und einer spezifischen Struktur erzeugt hatte. Wir spielen diesen Prompt mit demselben Generierungsbudget ab, das auch das Produkt verwendet, und achten dabei auf drei Dinge:

1. Ist es fertig geworden? Alle 22 Seiten, oder hat es mitten in einem Element ohne Fehlermeldung aufgehört?
2. Wie lange hat es gedauert? NextDocs streamt ein Dokument, während es geschrieben wird, und ein Benutzer schaut dabei zu. Ein Modell, das in zwei Minuten fertig ist, und eines, das zehn Minuten braucht, sind nicht dasselbe Produkt.
3. Blieb der Durchsatz stabil? Einige Modelle starten schnell und werden langsamer, je länger die Ausgabe wird. Dieses Muster führt dazu, dass aus einem langen Dokument ein abgeschnittenes wird.

Ein Modell, das bei auch nur einem dieser drei Punkte durchfällt, wird nicht befördert, egal wie gut sein Benchmark-Diagramm aussieht.

Was die fünf Modelle geleistet haben

GPT-5.6 Luna (OpenAI, läuft auf Azure AI Foundry). Hat alle 22 Seiten in den schnellsten Durchläufen in unter zwei Minuten fertiggestellt. Konsistenter Durchsatz von der ersten bis zur letzten Seite. Aus diesem Grund besetzt Luna die schnelle Spur für jeden Tarif.

Gemini 3.5 Flash (Google). Hat alle 22 Seiten in etwas mehr als zwei Minuten fertiggestellt. Besetzte den Großteil des Sommers über die Qualitätsspur.

Gemini 3.8 Flash (Google, veröffentlicht am 2. September). Hat dieselbe Hürde innerhalb eines Tages nach der Veröffentlichung genommen und wurde am 3. September in die Qualitätsspur befördert. Die vierte Flash-Generation in vier Monaten und die erste, auf die wir innerhalb von 24 Stunden umgestiegen sind.

Claude Sonnet 4.6 (Anthropic). Hat alle 22 Seiten fertiggestellt, dabei aber fast das gesamte Generierungsbudget aufgebraucht und mit rund 170.000 Zeichen weitaus mehr geschrieben als jedes andere Modell. Es startet nicht langsam und lässt auch nicht nach; es ist einfach gründlich. Das macht es zu einem hervorragenden Premium-Schreiber und zu einem Modell, das wir bei sehr langen Dokumenten genau im Auge behalten, da eine etwas längere Anfrage das Budget überschreiten könnte.

Claude Sonnet 5 (Anthropic, veröffentlicht am 30. Juni). Das war die Überraschung. Sonnet 5 ist neuer und günstiger als Sonnet 4.6, und seine agentischen Benchmarks sind besser. Bei unserer Hürde stoppte es nach etwa acht Minuten bei Seite 16 von 22, mitten in einem Element und ohne Fehlermeldung. Das ist genau die Signatur des Abschneide-Fehlers, zu dessen Behebung wir den gesamten Juli benötigt haben. Daher wird Sonnet 5 nicht hochgestuft, und Sonnet 4.6 behält die Premium-Spur, bis ein erneuter Test etwas anderes sagt.

Was wir gelernt haben

Neu ist bei langen Dokumenten nicht gleichbedeutend mit besser. Die beiden Modelle, deren Beförderung wir diesen Sommer abgelehnt haben, waren beide neuer als diejenigen, die ihre Spuren behalten haben. Ein Modell kann pro Token intelligenter sein und bei einem langen Dokument dennoch aufgrund einer abfallenden Durchsatzkurve scheitern.

Der Abfall des Durchsatzes ist das Fehlermuster, auf das man achten muss. Die gefährlichen Modelle erzeugen keine Fehler. Sie werden langsamer, je länger das Dokument wird, überschreiten das Streaming-Budget, und der Stream endet mit einem halbfertigen Dokument, das vollständig aussieht. Wir haben NextDocs so angepasst, dass ein abgebrochener Stream erkannt und das abgeschnittene Ergebnis nicht gespeichert wird. Deshalb werden lange Dokumente jetzt entweder fertiggestellt oder scheitern lautstark, niemals stillschweigend.

Gründlichkeit hat ihren Preis. Sonnet 4.6 schreibt die detailreichsten und längsten Dokumente der fünf Modelle. Für einen 40-seitigen Bericht ist genau das gewünscht. Für eine Präsentation mit zehn Folien hätten Sie lieber Luna und Ihren freien Nachmittag zurück. Deshalb hat unsere Struktur verschiedene Spuren statt nur eines Modells.

Jedes Mal testen vor dem Befördern. Gemini 3.8 Flash hat sich seine Spur an einem Tag verdient, weil die Hürde reproduzierbar ist. Sonnet 5 hat aus demselben Grund eine Spur verloren, die es sonst bekommen hätte. Ein fester Test ist der Weg, um schnell zu bleiben, ohne leichtsinnig zu werden.

Was das für Sie bedeutet

Sie müssen sich darüber keine Gedanken machen. Wählen Sie einen Modus, und das System wählt das passende Modell:

• Schnell für Entwürfe und kurze Dokumente.
• Qualität für alles mit Abschnitten, die konsistent bleiben müssen.
• Premium (bei Pro+ und Ultra) für Texte, bei denen Tiefe wichtiger ist als Zeit.

Oder treffen Sie im Modell-Auswähler eine gezielte Auswahl. Und wenn Sie Ihre eigene Version dieses Tests durchführen möchten, können Sie mit der Multi-Varianten-Generierung einen Prompt an mehrere Modelle gleichzeitig senden und die fertigen Dokumente direkt miteinander vergleichen. Das kommt einem fairen Vergleichstest unter realen Bedingungen am nächsten, ohne dass Sie ein Labor benötigen.

Wenn die Modelle, die Sie am liebsten vergleichen möchten, die allerneuesten sind – GPT-6 Astra und Claude Fable 5.1 –, diese sind noch nicht in NextDocs verfügbar. Die Shyne-Desktop-App kann ihren Agenten über Ihr eigenes Claude-Code- oder Codex-Abonnement ausführen. Das ist derzeit der schnellste Weg, um sie mit echten Dokumenten arbeiten zu lassen.

Probieren Sie die Modellauswahl in NextDocs aus

---

Das NextDocs-Team