5つのモデルに同じ22ページの文書を処理させてみました。そこから得られた知見を紹介します。

数週間ごとに、ベンチマークのグラフを引っ提げて新しいモデルが登場します。しかし、それらのグラフのどれも、文書作成ツールが最も必要としている指標を測定していません。それは、「人間が待てる速度で、途中で勝手に止まることなく、構造化された長い文書を最後まで書ききることができるか？」という点です。

そこで私たちは独自のテストを構築しました。NextDocsでレーン（選択肢）として提供される前に、すべてのモデルがこのテストをクリアする必要があります。この記事では、そのテストの内容と、現在の5つのモデルがどのような結果を示したかについて説明します。結果の中には、私たちを驚かせるものもありました。

評価ゲート

私たちは、本番環境から実際のプロンプトを抽出しました。これは、セクション、表、および特定の構造を持つ22ページの文書を生成したリクエストです。このプロンプトを、製品が使用するのと同じ生成バジェット（予算・制限）で候補モデルに対して実行し、次の3つのポイントを観察します。

1. 最後まで完了したか？ 22ページすべてを書ききったか、それともエラーも出さずに要素の途中で停止してしまったか？
2. どれくらい時間がかかったか？ NextDocsは文書が作成されるにつれてストリーミング表示し、ユーザーはそれをリアルタイムで見ています。2分で完了するモデルと10分かかるモデルでは、製品としての価値が全く異なります。
3. スループットは維持されたか？ 一部のモデルは最初は高速ですが、出力が大きくなるにつれて速度が低下します。このパターンこそが、長い文書が途中で途切れてしまう（切り捨てられる）原因になります。

ベンチマークのグラフがどれほど優れていても、これら3つのうち1つでも不合格となったモデルが昇格することはありません。

5つのモデルの検証結果

GPT-5.6 Luna (OpenAI、Azure AI Foundryで実行)。最速の実行では2分未満で22ページすべてを完了しました。最初のページから最後のページまで一貫したスループットを維持しました。これが、Lunaがすべてのプランで「高速（Fast）レーン」を維持している理由です。

Gemini 3.5 Flash (Google)。2分強で22ページすべてを完了しました。夏の大部分において「品質（Quality）レーン」を維持しました。

Gemini 3.8 Flash (Google、9月2日リリース)。リリースから1日以内に同じゲートを通過し、9月3日に品質レーンに昇格しました。4ヶ月で4番目のFlash世代であり、私たちが24時間以内に移行した最初のモデルです。

Claude Sonnet 4.6 (Anthropic)。22ページすべてを完了しましたが、生成バジェットをほぼ使い果たし、他のどのモデルよりもはるかに多い約170,000文字を執筆しました。起動が遅いわけでも、速度が低下するわけでもありません。単に「徹底的」なのです。そのため、優れたプレミアムライターとして機能しますが、わずかに長いリクエストでもバジェットを超えてしまう可能性があるため、非常に長い文書を処理する際には注意深く監視しているモデルです。

Claude Sonnet 5 (Anthropic、6月30日リリース)。これが驚きの結果でした。Sonnet 5 is newer and cheaper than Sonnet 4.6, and its agentic benchmarks are better. On our gate it stopped at 16 of 22 pages after about eight minutes, mid-element, with no error. That is the exact signature of the truncation bug we spent July eliminating. So Sonnet 5 is not laddered, and Sonnet 4.6 keeps the premium lane until a re-test says otherwise.

得られた知見

長い文書において、「新しい」は必ずしも「優れている」を意味しません。 この夏、私たちが昇格を見送った2つのモデルは、いずれもレーンを維持したモデルよりも新しいものでした。トークンあたりの賢さが向上していても、スループットの低下曲線によって長い文書の生成に失敗することがあります。

注意すべき失敗モードは「スループットの低下」です。 危険なモデルはエラーを吐きません。文書が長くなるにつれて速度が低下し、ストリーミングのバジェットを超え、一見完成しているように見える未完成の文書でストリームが終了してしまいます。私たちはNextDocsを改修し、中断されたストリームを検出して、途切れた結果を保存しないようにしました。そのため、長い文書はサイレントに失敗するのではなく、完了するか、さもなければ明確にエラーを出すようになっています。

徹底さにはコストが伴います。 Sonnet 4.6は、5つのモデルの中で最も内容が豊かで、最も長い文書を作成します。40ページのレポートであれば、まさにそれが求められるでしょう。しかし、10枚のスライド資料であれば、Lunaを使って早く仕事を終わらせ、午後の時間を確保したいはずです。だからこそ、ラダーには単一のモデルではなく、複数のレーンが用意されているのです。

昇格させる前には、必ず毎回テストを行うこと。 Gemini 3.8 Flashが1日でレーンを獲得できたのは、評価ゲートが再現可能だからです。Sonnet 5が本来得られたはずのレーンを逃したのも同じ理由です。固定されたテストこそが、無謀にならずにスピードを維持する方法です。

ユーザーへの影響

ユーザーの皆様がこれらについて悩む必要はありません。モードを選択すれば、ラダーが最適なモデルを自動的に選択します。

• 高速（Fast）: 下書きや短い文書向け。
• 品質（Quality）: 一貫性を維持する必要があるセクション構成の文書向け。
• プレミアム（Premium） (Pro+およびUltraプランで利用可能): 時間よりも内容の深さが重視される執筆向け。

または、モデルピッカーから明示的に選択することもできます。また、このテストをご自身で実行してみたい場合は、マルチバリアント生成機能を使用することで、1つのプロンプトを複数のモデルに同時に送信し、完成した文書を並べて比較することができます。これは、実験室なしで実行できる最も公平な比較テスト（ベイクオフ）に近いものです。

最も比較したいモデルが最新の GPT-6 Astra や Claude Fable 5.1 である場合、これらはまだ NextDocs には搭載されていません。Shyne デスクトップアプリを使用すれば、ご自身の Claude Code または Codex サブスクリプション上でエージェントを実行できます。これが、今すぐ実際の文書でこれらの最新モデルを試す最も手っ取り早い方法です。

NextDocsでモデルピッカーを試す

---

NextDocs チーム