동일한 22페이지 분량의 문서로 5개 모델을 테스트해 보았습니다. 우리가 배운 점은 다음과 같습니다.

몇 주마다 벤치마크 차트를 앞세운 새로운 모델이 출시됩니다. 하지만 그 어떤 차트도 문서 도구에 가장 필요한 핵심 요소를 측정하지 않습니다. 바로 '모델이 사람이 기다릴 수 있는 속도로, 도중에 소리 없이 멈추지 않고, 길고 구조화된 문서를 끝까지 작성할 수 있는가?' 하는 점입니다.

그래서 우리는 자체 테스트를 구축했으며, 모든 모델은 NextDocs에서 서비스를 제공하기 전에 이 테스트를 통과해야 합니다. 이 글에서는 이 테스트가 무엇인지, 그리고 현재 5개의 모델이 어떤 결과를 보여주었는지 설명합니다. 결과 중 일부는 꽤 놀라웠습니다.

검증 게이트

우리는 실제 프로덕션 환경에서 사용된 프롬프트를 가져왔습니다. 이는 섹션, 표, 특정 구조를 포함한 22페이지 분량의 문서를 생성했던 요청입니다. 우리는 제품에서 사용하는 것과 동일한 생성 예산(generation budget)을 적용하여 후보 모델에서 이를 다시 실행하고, 다음 세 가지를 관찰합니다.

1. 끝까지 완료했는가? 22페이지 전체를 작성했는지, 아니면 오류 없이 중간에 멈췄는지 확인합니다.
2. 얼마나 걸렸는가? NextDocs는 문서가 작성되는 대로 스트리밍하며 사용자는 이를 지켜보고 있습니다. 2분 만에 완료하는 모델과 10분이 걸리는 모델은 사용자 경험 측면에서 완전히 다른 제품입니다.
3. 처리량(Throughput)이 유지되었는가? 일부 모델은 처음에는 빠르게 시작했다가 출력이 길어질수록 느려집니다. 이러한 패턴은 긴 문서를 도중에 잘리게 만드는 원인이 됩니다.

벤치마크 차트가 아무리 훌륭해 보이더라도, 이 세 가지 중 하나라도 통과하지 못한 모델은 승격되지 않습니다.

5개 모델의 테스트 결과

GPT-5.6 Luna (Azure AI Foundry에서 실행되는 OpenAI 모델). 가장 빠른 실행에서는 2분 미만 만에 22페이지 전체를 완료했습니다. 첫 페이지부터 마지막 페이지까지 일관된 처리량을 보여주었습니다. 이것이 바로 Luna가 모든 요금제에서 '빠른(Fast)' 서비스 라인을 차지하고 있는 이유입니다.

Gemini 3.5 Flash (Google). 2분이 조금 넘는 시간 만에 22페이지 전체를 완료했습니다. 여름 내내 대부분 '품질(Quality)' 서비스 라인을 지켰습니다.

Gemini 3.8 Flash (Google, 9월 2일 출시). 출시 하루 만에 동일한 검증 게이트를 통과하고 9월 3일에 '품질(Quality)' 서비스 라인으로 승격되었습니다. 4개월 만에 출시된 네 번째 Flash 세대이자, 우리가 24시간 이내에 도입한 최초의 모델입니다.

Claude Sonnet 4.6 (Anthropic). 22페이지 전체를 완료했지만, 생성 예산을 거의 모두 소모했으며 다른 어떤 모델보다 훨씬 많은 양인 약 170,000자를 작성했습니다. 시작이 느리거나 성능이 저하되지 않으며, 단지 매우 철저하게 작성할 뿐입니다. 덕분에 뛰어난 프리미엄 작성자 역할을 톡톡히 해내고 있으며, 매우 긴 문서에서 우리가 면밀히 관찰하는 모델이기도 합니다. 요청이 조금만 더 길어져도 예산을 초과할 수 있기 때문입니다.

Claude Sonnet 5 (Anthropic, 6월 30일 출시). 이것이 가장 놀라운 결과였습니다. Sonnet 5는 Sonnet 4.6보다 최신 모델이고 비용도 저렴하며, 에이전트(agentic) 벤치마크도 더 뛰어납니다. 하지만 우리의 검증 게이트에서는 약 8분 후 22페이지 중 16페이지에서 오류 없이 중간에 멈췄습니다. 이는 우리가 지난 7월 내내 해결하기 위해 애썼던 '텍스트 잘림(truncation) 버그'의 전형적인 특징이었습니다. 따라서 Sonnet 5는 서비스 라인에 등록되지 못했으며, 재테스트를 통해 다른 결과가 나오기 전까지는 Sonnet 4.6이 '프리미엄(Premium)' 라인을 계속 유지합니다.

우리가 배운 점

긴 문서 작성에 있어서 '최신'이 항상 '더 나음'을 의미하지는 않습니다. 이번 여름에 우리가 승격을 보류한 두 모델은 모두 기존 라인을 지키고 있는 모델보다 최신 모델이었습니다. 토큰당 지능은 더 높을 수 있지만, 처리량 곡선(throughput curve) 문제로 인해 긴 문서를 끝까지 작성하지 못할 수 있습니다.

처리량 저하(Throughput decay)는 가장 주의해야 할 실패 모드입니다. 위험한 모델들은 에러를 발생시키지 않습니다. 문서가 길어질수록 속도가 느려지고, 스트리밍 예산을 초과하며, 결국 겉보기에는 완성된 것처럼 보이지만 실제로는 절반만 작성된 상태로 스트림이 종료됩니다. 우리는 중단된 스트림을 감지하고 잘린 결과를 저장하지 않도록 NextDocs를 수정했습니다. 이것이 바로 긴 문서가 이제 소리 없이 실패하는 대신, 확실하게 완료되거나 에러를 명확히 표시하는 이유입니다.

철저함에는 비용이 따릅니다. Sonnet 4.6은 다섯 가지 모델 중 가장 풍부하고 긴 문서를 작성합니다. 40페이지짜리 보고서라면 바로 이 모델이 필요할 것입니다. 하지만 10장짜리 슬라이드 덱을 만들 때는 Luna를 선택해 빠르게 끝내고 오후 시간을 확보하는 편이 나을 것입니다. 이것이 바로 우리가 단 하나의 모델만 제공하는 대신 여러 서비스 라인을 두는 이유입니다.

승격하기 전에 매번 테스트하십시오. Gemini 3.8 Flash는 검증 게이트가 반복 가능했기 때문에 하루 만에 서비스 라인을 확보할 수 있었습니다. 반면 Sonnet 5는 동일한 이유로 확보할 수 있었던 라인을 잃었습니다. 고정된 테스트는 무모하지 않으면서도 신속함을 유지할 수 있는 방법입니다.

사용자에게 제공되는 방식

사용자는 이러한 복잡한 과정을 고민할 필요가 없습니다. 모드를 선택하면 시스템이 적절한 모델을 선택합니다:

• 빠름(Fast): 초안 및 짧은 문서용.
• 품질(Quality): 일관성을 유지해야 하는 섹션이 있는 모든 문서용.
• 프리미엄(Premium) (Pro+ 및 Ultra 요금제 제공): 시간보다 깊이 있는 작성이 더 중요할 때 사용.

또는 모델 선택기에서 명시적으로 선택할 수도 있습니다. 그리고 자신만의 테스트를 직접 실행해보고 싶다면, 다중 변형 생성(multi-variant generation) 기능을 통해 하나의 프롬프트를 여러 모델에 동시에 보내고 완성된 문서를 나란히 비교할 수 있습니다. 이는 실험실 없이도 가장 공정한 비교 테스트(bake-off)를 수행할 수 있는 방법입니다.

가장 비교해보고 싶은 모델이 최신 모델인 GPT-6 Astra와 Claude Fable 5.1이라면, 이 모델들은 아직 NextDocs에 탑재되지 않았습니다. Shyne 데스크톱 앱을 사용하면 본인의 Claude Code 또는 Codex 구독을 통해 에이전트를 실행할 수 있으며, 이는 현재 실제 문서 작업에 해당 모델들을 가장 빠르게 활용할 수 있는 방법입니다.

NextDocs에서 모델 선택기 체험하기

---

NextDocs 팀