เราทดสอบโมเดล 5 รุ่นกับเอกสาร 22 หน้าชุดเดียวกัน และนี่คือสิ่งที่เราได้เรียนรู้

ทุกๆ สองสามสัปดาห์จะมีโมเดลใหม่ออกมาพร้อมกับแผนภูมิเปรียบเทียบประสิทธิภาพ (benchmark) แต่ไม่มีแผนภูมิใดเลยที่วัดผลในสิ่งที่เครื่องมือจัดการเอกสารต้องการมากที่สุด นั่นคือ โมเดลสามารถเขียนเอกสารขนาดยาวที่มีโครงสร้างชัดเจนตั้งแต่ต้นจนจบได้หรือไม่ ด้วยความเร็วที่ผู้ใช้งานสามารถรอได้ โดยไม่หยุดทำงานไปเงียบๆ กลางคัน?

ดังนั้นเราจึงสร้างการทดสอบของเราเองขึ้นมา และทุกโมเดลจะต้องผ่านการทดสอบนี้ก่อนที่จะได้รับการจัดอันดับใน NextDocs บล็อกโพสต์นี้จะอธิบายถึงการทดสอบดังกล่าวและผลลัพธ์ที่ได้จากโมเดลปัจจุบันทั้ง 5 รุ่น ซึ่งผลลัพธ์บางอย่างทำให้เราประหลาดใจไม่น้อย

ด่านทดสอบ

เรานำ Prompt จริงจากระบบโปรดักชัน ซึ่งเป็นคำขอที่เคยสร้างเอกสารขนาด 22 หน้าที่มีทั้งหัวข้อย่อย ตาราง และโครงสร้างเฉพาะตัว จากนั้นเรานำมาทดสอบกับโมเดลผู้ท้าชิงด้วยงบประมาณการสร้าง (generation budget) เดียวกับที่ผลิตภัณฑ์ใช้จริง และเราจะเฝ้าสังเกต 3 สิ่งนี้:

1. เขียนเสร็จหรือไม่? ครบทั้ง 22 หน้า หรือหยุดทำงานกลางคันโดยไม่มีการแจ้งเตือนข้อผิดพลาด (error)?
2. ใช้เวลานานแค่ไหน? NextDocs จะสตรีมเอกสารในขณะที่กำลังเขียน และผู้ใช้กำลังเฝ้าดูอยู่ โมเดลที่เขียนเสร็จใน 2 นาทีกับโมเดลที่เขียนเสร็จใน 10 นาทีนั้นให้ประสบการณ์การใช้งานที่แตกต่างกันอย่างสิ้นเชิง
3. ความเร็วในการประมวลผล (throughput) คงที่หรือไม่? โมเดลบางรุ่นเริ่มต้นได้อย่างรวดเร็วแต่จะช้าลงเมื่อผลลัพธ์ยาวขึ้น รูปแบบเช่นนี้คือสาเหตุที่ทำให้เอกสารขนาดยาวถูกตัดทอนให้สั้นลงโดยไม่สมบูรณ์

โมเดลที่ไม่ผ่านเกณฑ์ข้อใดข้อหนึ่งในสามข้อนี้จะไม่ได้รับการโปรโมต ไม่ว่าแผนภูมิเปรียบเทียบประสิทธิภาพจะดูดีแค่ไหนก็ตาม

ผลการทดสอบของทั้ง 5 โมเดล

GPT-5.6 Luna (OpenAI รันบน Azure AI Foundry): เขียนครบทั้ง 22 หน้า โดยใช้เวลาน้อยกว่า 2 นาทีในการทดสอบที่เร็วที่สุด ความเร็วในการประมวลผลสม่ำเสมอตั้งแต่หน้าแรกจนถึงหน้าสุดท้าย นี่คือเหตุผลที่ Luna ครองตำแหน่งในเลนความเร็วสูง (fast lane) สำหรับทุกแพ็กเกจ

Gemini 3.5 Flash (Google): เขียนครบทั้ง 22 หน้าโดยใช้เวลาเพียงสองนาทีกว่าๆ และครองตำแหน่งในเลนคุณภาพ (quality lane) มาตลอดช่วงฤดูร้อนส่วนใหญ่

Gemini 3.8 Flash (Google เปิดตัวเมื่อวันที่ 2 กันยายน): ผ่านด่านทดสอบเดียวกันภายในหนึ่งวันหลังจากเปิดตัว และได้รับการโปรโมตเข้าสู่เลนคุณภาพในวันที่ 3 กันยายน ถือเป็นเจเนอเรชันที่สี่ของตระกูล Flash ในรอบสี่เดือน และเป็นรุ่นแรกที่เราเปลี่ยนมาใช้งานภายใน 24 ชั่วโมง

Claude Sonnet 4.6 (Anthropic): เขียนครบทั้ง 22 หน้า แต่ใช้งบประมาณการสร้างเกือบทั้งหมด และเขียนเนื้อหามากกว่าโมเดลอื่นๆ อย่างเห็นได้ชัด (ประมาณ 170,000 ตัวอักษร) โมเดลนี้ไม่ได้เริ่มต้นช้าและประสิทธิภาพไม่ได้ลดลง แต่เป็นเพราะความละเอียดถี่ถ้วนอย่างมาก นั่นทำให้มันเป็นนักเขียนระดับพรีเมียมที่ยอดเยี่ยม และเป็นโมเดลที่เราเฝ้าจับตาอย่างใกล้ชิดสำหรับเอกสารที่ยาวมากๆ เพราะคำขอที่ยาวขึ้นอีกเพียงเล็กน้อยก็อาจทำให้ใช้งบประมาณเกินกำหนดได้

Claude Sonnet 5 (Anthropic เปิดตัวเมื่อวันที่ 30 มิถุนายน): นี่คือเรื่องที่น่าประหลาดใจที่สุด แม้ว่า Sonnet 5 จะใหม่กว่าและราคาถูกกว่า Sonnet 4.6 อีกทั้งยังมีคะแนนทดสอบด้านเอเจนต์ (agentic benchmarks) ที่ดีกว่า แต่ในการทดสอบของเรา มันหยุดทำงานที่หน้า 16 จาก 22 หน้าหลังจากผ่านไปประมาณ 8 นาที โดยหยุดกลางคันและไม่มีการแจ้งเตือนข้อผิดพลาดใดๆ ซึ่งนี่เป็นลักษณะเฉพาะของบั๊กการตัดทอนเอกสาร (truncation bug) ที่เราใช้เวลาตลอดเดือนกรกฎาคมในการกำจัด ดังนั้น Sonnet 5 จึงยังไม่ได้รับการจัดอันดับ และ Sonnet 4.6 จะยังคงครองเลนพรีเมียม (premium lane) ต่อไปจนกว่าผลการทดสอบใหม่จะระบุเป็นอย่างอื่น

สิ่งที่เราได้เรียนรู้

ใหม่กว่าไม่ได้แปลว่าดีกว่าเสมอไปสำหรับเอกสารขนาดยาว โมเดลสองรุ่นที่เราปฏิเสธที่จะโปรโมตในฤดูร้อนนี้ล้วนเป็นรุ่นที่ใหม่กว่ารุ่นที่ยังคงรักษาตำแหน่งไว้ได้ โมเดลอาจจะมีความฉลาดต่อโทเค็น (token) มากกว่า แต่ก็ยังสามารถพ่ายแพ้ในการเขียนเอกสารยาวๆ ได้เนื่องจากกราฟความเร็วในการประมวลผลที่ลดลง

ความเร็วในการประมวลผลที่ลดลง (Throughput decay) คือรูปแบบความล้มเหลวที่ต้องเฝ้าระวัง โมเดลที่อันตรายจะไม่แสดงข้อผิดพลาด (error) แต่จะทำงานช้าลงเรื่อยๆ เมื่อเอกสารยาวขึ้น จนเกินงบประมาณการสตรีม และการสตรีมจะสิ้นสุดลงโดยได้เอกสารที่เสร็จเพียงครึ่งเดียวแต่ดูเหมือนสมบูรณ์ เราจึงได้ปรับปรุง NextDocs ให้ตรวจจับการสตรีมที่หยุดชะงักและปฏิเสธที่จะบันทึกผลลัพธ์ที่ถูกตัดทอน ซึ่งเป็นเหตุผลว่าทำไมเอกสารขนาดยาวในปัจจุบัน จึงเขียนเสร็จสมบูรณ์หรือไม่ก็แจ้งเตือนข้อผิดพลาดอย่างชัดเจน โดยไม่มีการเงียบหายไปเฉยๆ อีกต่อไป

ความละเอียดถี่ถ้วนมีราคาที่ต้องจ่าย Sonnet 4.6 เขียนเอกสารได้ละเอียดและยาวที่สุดในบรรดา 5 โมเดล สำหรับรายงานขนาด 40 หน้า คุณอาจต้องการผลลัพธ์แบบนั้นพอดี แต่สำหรับสไลด์นำเสนอ 10 หน้า คุณคงอยากใช้ Luna เพื่อให้งานเสร็จเร็วและได้เวลาช่วงบ่ายของคุณคืนมามากกว่า นั่นคือเหตุผลที่ระบบจัดอันดับของเรามีหลายเลนให้เลือกแทนที่จะใช้โมเดลเดียว

ต้องทดสอบก่อนโปรโมตทุกครั้ง Gemini 3.8 Flash ได้รับเลือกให้ใช้งานภายในวันเดียวเพราะด่านทดสอบของเราสามารถทำซ้ำได้ และด้วยเหตุผลเดียวกันนี้ทำให้ Sonnet 5 พลาดโอกาสที่จะได้รับการจัดอันดับ การมีระบบทดสอบที่แน่นอนคือวิธีที่ช่วยให้เราพัฒนาได้อย่างรวดเร็วโดยไม่ประมาท

สิ่งนี้ส่งผลต่อคุณอย่างไร

คุณไม่จำเป็นต้องกังวลเกี่ยวกับเรื่องเหล่านี้เลย เพียงแค่เลือกโหมดที่ต้องการ แล้วระบบจัดอันดับของเราจะเลือกโมเดลที่เหมาะสมที่สุดให้เอง:

• Fast (รวดเร็ว) สำหรับฉบับร่างและเอกสารขนาดสั้น
• Quality (คุณภาพ) สำหรับเอกสารที่มีหลายหัวข้อที่ต้องรักษาความสอดคล้องกัน
• Premium (พรีเมียม) สำหรับแพ็กเกจ Pro+ และ Ultra สำหรับงานเขียนที่เน้นความลึกซึ้งของเนื้อหามากกว่าเรื่องเวลา

หรือคุณจะเลือกโมเดลด้วยตัวเองโดยตรงผ่านตัวเลือกโมเดล (model picker) ก็ได้ และหากคุณต้องการทดสอบในเวอร์ชันของคุณเอง ฟีเจอร์ multi-variant generation จะช่วยให้คุณส่ง Prompt เดียวไปยังหลายๆ โมเดลพร้อมกัน และเปรียบเทียบเอกสารที่เสร็จสมบูรณ์แบบเคียงข้างกันได้ ซึ่งเป็นวิธีที่ใกล้เคียงที่สุดกับการประชันประสิทธิภาพอย่างยุติธรรมโดยไม่ต้องมีห้องแล็บ

หากโมเดลที่คุณต้องการเปรียบเทียบมากที่สุดคือรุ่นใหม่ล่าสุดอย่าง GPT-6 Astra และ Claude Fable 5.1 พวกมันยังไม่มีให้บริการใน NextDocs ในขณะนี้ แต่คุณสามารถใช้ แอปพลิเคชันเดสก์ท็อป Shyne เพื่อรันเอเจนต์ผ่านบัญชีผู้ใช้ Claude Code หรือ Codex ของคุณเอง ซึ่งเป็นวิธีที่เร็วที่สุดในการนำโมเดลเหล่านั้นมาใช้งานกับเอกสารจริงในปัจจุบัน

ลองใช้งานตัวเลือกโมเดลใน NextDocs

---

ทีมงาน NextDocs