BENCHMARKS

ผลทดสอบสาธารณะ

ครอบคลุมชุดทดสอบมาตรฐาน FLEURS, Common Voice 17 และ GigaSpeech 2 ชุดข้อมูลเสียงจริง ASR 500 รายการ และการประเมินเสียงสังเคราะห์ TTS ภาษาไทย 100 ประโยคที่ปรับมาตรฐานด้วย Z-Score พร้อมไฟล์ผลลัพธ์ CSV ด้านล่าง

อัปเดตล่าสุด 11 พ.ย. 2569 · โมเดล DataArc-ASR-TH · DataArc-TTS-TH

ภาพรวมตัวชี้วัดหลัก

DataArc-ASR-TH
92.79%
FLEURS · Common Voice 17 · GigaSpeech 2
ElevenLabs Scribe v2
91.68%
FLEURS · Common Voice 17 · GigaSpeech 2
Google Chirp v3
91.44%
FLEURS · Common Voice 17 · GigaSpeech 2

ตารางความแม่นยำบนชุดทดสอบสาธารณะ
ชุดทดสอบ	ภาษา	ตัวชี้วัด	DataArc-ASR-TH	ElevenLabs Scribe v2	Google Chirp v3
FLEURS · Common Voice 17 · GigaSpeech 2	ไทย	ความแม่นยำ ยิ่งสูงยิ่งดี	92.79%	91.68%	91.44%

ความแม่นยำยิ่งสูงยิ่งดี (หน่วยเป็น %) คำนวณรวมจากชุด test ภาษาไทยอย่างเป็นทางการของ FLEURS, Common Voice 17 และ GigaSpeech 2 โดยทดสอบคู่เทียบผ่าน API สาธารณะด้วยค่าเริ่มต้น อัปเดตเมื่อ 11 พ.ย. 2569

DataArc-TTS-TH
4.41 / 5
ชุดทดสอบการฟังภาษาไทย · 100 ประโยค
ElevenLabs v3
4.33 / 5
ชุดทดสอบการฟังภาษาไทย · 100 ประโยค
Google Gemini TTS
4.29 / 5
ชุดทดสอบการฟังภาษาไทย · 100 ประโยค

ตารางภาพรวมคุณภาพการสังเคราะห์เสียงภาษาไทย
ชุดทดสอบ	ภาษา	ตัวชี้วัด	DataArc-TTS-TH	ElevenLabs v3	Google Gemini TTS
ชุดทดสอบการฟังภาษาไทย · 100 ประโยค	ไทย	คะแนนรวมถ่วงน้ำหนัก ยิ่งสูงยิ่งดี	4.41	4.33	4.29
ชุดทดสอบการฟังภาษาไทย · 100 ประโยค	ไทย	MOS ยิ่งสูงยิ่งดี	4.39	4.32	4.27

คะแนนรวมถ่วงน้ำหนักและ MOS มาจากการประเมินแบบปกปิดชื่อโมเดลเต็ม 5 คะแนนโดยเจ้าของภาษาชาวไทย 4 คน ปรับมาตรฐานด้วย Z-Score แยกตามผู้ประเมินเพื่อลดความคลาดเคลื่อนของเกณฑ์ให้คะแนนส่วนบุคคลก่อนหาค่าเฉลี่ย (ยิ่งสูงยิ่งดี) อัปเดตเมื่อ 11 พ.ย. 2569

IN-HOUSE DATASET · 500 SAMPLES

ผลทดสอบเชิงลึกบนชุดข้อมูลภายใน (500 ตัวอย่างเสียงจริง)

คำนวณตามเกณฑ์มาตรฐาน (cal_wer_cer.py: ตัดคำภาษาไทยด้วย PyThaiNLP newmm + ปรับรูปแบบตัวเลข สกุลเงิน และวันที่ด้วยนิพจน์ปรกติ) ครอบคลุม 10 หมวดธุรกิจและการพูดปนภาษาไทย-อังกฤษ

1. เปรียบเทียบตัวชี้วัดหลักของ 4 เอนจิน ASR ชั้นนำ (500 ตัวอย่าง)

ตารางเปรียบเทียบตัวชี้วัดหลักของ 4 เอนจิน ASR ชั้นนำ
มิติการประเมิน	Google Gemini 3.5 Transcribe	DataArc-ASR-TH-async	DataArc-ASR-TH-streaming	Cartesia ink-whisper (Cloud API)	สรุปผลเปรียบเทียบ
มัธยฐาน CER (P50)	2.82%	3.68%	7.46%	17.06%	Gemini 3.5 แม่นยำอันดับหนึ่ง โดย 50% ของตัวอย่างมีอัตราผิดพลาดไม่เกิน 2.82%
ค่าเฉลี่ย CER (Macro CER)	6.23%	5.88%	9.46%	19.27%	DataArc-ASR-TH-async และ Gemini อยู่ในกลุ่มนำ ทิ้งห่าง Cartesia ชัดเจน
P90 CER	16.74%	14.68%	23.69%	35.96%	ในไฟล์ที่มีเสียงรบกวนซับซ้อน DataArc-ASR-TH-async และ Gemini ยังคงความเสถียรได้ดี
มัธยฐาน WER (P50)	5.00%	5.26%	11.76%	30.00%	Gemini มีความแม่นยำระดับคำสูงสุด (ค่ามัธยฐานเพียง 5.00%)
ค่าเฉลี่ย WER (Macro WER)	8.03%	7.42%	12.50%	31.46%	DataArc-ASR-TH-async และ Gemini ให้ผลลัพธ์ใกล้เคียงกัน
ตัวอย่างที่ไม่มีคำผิดเลย (0 CER)	233 / 500 (46.6%)	192 / 500 (38.4%)	100 / 500 (20.0%)	36 / 500 (7.2%)	เกือบครึ่งหนึ่งของตัวอย่างจาก Gemini ถอดเสียงถูกต้อง 100% เต็ม
ตัวอย่างคุณภาพดีเยี่ยม (CER ≤ 5%)	300 / 500 (60.0%)	278 / 500 (55.6%)	185 / 500 (37.0%)	72 / 500 (14.4%)	60% ของตัวอย่างแทบไม่มีข้อผิดพลาดในการถอดเสียง
ตัวอย่างคุณภาพดี (CER ≤ 10%)	386 / 500 (77.2%)	400 / 500 (80.0%)	330 / 500 (66.0%)	130 / 500 (26.0%)	ตัวอย่างส่วนใหญ่อยู่ในเกณฑ์พร้อมใช้งานจริง
อัตราการถอดเสียงสำเร็จ	500 / 500 (100.0%)	500 / 500 (100.0%)	500 / 500 (100.0%)	500 / 500 (100.0%)	ทั้ง 500 ตัวอย่างทำงานครบถ้วน ไม่มีปัญหาหมดเวลาหรือสตรีมหลุด
ความหน่วงตอบสนองเฉลี่ย (Latency)	4.64 วินาที (P50: 4.57s)	อัปโหลดทั้งไฟล์ (1~3s)	44.03 ms (ตัวอักษรแรก)	0.26 วินาที (P50: 0.23s)	Gemini เป็นการประมวลผลโมเดลขนาดใหญ่แบบไม่สตรีมมิง
ค่า RTF ต่อคำขอ (P50)	0.96	0.18	0.06	0.05	DataArc-ASR-TH-streaming และ Cartesia ตอบสนองรวดเร็วมาก
รูปแบบการติดตั้งและดูแลระบบ	Cloud API (มีผู้ดูแล)	GPU ส่วนตัว (ใช้ VRAM 13.4 GB)	GPU ส่วนตัว (เพียง 2.3 GB) / CPU	Cloud API (มีผู้ดูแล)	Gemini และ Cartesia ไม่ต้องใช้ทรัพยากรเครื่องเซิร์ฟเวอร์ฝั่งตนเอง

2. เปรียบเทียบค่า CER มัธยฐาน (P50) แยกตามหมวดธุรกิจ

ตารางเปรียบเทียบค่า CER มัธยฐาน (P50) ใน 10 หมวดธุรกิจ
หมวดธุรกิจ (Domain)	จำนวนตัวอย่าง	Gemini 3.5 (P50)	DataArc-ASR-TH-async (P50)	DataArc-ASR-TH-streaming (P50)	Cartesia (P50)	ลักษณะข้อมูลและข้อสังเกต
Technology (เทคโนโลยีและแกดเจ็ต)	56	2.27%	6.28%	11.63%	11.51%	Gemini ทำได้ยอดเยี่ยม ถอดรหัสรุ่นภาษาอังกฤษอย่าง `430i Coupe`, `LCI`, `M440i` ได้ครบถ้วน
Legal & Government (กฎหมายและภาครัฐ)	4	2.00%	2.67%	3.83%	13.53%	คำศัพท์ทางการที่เป็นมาตรฐาน ทั้ง Gemini และ DataArc-ASR-TH-async มีความแม่นยำสูงมาก
Finance (การเงินและการลงทุน)	147	2.67%	2.63%	5.56%	20.00%	ถอดตัวเลขและจำนวนเงินภาษาไทยที่พูดต่อเนื่องได้อย่างแม่นยำ
Daily Conversation (บทสนทนาทั่วไป)	202	3.80%	4.51%	7.58%	16.77%	เมื่อเจอเสียงพูดรวบคำในภาษาพูด Gemini อาศัยบริบทคาดเดาคำได้ดีกว่า DataArc-ASR-TH-async
Entertainment (บันเทิงและภาพยนตร์)	8	1.06%	3.12%	6.32%	11.59%	ท่ามกลางเสียงดนตรีประกอบ Gemini แยกเสียงพูดและคงความหมายได้ดี
Travel & Culture (ท่องเที่ยวและวัฒนธรรม)	7	0.00%	3.90%	9.09%	22.08%	ถอดชื่อสถานที่ในไทยและศัพท์เฉพาะทางวัฒนธรรมได้ถูกต้อง 100%
Other (สื่อออนไลน์และครีเอเตอร์)	54	0.00%	4.21%	7.50%	16.95%	เสียงพากย์คลิปสั้นและคอนเทนต์โซเชียลมีค่ามัธยฐานความผิดพลาดเป็นศูนย์
Interview & Podcast (สัมภาษณ์และพอดแคสต์)	4	5.57%	3.61%	5.83%	18.29%	รองรับบทสนทนาเชิงลึกและประโยคยาวได้ดี
Education (การศึกษาออนไลน์)	6	8.93%	4.57%	8.58%	9.19%	จังหวะการพูดสม่ำเสมอ ข้อความที่ถอดได้อ่านเข้าใจง่าย
News (รายงานข่าว)	5	9.86%	2.50%	5.26%	18.42%	สำหรับการอ่านข่าวมาตรฐาน DataArc-ASR-TH-async ยังคงทำคะแนนได้โดดเด่นที่สุด

3. เปรียบเทียบประสิทธิภาพกรณีพูดปนภาษา (Code-Switching)

ตารางเปรียบเทียบค่า CER ระหว่างภาษาไทยล้วนและการพูดปนไทย-อังกฤษ
กลุ่มข้อมูลย่อย	จำนวนตัวอย่าง	Gemini 3.5 CER (เฉลี่ย / P50)	DataArc-ASR-TH-async CER (เฉลี่ย)	DataArc-ASR-TH-streaming CER (เฉลี่ย)	ข้อสรุป
ภาษาไทยล้วน (Non Code-Switching)	350	4.91% / 0.00%	5.40%	8.77%	ตัวอย่างภาษาไทยล้วนของ Gemini มีค่ามัธยฐานความผิดพลาดอยู่ที่ 0.00%
พูดปนไทย-อังกฤษ (Code-Switching)	150	9.29% / 7.00%	7.00%	11.08%	เข้าใจคำทับศัพท์ภาษาอังกฤษและตัวย่อเฉพาะทางในประโยคได้ดี

THAI TTS BENCHMARK · Z-SCORE NORMALIZED

ผลประเมินคุณภาพเสียงสังเคราะห์ (TTS) ภาษาไทย (ปรับมาตรฐาน Z-Score)

ประเมินแบบปกปิดชื่อโมเดลเต็ม 5 คะแนนบนประโยคภาษาไทย 100 รายการต่อโมเดล โดยผู้ประเมินเจ้าของภาษา 4 คน ปรับมาตรฐานคะแนนแต่ละมิติด้วย Z-Score แยกตามผู้ประเมินเพื่อตัดความเอนเอียงส่วนบุคคล แล้วแปลงกลับสู่ฐานคะแนนรวมก่อนหาค่าเฉลี่ย (เรียงตาม weighted_score จากมากไปน้อย)

ตารางเปรียบเทียบคะแนนประเมินเสียงสังเคราะห์ภาษาไทยแบบปรับมาตรฐาน Z-Score ครบทุกมิติ
อันดับ	โมเดล	คะแนนรวม	MOS	ความตรงข้อความ20%	ความคมชัด20%	จังหวะความเร็ว5%	ทำนองเสียง25%	อารมณ์สม่ำเสมอ20%	จังหวะเว้นวรรค10%
1	DataArc-TTS-THของเรา	4.41	4.39	4.53	4.72	4.23	4.12	4.35	4.33
2	ElevenLabs v3	4.33	4.32	4.61	4.54	4.27	3.88	4.33	4.30
3	Google Gemini TTS	4.29	4.27	4.56	4.54	4.04	4.04	4.23	4.16
4	Google Chirp 3 HD	4.07	4.03	4.52	4.61	3.66	3.77	3.73	3.85
5	CosyVoice 2	3.72	3.76	3.73	3.71	3.96	3.58	3.80	3.80
6	Thonburian	3.72	3.74	3.00	3.31	4.04	4.17	4.17	3.72

การปรับมาตรฐาน Z-Score แยกตามผู้ประเมินและสัดส่วนน้ำหนัก

ผู้ประเมินแต่ละคนมีแนวโน้มให้คะแนนสูงหรือต่ำต่างกันอย่างเป็นระบบ เราจึงคำนวณค่ามาตรฐาน Z-Score แยกตามผู้ประเมินในแต่ละมิติ แล้วแปลงกลับด้วยค่าเฉลี่ยรวม (3.9316) และส่วนเบี่ยงเบนมาตรฐานรวม (0.7789) บนมาตรวัดเต็ม 5 ก่อนหาค่าเฉลี่ยของผู้ประเมินทั้ง 4 คน:

z_score    = (score - annotator_mean) / annotator_std
norm_score = z_score × global_std + global_mean
final      = mean(norm_score across 4 annotators)

สัดส่วนน้ำหนักคะแนนรวม (Weighted Score)

ทำนองเสียง (Prosody)25%
ความตรงตามข้อความ20%
ความคมชัด20%
ความสม่ำเสมอของอารมณ์20%
การเว้นจังหวะและลมหายใจ10%
ความเร็วในการพูด5%

สถิติคะแนนดิบของผู้ประเมินและค่าอ้างอิงรวม

ตารางค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานของคะแนนดิบแยกตามผู้ประเมิน
ผู้ประเมิน	ค่าเฉลี่ยดิบ (Mean)	ส่วนเบี่ยงเบน (Std)
ผู้ประเมิน #1	3.3906	0.6214
ผู้ประเมิน #2	4.1689	0.6788
ผู้ประเมิน #3	3.4169	0.8041
ผู้ประเมิน #4	4.4966	0.3900
ฐานคะแนนรวม (Global Baseline)	3.9316	0.7789

สถิติการกระจายคะแนน weighted_score ดิบเต็ม 5 ของผู้ประเมินเจ้าของภาษาแต่ละคนก่อนปรับเทียบเข้าสู่ฐานคะแนนรวมด้วย Z-Score

METHODOLOGY

วิธีประเมินผล

ข้อมูลทดสอบ
ASR ใช้ชุด test ภาษาไทยอย่างเป็นทางการของ FLEURS, Common Voice 17 และ GigaSpeech 2 ร่วมกับชุดเสียงจริงภายใน 500 รายการ (ไทยล้วน 350 รายการ พูดปนไทย-อังกฤษ 150 รายการ ใน 10 หมวดธุรกิจ) ส่วน TTS ใช้ประโยคทดสอบภาษาไทย 100 รายการต่อโมเดล โดยไม่นำไปใช้ฝึกสอนโมเดล
การปรับมาตรฐานข้อความและการเทียบคะแนนผู้ประเมิน
ผลลัพธ์ ASR ผ่านการปรับมาตรฐาน Unicode NFKC การจัดลำดับสระและวรรณยุกต์ไทย การปรับตัวเลข สกุลเงิน และวันที่ด้วยนิพจน์ปรกติ และตัดคำด้วย PyThaiNLP newmm ส่วนคะแนนการฟัง TTS ใช้วิธีปรับมาตรฐาน Z-Score แยกตามผู้ประเมินแล้วแปลงกลับสู่ฐานคะแนนรวมเพื่อลดอคติความเข้มงวดรายบุคคล
ตัวชี้วัด
ASR รายงานความแม่นยำรวม (%) บนชุดสาธารณะ และค่า P50, Macro, P90 ของ CER และ WER บนชุดข้อมูล 500 รายการ ส่วน TTS รายงานคะแนนรวมถ่วงน้ำหนักเต็ม 5 (ครอบคลุมทำนองเสียง ความตรงข้อความ ความคมชัด อารมณ์ จังหวะเว้นวรรค และความเร็ว) คู่กับคะแนน MOS
การทดสอบซ้ำเพื่อเทียบผล
ทุกโมเดลวัดผลบนข้อมูลชุดเดียวกันและขั้นตอนคำนวณเดียวกัน สามารถดาวน์โหลดไฟล์ CSV ผลลัพธ์ดิบด้านล่างซึ่งรวมครบทั้งชุดทดสอบ ASR สาธารณะ ชุดข้อมูลจริง 500 รายการ และผลคะแนน TTS แบบ Z-Score ทุกมิติ

ผลลัพธ์ดิบ (CSV)ทำไมภาษาไทยจึงใช้ CER