BENCHMARKS

公开评测

涵盖 FLEURS、Common Voice 17、GigaSpeech 2 官方公开集、500 条内部真实业务 ASR 样本，以及经评测员独立 Z-Score 归一化的 100 条泰语 TTS 主观评测，下方附评估规范与原始结果 CSV 下载。

最近更新 2026-11-11 · 模型 DataArc-ASR-TH · DataArc-TTS-TH

核心指标概览

DataArc-ASR-TH
92.79%
FLEURS · Common Voice 17 · GigaSpeech 2
ElevenLabs Scribe v2
91.68%
FLEURS · Common Voice 17 · GigaSpeech 2
Google Chirp v3
91.44%
FLEURS · Common Voice 17 · GigaSpeech 2

公开测试集语音识别准确率数据表
测试集	语言	指标	DataArc-ASR-TH	ElevenLabs Scribe v2	Google Chirp v3
FLEURS · Common Voice 17 · GigaSpeech 2	泰语	识别准确率越高越好	92.79%	91.68%	91.44%

识别准确率越高越好，单位 %，为 FLEURS、Common Voice 17、GigaSpeech 2 泰语官方测试切分的综合评测结果。对比模型均通过其公开接口默认配置评测，更新日期 2026-11-11。

DataArc-TTS-TH
4.41 / 5
泰语主观评测集 · 100 句
ElevenLabs v3
4.33 / 5
泰语主观评测集 · 100 句
Google Gemini TTS
4.29 / 5
泰语主观评测集 · 100 句

泰语语音合成主观评测概览表
测试集	语言	指标	DataArc-TTS-TH	ElevenLabs v3	Google Gemini TTS
泰语主观评测集 · 100 句	泰语	加权综合分越高越好	4.41	4.33	4.29
泰语主观评测集 · 100 句	泰语	MOS 越高越好	4.39	4.32	4.27

加权综合分与 MOS 均基于 4 名泰语母语评测员的 5 分制盲测，经评测员独立 Z-Score 归一化消除个人打分宽严偏差后取均值（越高越好），更新日期 2026-11-11。下方展示完整多模型与细分维度对比。

IN-HOUSE DATASET · 500 SAMPLES

内部数据集深度评测（500 条真实样本）

评测严格采用官方评估规范（cal_wer_cer.py：PyThaiNLP newmm 泰语分词 + 数字/货币/日期正则归一化）计算，覆盖真实业务语音、10 大细分领域及泰英混杂场景。

一、四大主流 ASR 引擎核心指标全景对比（500 条样本）

四大主流 ASR 引擎核心指标全景对比表
评测维度	Google Gemini 3.5 Transcribe	DataArc-ASR-TH-async	DataArc-ASR-TH-streaming	Cartesia ink-whisper (云端 API)	综合对比与分析
中位数 CER (P50 字错误率)	2.82%	3.68%	7.46%	17.06%	Gemini 3.5 精度位居第一，50% 样本错字率低至 2.82%
平均 CER (Macro CER)	6.23%	5.88%	9.46%	19.27%	DataArc-ASR-TH-async 与 Gemini 处于第一梯队，远优于 Cartesia
P90 CER	16.74%	14.68%	23.69%	35.96%	长尾复杂背景音下 DataArc-ASR-TH-async 与 Gemini 表现稳健
中位数 WER (P50 词错误率)	5.00%	5.26%	11.76%	30.00%	Gemini 词级准确率最高（中位数仅 5.00%）
平均 WER (Macro WER)	8.03%	7.42%	12.50%	31.46%	DataArc-ASR-TH-async 与 Gemini 表现相近
完全零错字样本 (0 错误)	233 / 500 (46.6%)	192 / 500 (38.4%)	100 / 500 (20.0%)	36 / 500 (7.2%)	Gemini 接近一半样本达到 100% 完全零错字
CER ≤ 5% 极佳样本数	300 / 500 (60.0%)	278 / 500 (55.6%)	185 / 500 (37.0%)	72 / 500 (14.4%)	60% 样本几乎无识别瑕疵
CER ≤ 10% 优秀样本数	386 / 500 (77.2%)	400 / 500 (80.0%)	330 / 500 (66.0%)	130 / 500 (26.0%)	绝大部分样本处于高可用区间
识别成功率	500 / 500 (100.0%)	500 / 500 (100.0%)	500 / 500 (100.0%)	500 / 500 (100.0%)	500 条样本无超时或异常断流
平均响应时延 (Latency)	4.64 秒 (P50: 4.57s)	依赖整段上传 (1~3s)	44.03 ms (首字毫秒级)	0.26 秒 (P50: 0.23s)	Gemini 属于大模型非流式推理
单请求 RTF (P50)	0.96	0.18	0.06	0.05	DataArc-ASR-TH-streaming 与 Cartesia 响应极快
部署与运维成本	云端 API (托管)	自建 GPU (需 13.4GB 显存)	自建 GPU (仅 2.3GB) / CPU	云端 API (托管)	Gemini 与 Cartesia 零本地算力开销

二、各业务领域 CER（中位数 P50）详细对比

各业务领域中位数 P50 字错误率对比表
业务领域 (Domain)	样本数	Gemini 3.5 (P50)	DataArc-ASR-TH-async (P50)	DataArc-ASR-TH-streaming (P50)	Cartesia (P50)	场景特点与模型表现评价
Technology (科技数码)	56	2.27%	6.28%	11.63%	11.51%	Gemini 表现极佳：完美识别 `430i Coupe`, `LCI`, `M440i` 等英文型号借词
Legal & Government (政务)	4	2.00%	2.67%	3.83%	13.53%	书面规范用词，Gemini 与 DataArc-ASR-TH-async 均处于极高精度
Finance (财经金融)	147	2.67%	2.63%	5.56%	20.00%	密集泰语金额与数字转写准确率极高
Daily Conversation (日常口语)	202	3.80%	4.51%	7.58%	16.77%	面对口语连读吞音，Gemini 上下文推断能力优于 DataArc-ASR-TH-async
Entertainment (影视娱乐)	8	1.06%	3.12%	6.32%	11.59%	背景原声干扰下，Gemini 展现强大的去噪语义还原
Travel & Culture (旅游文化)	7	0.00%	3.90%	9.09%	22.08%	泰国地名与文旅专有名词全部 100% 命中
Other (综合自媒体)	54	0.00%	4.21%	7.50%	16.95%	短视频旁白与自媒体中位数达到零错字
Interview & Podcast (访谈)	4	5.57%	3.61%	5.83%	18.29%	深度对话与长句转写良好
Education (在线教育)	6	8.93%	4.57%	8.58%	9.19%	语速平稳，整体识别可读性好
News (新闻播报)	5	9.86%	2.50%	5.26%	18.42%	标准播音场景下 DataArc-ASR-TH-async 优势仍然突出

三、语码混杂（Code-Switching）场景表现对比

语码混杂场景字错误率对比表
数据子集	样本数	Gemini 3.5 CER (均值 / P50)	DataArc-ASR-TH-async CER (均值)	DataArc-ASR-TH-streaming CER (均值)	分析结论
纯泰语 (Non Code-Switching)	350	4.91% / 0.00%	5.40%	8.77%	Gemini 纯泰语样本中位数错字率为 0.00%
泰英混杂 (Code-Switching)	150	9.29% / 7.00%	7.00%	11.08%	大模型对中英文借词与专业缩写理解深刻

THAI TTS BENCHMARK · Z-SCORE NORMALIZED

泰语语音合成（TTS）主观评测（Z-Score 独立归一化）

由 4 名泰语母语评测员对每个模型的 100 条泰语合成语音进行 5 分制盲测，按每位评测者的各维度得分独立做 Z-Score 归一化以消除打分宽严差异，再映射回全局量纲取均值（按加权综合分 weighted_score 降序排列）。

泰语语音合成 Z-Score 归一化全维度主观评测表
排名	模型	加权综合分	MOS 均分	文本忠实度20%	清晰度20%	语速5%	韵律感25%	情感一致性20%	停顿与气口10%
1	DataArc-TTS-TH自研	4.41	4.39	4.53	4.72	4.23	4.12	4.35	4.33
2	ElevenLabs v3	4.33	4.32	4.61	4.54	4.27	3.88	4.33	4.30
3	Google Gemini TTS	4.29	4.27	4.56	4.54	4.04	4.04	4.23	4.16
4	Google Chirp 3 HD	4.07	4.03	4.52	4.61	3.66	3.77	3.73	3.85
5	CosyVoice 2	3.72	3.76	3.73	3.71	3.96	3.58	3.80	3.80
6	Thonburian	3.72	3.74	3.00	3.31	4.04	4.17	4.17	3.72

独立 Z-Score 归一化与综合分权重

每位评测者的打分尺度存在个体偏高或偏低的系统性偏差。本评测对每位评测者在各维度的原始评分独立做标准化，再以合并后的全局均值（3.9316）与全局标准差（0.7789）映射回 5 分制量纲后取平均：

z_score    = (score - annotator_mean) / annotator_std
norm_score = z_score × global_std + global_mean
final      = mean(norm_score across 4 annotators)

加权综合分维度权重

韵律感25%
文本忠实度20%
清晰度20%
情感一致性20%
停顿与气口10%
语速5%

评测者原始评分分布与全局基准

各评测者原始加权分均值与标准差统计表
评测者	原始均值 (Mean)	原始标准差 (Std)
评测员 #1	3.3906	0.6214
评测员 #2	4.1689	0.6788
评测员 #3	3.4169	0.8041
评测员 #4	4.4966	0.3900
全局基准 (Global Baseline)	3.9316	0.7789

统计口径为归一化前各母语评测者在 5 分制下的原始 weighted_score 分布，经 Z-Score 校准后统一对齐至全局量纲。

METHODOLOGY

评测方法

数据
ASR 公开基准采用 FLEURS、Common Voice 17 与 GigaSpeech 2 泰语官方 test 切分；ASR 内部基准采用 500 条真实业务语音（纯泰语 350 条、泰英混杂 150 条，覆盖 10 大领域）；TTS 主观基准采用每模型 100 条泰语测试语句，全部数据均不参与训练。
文本规范化与主观分校准
ASR 评分前统一执行 Unicode NFKC、泰文元音与声调符号顺序规范化、数字/货币/日期正则归一化，并固定使用 PyThaiNLP newmm 分词；TTS 主观评分对每位母语评测员独立做 Z-Score 标准化并映射回全局基准，消除个人打分尺度偏差。
指标
ASR 公开测试集报告综合识别准确率（%），内部 500 条样本报告 P50、Macro 与 P90 的 CER 和 WER；TTS 报告 5 分制下的加权综合分（覆盖韵律感、文本忠实度、清晰度、情感一致性、停顿与气口、语速六大维度）及 MOS 均分。
复现
所有参评模型均在同一批样本与同一套计分流程下评测。下方提供完整原始结果 CSV 下载，涵盖 ASR 公开集、ASR 500 条内部样本以及 TTS Z-Score 归一化全维度与评测员基准数据。

原始结果 CSV 为什么泰语用 CER