创建自动化测试任务-智能语音交互(ISI)-阿里云帮助中心

前提条件

已开通智能语音交互服务，详情请参见准备账号。

创建自动化测试任务

登录智能语音交互控制台。
在左侧导航栏单击自动化测试，在自动化测试页面单击创建任务。
在创建任务面板中，填写任务名称，注意不能与现有的任务名称重复。
选择或者上传测试集。

目前支持上传标注测试集、仅上传文本和选择已有测试集三种方式。

重要
当测试数据集有异常时，数据集解析及测试任务都会失败，因此请仔细阅读文件要求。
- 上传标注测试集
  
  适用于有音频数据，也有标注结果。按照下列格式上传，系统会自动检测采样率，当采样率非标准采样率（非16K或8K采样率）时，系统会自动调整为适合的采样率。
```
corpus/
├── trans/
│   └── *.txt
└── wav/
    └── *.wav
```
  要求如下：
  - 路径中不允许有中文。
  - 每个WAV文件名必须是唯一的。
  - WAV文件（.wav后缀）和标注TXT（.txt后缀）文件必须分别放置在两个目录，且后缀必须为英文小写。
  - WAV文件要求：单通道，8KHz或16KHz采样率，16bit采样位数的PCM编码WAV文件（可使用Sox工具通过Channels、Sample Rate和Sample Encoding进行判断）。
  标注文本
```
声音	文本
070020001.wav	xxx不是新洲居民吗
070020002.wav	这里每年要办好几场展销会价格非常便宜
070020003.wav	这个妈妈也不合格这么放心把孩子让xxx带啊
```
  要求如下：
  - 标注文件格式：UTF-8无BOM编码，各字段间用tab键分隔。
  - trans目录中可以包含多个TXT文件，每个TXT文件中指定多个WAV文件对应的标注文本。
  - 标注文件第一列音频文件名需要和wav目录的音频文件名对应（注意文件名带.wav后缀）。
  - 标注文本应该是归一化后的（按照实际读音转写成汉字，“5256”对应”五千二百五十六”，”2004”对应“二零零四”或“两千零四”，“19%”对应”百分之十九”等），WAV文件名不需要带目录，因为文件名唯一。
- 仅上传文本
  
  文本测试集适用于没有音频数据，只有文本语料数据的场景，我们会通过语音合成帮您合成相应的音频数据构造标注好的测试集。要求如下：
  - 请上传1个文本文件，仅支持TXT格式（UTF-8无BOM编码）。
  - 请不要携带标点符号，每行不超过300字。
- 选择已有测试集
  
  您也可以先创建测试集，在创建任务时，选择相应测试集进行测试。采样率相同的测试集可以选择多个一起进行测试。
选择测试模型（可选择创建的语言定制模型），单击下一步。

在测试模型页面，系统根据数据集自动筛选出采样率匹配的模型，模型列表展示场景、语言、采样率信息，选择目标模型。
选择需对比的模型（非必选，最多可选一个），完成后单击确定。
单击目标任务右侧的开始任务，系统开始自动化测试任务。

测试结果分析

在测试结果中，您需要关注后缀为 compareResult.txt 的文件。

在compareResult.txt文件中，会显示测试数据集中每句音频的识别统计结果，并在文本最后给出该测试集整体的识别率。其中：ref表示人工标注结果，res表示asr识别结果。

示例结果

00005(nwords=15,cor=15,ins=0,del=0,sub=0)  corr=100.00%,cer=0.00%
ref:   相 逢 每 醉 还 浮 云 一 别 后 流 水 十 年 间
res:   相 逢 每 醉 还 浮 云 一 别 后 流 水 十 年 间
00019(nwords=15,cor=12,ins=0,del=0,sub=3)  corr=80.00%,cer=20.00%
ref:   流 水 如 有 意 暮 禽 相 与 还 荒 城 临 古 渡
res:   流 水 如 有 意 暮 禽 相 与 还 荒 城 零 五 度
00012(nwords=15,cor=15,ins=0,del=0,sub=0)  corr=100.00%,cer=0.00%
ref:   上 国 随 缘 住 来 途 若 梦 行 浮 天 沧 海 远
res:   上 国 随 缘 住 来 途 若 梦 行 浮 天 沧 海 远
%WER 2.81 [ 8 / 285, 1 ins, 0 del, 7 sub ]
%SER 26.32 [ 5 / 19 ]
Scored 19 sentences, 0 not present in hyp.

专业词汇及其缩写说明：

nwords：总字数，以人工标注结果为准。
cor (corrections): 正确识别的字数。

ins (insertions): 插入错误，识别结果比人工标注多出的字数。
del (deletions): 删除错误，识别结果比人工标注缺少的字数。
sub (substitutions): 替换错误，识别结果中错误替换的字数。
corr (correction rate): 识别正确率。
- 计算公式： $corr = \frac{n w or d s - s u b - d e l}{n w or d s} = \frac{cor}{n w or d s}$
cer (character error rate): 字错误率。
- 计算公式： $cer = \frac{s u b + d e l + in s}{n w or d s} = \frac{n w or d s - cor + in s}{n w or d s}$
wer (word error rate): 词错误率。同字错误率，常用于英文文本。
ser (sentence error rate): 句错误率，在整个测试数据集中识别出错的句子所占比率。

管理自动化测试任务

当任务当前状态为测试完成时，可在操作列查看结果、下载结果、开始任务，或执行编辑或删除操作。

在识别率自动化测试页面的测试任务标签页，可通过当前状态和关联数据集下拉框筛选任务，单击创建任务新建测试任务，或选中任务后批量删除。任务列表展示任务ID、任务名称、当前状态及更新时间等字段。