使用EasyASR进行语音识别

使用限制

操作流程

步骤一：准备数据

本文使用EasyASR Puclic Model Zoo中预训练的ASR模型进行少量Fine-Tune，Fine-Tune所用的数据集选自中文公开数据集THCHS-30的一部分。建议您选用自己的数据进行模型训练。

1. 进入PAI-DSW开发环境。
   1. 登录PAI控制台。
   2. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。
   3. 在左侧导航栏，选择模型开发和训练 > 交互式建模（DSW）。
   4. 在页面左上方，选择使用服务的地域。
   5. 可选：在交互式建模（DSW）页面的搜索框，输入实例名称或关键字，搜索实例。
   6. 单击需要打开的实例操作列下的打开。
2. 在PAI-DSW开发环境，单击Other区域下的Terminal，即可打开Terminal。
3. 下载数据。
   1. 单击左上方工具栏中的图标，创建项目文件夹（例如asr_test）。
   2. 在Terminal中，使用cd命令进入已创建的文件夹，并通过wget命令下载ASR的Demo数据集。

      cd asr_test
      wget https://pai-audio-open-modelzoo.oss-cn-zhangjiakou.aliyuncs.com/dsw_sample_data/demo_data.tar.gz
      wget https://pai-audio-open-modelzoo.oss-cn-zhangjiakou.aliyuncs.com/dsw_sample_data/sample_asr_data.csv

   3. 新建子文件data，并将下载的Demo数据解压到该文件夹中，即在Terminal中输入如下命令。

      mkdir data
      tar xvzf demo_data.tar.gz -C data

   4. 下载基于wav2letter的模型。
      在EasyASR Public Model Zoo中，我们提供了wav2letter-small、wav2letter-base、transformer-small、transfromer-base四个预训练的ASR模型，供您使用。其中，wav2letter模型具有更快的推理速度，transformer模型相对更精确。本文使用wav2letter模型，您需要在Terminal中输入如下命令，下载wav2letter-small模型。

      mkdir wav2letter-small
      wget -P wav2letter-small https://pai-audio-open-modelzoo.oss-cn-zhangjiakou.aliyuncs.com/public_model_zoo/w2lplus-small/model.ckpt.index
      wget -P wav2letter-small https://pai-audio-open-modelzoo.oss-cn-zhangjiakou.aliyuncs.com/public_model_zoo/w2lplus-small/model.ckpt.meta
      wget -P wav2letter-small https://pai-audio-open-modelzoo.oss-cn-zhangjiakou.aliyuncs.com/public_model_zoo/w2lplus-small/model.ckpt.data-00000-of-00001
      wget https://pai-audio-open-modelzoo.oss-cn-zhangjiakou.aliyuncs.com/public_model_zoo/w2lplus-small/alphabet4k.txt
      wget https://pai-audio-open-modelzoo.oss-cn-zhangjiakou.aliyuncs.com/public_model_zoo/w2lplus-small/w2lplus-small.py

4. 查看项目文件夹（asr_test）内容。
   文件夹下包含以下文件：

   • data：存放了用于训练的语音片段，通常在15s以内，为WAV格式，采样率为16K，单通道。
   • w2lplus-small：存放了预训练的Checkpoint。
   • alphabet4K.txt：4K中文词表。
   • sample_asr_data.csv：存储了所有WAV文件的路径及对应的标注文本。文本内容需要按照字以空格进行分隔，所有断句以半角分号（;）替换，且文字内容不超过字表范围。如果文字内容不在字表中，则使用星号（*）代替。
   • w2lplus-small.py：ASR模型的配置文件。

   您可以进入w2lplus-small文件夹，查看下载的预训练Checkpoint，如下图所示。

步骤二：构建数据集与训练模型

1. 在项目文件夹（asr_test）下，通过Terminal调用EasyASR的数据转换功能，将准备的数据转换为TFRecord。

   easyasr_create_dataset --input_path='sample_asr_data.csv' --output_prefix='tfrecords/'

   命令中的参数含义如下：

   • input_path：训练数据的文件名称，为CSV文件。该文件中记录了用于训练的WAV文件路径和人工标注的结果。
   • output_prefix：输出TFRecord的路径前缀。本文中的所有TFRecord都输出至tfrecords文件夹，您可以根据实际情况修改。
     重要 请勿省略文件夹路径最后的正斜线（/）。
2. 在Terminal中输入如下命令进行ASR模型训练。

   easyasr_train --config_file='w2lplus-small.py' --log_dir='model_dir' --load_model_ckpt='wav2letter-small/model.ckpt' --vocab_file='alphabet4k.txt' --train_data='tfrecords/train_*.tfrecord'

   命令中的参数含义如下：

   • config_file：训练模型的配置文件。本文基于wav2letter的ASR模型配置文件w2plus-small.py进行模型训练，您可以根据实际情况修改该配置文件。
   • log_dir：模型Checkpoint的输出路径，您可以根据实际情况修改。
   • load_model_ckpt：加载的预训练模型的Checkpoint，在本文中即为之前下载的wav2letter-small模型。如果省略了该参数，则表明需要从零开始训练该ASR模型。
   • vocab_file：训练模型的汉字词汇表。如果您使用预训练的wav2letter模型，请不要修改对应的词表alphabet4k.txt。如果您使用预训练的transformer模型，请不要修改对应的词表alphabet6k.txt。
   • train_data：训练ASR模型所用的TFRecord，使用正则表达式进行匹配，您可以根据实际情况修改。

步骤三：评估并导出模型

模型训练完成后，需要对模型的精准度进行评测。您可以根据需求，将数据集划分为训练集和评测集，本文在此仅给出一个简单的示例。

1. 在Terminal中输入以下命令，以评估模型精准度。

   easyasr_eval --config_file='w2lplus-small.py' --checkpoint='model_dir/model.ckpt-1000' --vocab_file='alphabet4k.txt' --eval_data='tfrecords/train_*.tfrecord'

   命令中的参数含义如下：

   • config_file：训练模型的配置文件。本文基于wav2letter的ASR模型配置文件w2plus-small.py进行模型训练，您可以根据实际情况修改该配置文件。
   • checkpoint：用于评估和导出的模型Checkpoint路径。在模型训练过程中，系统会保存多个Checkpoint，您可以根据实际情况修改该路径。
   • vocab_file：ASR模型对应的汉字词汇表。
     重要 在进行模型训练和评估时，必须使用相同的词汇表。
   • eval_data：评测ASR模型所用的TFRecord，参数输入格式与train_data相同。
2. 您可以将训练好的模型导出为SavedModel，进行分布批量预测。在Terminal中输入以下命令，将模型导出。

   easyasr_export --config_file='w2lplus-small.py' --checkpoint='model_dir/model.ckpt-1000' --vocab_file='alphabet4k.txt'  --mode='interactive_infer'

   命令中的参数含义如下：

   • config_file：训练模型的配置文件。本文基于wav2letter的ASR模型配置文件w2plus-small.py进行模型训练，您可以根据实际情况修改该配置文件。
   • checkpoint：用于评估和导出的模型Checkpoint路径。在模型训练过程中，系统会保存多个Checkpoint，您可以根据实际情况修改该路径。
   • vocab_file：ASR模型对应的汉字词汇表。
   • mode：模型导出的格式。当前版本的EasyASR仅支持interactive_infer模式，您无需修改。

   模型导出完成后，您可以在当前文件夹（asr_test）下查看生成的模型。其中，SavedModel已经保存在export_dir中，如下图所示。进入export_dir子文件夹，即可查看导出的模型，如下图所示。

步骤四：模型预测

您可以使用导出的SavedModel模型进行预测。在PAI-DSW环境下，EasyASR采用CSV文件存储输入输出内容。

1. 在Terminal中输入如下命令，安装音频解码工具FFmpeg。

   sudo apt update
   sudo apt install ffmpeg

   说明 此处默认使用的ubuntu系统。如果您使用其他系统，则只需要系统安装FFmpeg即可。如果您已经安装，则可以跳过该步骤。
2. 在项目文件夹（asr_test）下，通过Terminal输入如下命令，下载示例输入文件。

   wget https://pai-audio-open-modelzoo.oss-cn-zhangjiakou.aliyuncs.com/dsw_sample_data/input_predict.csv

   该输入文件中的每一行为一条音频的URL路径。
3. 在Terminal中输入如下命令，使用训练得到的ASR模型进行预测。

   easyasr_predict --input_csv='input_predict.csv' --output_csv='output_predict.csv' --num_features=64 --use_model='w2l' --vocab_file='alphabet4k.txt' --export_dir='export_dir' --num_predict_process=3  --num_preproces=3

   命令中的参数含义如下：

   • input_csv：输入含有音频URL路径的文件，您可以根据实际情况修改。
   • output_csv：输出预测结果文件名。您可以根据实际情况修改，无需提前创建该输出文件。
   • num_features：ASR模型的声学特征维度。EasyASR采用的预训练wav2letter-small和wav2letter-base模型默认值为64，预训练transformer-small和transformer-base模型默认值为80。您可以根据实际情况选择。
   • use_model：模型类别，支持以下两种类别：
     • “w2l”：对应wav2letter模型。
     • “transformer”：对应transformer模型。
     本文采用的wav2letter-small模型对应的值为“w2l”
   • vocab_file：ASR模型对应的汉字词汇表。
   • export_dir：导出SavedModel的路径，您可以根据实际情况修改。
   • num_predict_process：用于模型预测的线程数，您可以根据实际情况修改。
   • num_preproces：用于音频下载和预处理的线程数，您可以根据实际情况修改。