uvoice

概述

uVoice是AliOS Things的音频组件,提供了RTOS系统上端到云全链路的语音能力,包括音频硬件管理、音频增强算法、播放器、录音等基本音频功能,也结合阿里的智能语音云端服务,提供了TTS、语音控制、语音对话等能智能语音功能。同时,uVoice也是一个资源占用极少,性能较高的音频组件,适合为低资源、低算力的嵌入式MCU提供音频能力。 组件支持以下功能:

  • 录音

  • 播放(Flash/Memory/FS/HTTP/HTTPS/HLS)

  • 播放控制(暂停/继续/切换/快进/快退/播放列表)

  • 音频格式解码(MP3、AAC等)

  • 音频格式编码

  • 阿里云TTS

版权信息

Apache license v2.0

目录结构

.

├── aos.mk

├── application

│ └── alicloudtts

│ ├── alicloudtts.c

│ ├── alicloudtts.h

│ ├── alicloudtts_intf.h

│ ├── include

│ │ └── uvoice_tts.h

│ └── tts.c

├── audio

│ ├── audio_aec.c

│ ├── audio_aec.h

│ ├── audio_common.c

│ ├── audio_common.h

│ ├── audio_mixer.c

│ ├── audio_mixer.h

│ ├── audio_process.c

│ ├── audio_process.h

│ ├── audio_stream.c

│ ├── audio_stream.h

│ ├── audio_trigger.c

│ ├── audio_trigger.h

│ ├── audio_vad.c

│ ├── audio_vad.h

│ ├── hal

│ │ ├── haas100

│ │ │ └── uvoice_pcm.c # haas100

│ │ └── linux

│ │ └── uvoice_pcm.c

│ └── process

│ ├── proc_aec.c

│ ├── proc_agc.c

│ ├── proc_ns.c

│ ├── proc_resample.c

│ └── proc_vad.c

├── build

│ └── mk_makefile

├── CMakeLists.txt

├── codec

│ ├── amr_decoder.c

│ ├── amr_encoder.c

│ ├── amrwb_decoder.c

│ ├── amrwb_encoder.c

│ ├── ogg_decoder.c

│ ├── opensource

│ │ ├── pvaac # aac解码器

│ │ │ ├── aos.mk

│ │ │ ├── get_pv_aac.py

│ │ │ ├── oscl

│ │ │ │ ├── oscl_base.h

│ │ │ │ ├── oscl_dll.h

│ │ │ │ ├── oscl_exception.h

│ │ │ │ └── oscl_mem.h

│ │ └── pvmp3 # mp3解码器

│ │ ├── aos.mk

│ │ ├── CMakeLists.txt

│ │ ├── get_pvmp3.py

│ │ ├── Makefile

│ │ ├── oscl_base.h

│ │ └── oscl_mem.h

│ ├── opus_decoder.c

│ ├── opus_encoder.c

│ ├── pvaac_decoder.c

│ ├── pvmp3_decoder.c

│ ├── spx_decoder.c

│ └── spx_encoder.c

├── common

│ ├── base64.c

│ ├── event.c

│ ├── message.c

│ ├── ringbuffer.c

│ └── urlencode.c

├── Config.in

├── connect

│ ├── uvoice_ws.c

│ └── uvoice_ws.h

├── example

│ └── uvoice_example.c # 示例代码

├── include # 对外头文件

│ ├── uvoice_event.h

│ ├── uvoice_init.h

│ ├── uvoice_mlist.h

│ ├── uvoice_player.h

│ ├── uvoice_recorder.h

│ ├── uvoice_test.h

│ └── uvoice_types.h

├── internal # 内部头文件

│ ├── uvoice_alios.h

│ ├── uvoice_amp.h

│ ├── uvoice_audio.h

│ ├── uvoice_codec.h

│ ├── uvoice_common.h

│ ├── uvoice_config.h

│ ├── uvoice_format.h

│ ├── uvoice_linux.h

│ ├── uvoice_list.h

│ ├── uvoice_message.h

│ ├── uvoice_os.h

│ ├── uvoice_pcm.h

│ ├── uvoice_play.h

│ ├── uvoice_record.h

│ ├── uvoice_resampler.h

│ ├── uvoice_ringbuffer.h

│ ├── uvoice_stream.h

│ └── uvoice_wave.h

├── media

│ ├── uvoice_codec.c

│ ├── uvoice_fade.c

│ ├── uvoice_format.c

│ ├── uvoice_mlist.c

│ ├── uvoice_player.c

│ ├── uvoice_recorder.c

│ ├── uvoice_stream.c

│ └── uvoice_wave.c

├── package.yaml

├── README.md

├── stream

│ ├── uvoice_cache.c

│ ├── uvoice_cache.h

│ ├── uvoice_download.c

│ ├── uvoice_download.h

│ ├── uvoice_file.c

│ ├── uvoice_hls.c

│ ├── uvoice_hls.h

│ ├── uvoice_http.c

│ ├── uvoice_http.h

│ ├── uvoice_partition.c

│ └── uvoice_ssl.c

├── test

│ ├── test_main.c

│ ├── test_player.c

│ ├── test_recorder.c

│ ├── test_swid.c

│ └── test_tts.c

├── tools

│ └── gen_voice.py

└── uvoice.c

依赖组件

  • a2sa

  • ulog

  • mbedtls

常用配置

系统中相关配置已有默认值,如需修改配置,统一在YAML中**def_config**节点修改,具体如下:

支持播放功能开关

UVOICE_PLAYER_ENABLE: 1

支持录音功能开关

UVOICE_RECORDER_ENABLE: 1

支持播放列表功能开关

UVOICE_MLIST_ENABLE: 1

支持播放文件功能开关

UVOICE_FILE_ENABLE: 1

支持播放HTTP功能开关

UVOICE_HTTP_ENABLE: 1

支持播放HTTPS功能开关

UVOICE_HTTPS_ENABLE: 1

支持播放HTTPS功能开关

UVOICE_HTTPS_ENABLE: 1

支持播放网络音频时自动下载功能开关

UVOICE_DOWNLOAD_ENABLE: 1

支持播放HLS流媒体功能开关

UVOICE_HLS_ENABLE: 1

支持MP3解码功能开关

DECODER_PV_MP3_ENABLE: 1

支持AAC(M4A)解码功能开关

DECODER_PV_M4A_ENABLE: 1

支持阿里云TTS功能开关

ALICLOUD_TTS_SUPPORT: 1

API说明

使用示例

组件使用示例相关的代码下载、编译和固件烧录均依赖AliOS Things配套的开发工具,所以首先需要参考《AliOS Things集成开发环境使用说明之搭建开发环境》,下载安装。 待开发环境搭建完成后,可以按照以下步骤进行示例的测试。

步骤1 创建或打开工程

打开已有工程

如果用于测试的案例工程已存在,可参考《AliOS Things集成开发环境使用说明之打开工程》打开已有工程。

创建新的工程

组件的示例代码可以通过编译链接到AliOS Things的任意案例(solution)来运行,这里选择helloworld_demo案例。helloworld_demo案例相关的源代码下载可参考《AliOS Things集成开发环境使用说明之创建工程》

步骤2 添加组件

案例下载完成后,需要在helloworld_demo组件的package.yaml中添加对组件的依赖:

solution中helloworld_demo的package.yaml中添加

depends:

- uvoice: master # helloworld_demo中引入uvoice组件

步骤3 下载组件

在已安装了的开发环境工具栏中,选择Terminal -> New Terminal启动终端,并且默认工作路径为当前工程的workspace,此时在终端命令行中输入:

aos install uvoice

上述命令执行成功后,组件源码则被下载到了./components/uvoice路径中。

步骤4 添加示例

uvoice组件的package.yaml中添加example示例代码

source_file:

- "example/uvoice_example.c" # add uvoice_example.c

步骤6 烧录固件

helloworld_demo案例的固件生成后,可参考《AliOS Things集成开发环境使用说明之烧录固件》来烧录固件。

步骤7 打开串口

固件烧录完成后,可以通过串口查看示例的运行结果,打开串口的具体方法可参考《AliOS Things集成开发环境使用说明之查看日志》

当串口终端打开成功后,可在串口中输入help来查看已添加的测试命令。

步骤8 测试示例

uvoice示例代码初始化

uvoice_example

uvoice播放文件系统MP3文件功能测试

play "fs:/data/test.mp3" # 这里文件名替换成实际放在littlefs文件系统中的MP3文件

uvoice播放文件系统m4a文件功能测试

play "fs:/data/test.m4a" # 这里文件名替换成实际放在littlefs文件系统中的M4A文件

uvoice播放网络音频功能测试

play "http:xxxxxxxx/test.mp3" # 这里文件名替换成实际HTTP链接

play "https:xxxxxxxxs/test.mp3" # 这里文件名替换成实际HTTPS链接

uvoice录音功能测试

record 16000 1 16 1024 0 fs:/data/recording.wav

关键日志

CLI日志:

uvoice example initialization succeeded !

注意事项

解码器下载

要支持MP3播放,编译前,需要到codec/opensource/pvmp3目录下执行get_pvmp3.py

要支持AAC/M4A播放,编译前,需要到codec/opensource/pvaac目录下执行get_pvaac.py

支持播放列表功能

要支持播放列表功能,需要有SD卡,并使能fatfs文件系统

支持HTTPS

要支持HTTPS播放功能,需要将mbedtls的MBEDTLS_CONFIG_TLS_MAX_CONTENT_LEN配置为16k