全部产品
云市场
云游戏

智聆 -语音助手接入文档

更新时间:2020-07-07 19:29:40

听见你的满意 | Know the Sound
覆盖语音指令-语音识别-语音分析的软硬一体化产品,致力于解决行业场景指令下发及满意度挖掘的痛点,为产品改进及服务评估提供策略支撑。
image.png
本产品包含的服务:
1、提供本地语音及上云的统一SDK。
2、提供语音指令开放服务,包含模板创建及下发,指令下发。
3、提供语音识别开放服务,包含情感分析、满意度、评价单元,语义评价。

1、核心流程

1.1 上行流程

上行
语音设备采集语音,通过阿里云语音服务识别成相应的文本,通过IoT的SDK以事件的方式上报的阿里云IoT。

1.2 下行流程

下行
语音助手连接IoT物联网,通过SDK监听云端下发的服务调用消息,解析出文本内容,通过阿里云语音服务合成语音进行播报。

2、语音SDK集成

主要包含语音采集识别、语音合成两个子能力。详情请点击文档


重点看下面的两个demo:
SpeechRecognizerWithRecorderActivity.java
SpeechTranscriberWithRecorderActivity.java

3、端侧连接物联网

主要包含设备上云(支持手机APP植入),完成语音识别后事件上报,接受云端下发的播报内容。详情请点击文档

4、创建语音设备

4.1、创建语音助手产品

点击登录阿里云物联网平台,按截图创建产品
image.png
进入“产品”菜单,点击“创建产品”,如下
image.png
录入产品名称,所属品类选择“标准品类”,点击选择标准品类,在品类选择弹框录入“语音助手”搜索,选择“数字门店”的语音助手,如下
image.png
点击“保存”,创建产品成功,如下。
image.png
点击“前往添加”,添加设备,参考下一步。

4.2、创建语音助手设备

image.png
点击“添加设备”,如下
image.png
录入deviceName和备注名称,点击“确定”,如下:
image.png
点击“一键复制设备证书”,保存起来,语音设备连接阿里云IoT平台必须使用的字段。

4.3、语音设备在线调试

image.png
点击“监控运维”-》“在线调试”,如下
image.png
1、选择要调试的设备。
2、保证设备已经连接到IoT。
3、选择“调试真是设备”-》“服务调用”-》播报TTS文本服务,录入播报内容,格式如图,注意json的格式。
4、点击“发送指令”,右侧显示下发的日志。

5、开通语音服务

5.1、语音文本转换服务


image.png
进入“智能语音交互”,首次进入需要开通服务,可以开通“试用版本”,基于试用版本进行调试,如下图,如果合作项目需要批量出厂,可以联系@攸乐开通正式版白名单。
点击进入访问地址
image.png
点击“立即开通”。进入项目列表,创建项目如下,
image.png
按截图展示,“发布上线”,记录下项目的appkey,后续调语音服务要用。

5.2、获取AccessKey与AccessKeySecret


点击登录阿里云控制台,下面的SDK会用到这两参数。
image.png

6、语音指令服务

点击登录数字商业引擎

6.1、创建项目

在数字商业引擎平台点击新建项目,填写项目名称与客户名称后,点击下一步
image.png
添加能力:“智聆”服务、应用管理、设备管理等是固定搭配的能力,可直接进入下一步,也可绑定其他关联能力。
image.png

6.2、设备绑定项目

在设备管理中,绑定设备到项目中,包含以下几类设备均可添加,主要如下:
1)当前账号创建的设备,参考第4章,在“我的设备”内进行设备关联
2)当前账号被授权的设备,在“授权设备”内进行设备关联
image.png

6.3、创建模版

点击智聆-语音指令创建智能语音播报的模板。模板支持定义参数,自定义参数可用来动态替换内容。
示例文案:游客中心当人数是${count},其中count是每次可以用来替换的字符。
image.png

6.4、指令下发开放API


该文档提供的API供调用放用来做文本和模版下发至设备,需先按照6.1-6.3步骤完成对应配置。

6.4.1 设备查询

路径:/speechhelper/device/query
版本:1.0.0

入参
参数 类型 是否必填 备注
deviceNameLike String 设备名称模糊查询,左匹配
pageSize Integer 分页大小,默认10
pageNo Integer 分页页码,默认1

出参

使用IoT通用返回结果类型,其中data域是JSON对象,包含以下字段:

参数 类型 备注
iotId String 设备唯一标示
productKey String 设备产品标示
deviceName String 设备名称
productName String 设备产品名称
categoryName Double 设备品类名称

示例


入参示例

  1. {
  2. "pageSize":10,
  3. "pageNo":1
  4. }


出参示例

  1. {
  2. "id": "4de2c367-c1db-417c-aa15-8c585e595d92",
  3. "code": 200,
  4. "message": null,
  5. "localizedMsg": null,
  6. "data": {
  7. "data":[
  8. {
  9. "categoryKey":"SpeechHelper",
  10. "categoryName":"语音助手",
  11. "deviceName":"NCY005",
  12. "iotId":"Dqn000101",
  13. "productKey":"a1DYtM2",
  14. "productName":"聆听语音助手"
  15. }],
  16. "offset":0,
  17. "pageNo":1,
  18. "pageSize":10,
  19. "total":1
  20. }
  21. }

6.4.2 文本播报

路径:/speechhelper/text/announce
版本:1.0.0

入参
参数 类型 是否必填 备注
iotIds JSON 设备列表,json格式。注意,设备离线无法完成指令下发。
text String 播报文本内容

出参


示例


入参示例

  1. {
  2. "iotIds":["xUbdh08d00"],
  3. "text":"欢迎使用阿里云物联网平台"
  4. }


出参示例

  1. {
  2. "id": "4de2c367-c1db-417c-aa15-8c585e595d92",
  3. "code": 200,
  4. "message": null,
  5. "localizedMsg": null
  6. }

6.4.3 播报模版

路径:/speechhelper/announce/template
版本:1.0.0

入参
参数 类型 是否必填 备注
iotIds JSON 设备列表,json格式。注意,设备离线无法完成指令下发。
templateCode String 播报模版的code,需在商业数字引擎智聆模块创建模版。
templateParams String 模版中参数的值,如模版内容是”欢迎${vip}”,templateParams可以设置为{\”vip\”:\”张三\”},注意,该字段是json的字符串。

出参


示例


入参示例

  1. {
  2. "iotIds":["xUbdh08d00"],
  3. "templateCode":"Tmpl001",
  4. "templateParams":"{\"vip\":\"张三\"}"
  5. }


出参示例

  1. {
  2. "id": "4de2c367-c1db-417c-aa15-8c585e595d92",
  3. "code": 200,
  4. "message": null,
  5. "localizedMsg": null
  6. }

7、智聆数据服务


智聆-语音助手所有业务数据均可在“数字商业引擎”控制台查询,也可以通过本服务提供的数据统计API,根据model查询不同的统计数据。

7.1 数据统计API


Path 版本 是否登录
/speechhelper/statistics/query 1.0.0

入参
参数名 数据类型 是否必填 参数描述
projectId String Y 项目Id
model String Y 模型名称,具体模型名称参考对照表
paramJson String N json格式


paramJson根据模型需要传相应的参数(具体参数见模型示例),可用参数如下:

参数名 数据类型 是否必填 参数描述
startTime String N 开始时间(>=,包含该时间),格式yyyy-MM-dd hh:mm:ss
endTime String N 结束时间(<=,包含该时间),格式yyyy-MM-dd hh:mm:ss

出参
参数名 数据类型 参数描述
code Int 错误码,code=200表示正确,其他表示错误
message String 结果信息,正确为success,错误的时候是错误提示
data JSONObject 结果数据
-series JSONArray 结果数据系列集合,可以理解为多个数据列,每个系列代表一列数据
—name String 数据系列名称
—values JSONArray 数据系列值的集合

7.2 语音指令数据API

7.2.1 语音指令概览

image.png
总调用量:累计总调用量,统计延迟15分钟
今日新增:今日指令调用量,统计延迟15分钟
模版数:累计下发使用过的模版数量,统计延迟15分钟

入参
  1. {
  2. "model":"IOTXAI_ANNOUNCE_TEXT_OVERVIEW",
  3. "projectId":"a124o7UAS7KOGbcs"
  4. }

出参
  1. {
  2. "code":200,
  3. "message":"success",
  4. "localizedMsg":null,
  5. "data":{
  6. "series":[
  7. {
  8. "name":"template",
  9. "values":[
  10. "2"]
  11. },
  12. {
  13. "name":"total",
  14. "values":[
  15. "7"]
  16. },
  17. {
  18. "name":"today",
  19. "values":[
  20. "0"]
  21. }]
  22. },
  23. "success":true
  24. }

7.2.2 模版调用量趋势图

image.png

入参
  1. {
  2. "model":"IOTXAI_ANNOUNCE_TEXT_STATISTICS",
  3. "projectId":"a124o7UAS7KOGbcs",
  4. "paramJson":"{\"startTime\":\"2020-06-24 00:00:00\",\"endTime\":\"2020-06-25 00:00:00\"}"
  5. }

注意,paramJson中的startTime、endTime是必填项。最小统计单位为15分钟,如果起始时间和结束时间跨度超过365天,以年为单位;如果跨度超过30小于365天,以月为单位;如果超过1天小于30天,以天为单位;小于一天,以小时为单位。

出参
  1. {
  2. "code":200,
  3. "message":"success",
  4. "localizedMsg":null,
  5. "data":{
  6. "series":[
  7. {
  8. "name":"call_times",
  9. "values":[
  10. "1",
  11. "1",
  12. "1",
  13. "3"]
  14. },
  15. {
  16. "name":"template",
  17. "values":[
  18. "其他",
  19. "其他",
  20. "线上回归b",
  21. "线上回归测试"]
  22. },
  23. {
  24. "name":"time",
  25. "values":[
  26. "2020062417",
  27. "2020062418",
  28. "2020062419",
  29. "2020062419"]
  30. }]
  31. },
  32. "success":true
  33. }

7.2.3 模版调用量柱状图

image.png
时间段内累计调用总量

入参
  1. {
  2. "model":"IOTXAI_TEMPLATE_CALL_STATISTICS",
  3. "projectId":"a124o7UAS7KOGbcs",
  4. "paramJson":"{\"startTime\":\"2020-06-03 00:00:00\",\"endTime\":\"2020-07-04 00:00:00\"}"
  5. }

出参
  1. {
  2. "code":200,
  3. "message":"success",
  4. "localizedMsg":null,
  5. "data":{
  6. "series":[
  7. {
  8. "name":"call_times",
  9. "values":[
  10. "3",
  11. "2",
  12. "1"]
  13. },
  14. {
  15. "name":"template",
  16. "values":[
  17. "线上回归测试",
  18. "其他",
  19. "线上回归b"]
  20. }]
  21. },
  22. "success":true
  23. }

7.3 语音分析数据API

7.3.1 语音分析概览

image.png
语音记录数:累计总语音记录数,统计延迟15分钟
NSP:整体NPS值,取值范围[0,10],统计延迟T+1
来源数:力石累计上报设备的数量

入参
  1. {
  2. "model":"IOTXAI_SPEECH_ANALYSIS_OVERVIEW",
  3. "projectId":"a124o7UAS7KOGbcs"
  4. }

出参
  1. {
  2. "code":200,
  3. "message":"success",
  4. "localizedMsg":null,
  5. "data":{
  6. "series":[
  7. {
  8. "name":"nps",
  9. "values":[
  10. "5.7"]
  11. },
  12. {
  13. "name":"total",
  14. "values":[
  15. "7"]
  16. },
  17. {
  18. "name":"device",
  19. "values":[
  20. "2"]
  21. }]
  22. },
  23. "success":true
  24. }

7.3.2 语音记录趋势图

image.png注意,paramJson中的startTime、endTime是必填项。最小统计单位为15分钟,如果起始时间和结束时间跨度超过365天,以年为单位;如果跨度超过30小于365天,以月为单位;如果超过1天小于30天,以天为单位;小于一天,以小时为单位。

入参
  1. {
  2. "model":"IOTXAI_SPEECH_ANALYSIS_STATISTICS",
  3. "projectId":"a124o7UAS7KOGbcs",
  4. "paramJson":"{\"startTime\":\"2020-06-03 00:00:00\",\"endTime\":\"2020-07-04 00:00:00\"}"
  5. }

出参
  1. {
  2. "code":200,
  3. "message":"success",
  4. "localizedMsg":null,
  5. "data":{
  6. "series":[
  7. {
  8. "name":"record_times",
  9. "values":[
  10. "1",
  11. "1",
  12. "4"]
  13. },
  14. {
  15. "name":"time",
  16. "values":[
  17. "20200624",
  18. "20200624",
  19. "20200630"]
  20. },
  21. {
  22. "name":"device",
  23. "values":[
  24. "wyl_online_0624_001",
  25. "wyl_online_0624_001",
  26. "wyl_online_0624_002"]
  27. }]
  28. },
  29. "success":true
  30. }

7.3.3 设备上报记录柱状图

image.png
时间段内累计调用总量

入参
  1. {
  2. "model":"IOTXAI_SPEECH_DEVICE_STATISTICS",
  3. "projectId":"a124o7UAS7KOGbcs",
  4. "paramJson":"{\"startTime\":\"2020-06-26 09:10:00\",\"endTime\":\"2020-07-04 09:10:00\"}"
  5. }

出参
  1. {
  2. "code":200,
  3. "message":"success",
  4. "localizedMsg":null,
  5. "data":{
  6. "series":[
  7. {
  8. "name":"cnt",
  9. "values":[
  10. "4"]
  11. },
  12. {
  13. "name":"device",
  14. "values":[
  15. "wyl_online_0624_002"]
  16. }]
  17. },
  18. "success":true
  19. }

7.3.4 NPS趋势图

image.png
左侧为NPS趋势图,按天统计

入参
  1. {
  2. "model":"IOTXAI_SPEECH_NPS_LINE_STATISTICS",
  3. "projectId":"a124o7UAS7KOGbcs",
  4. "paramJson":"{\"startTime\":\"2020-06-26 09:10:00\",\"endTime\":\"2020-07-04 09:10:00\"}"
  5. }

出参
  1. {
  2. "code":200,
  3. "message":"success",
  4. "localizedMsg":null,
  5. "data":{
  6. "series":[
  7. {
  8. "name":"rate_cnt",
  9. "values":[
  10. "10.0",
  11. "10.0",
  12. "10.0",
  13. "10.0",
  14. "5.7",
  15. "5.7",
  16. "5.7"]
  17. },
  18. {
  19. "name":"cdata",
  20. "values":[
  21. "20200626",
  22. "20200627",
  23. "20200628",
  24. "20200629",
  25. "20200630",
  26. "20200701",
  27. "20200702"]
  28. }]
  29. },
  30. "success":true
  31. }

7.3.5 情感分析饼图统计

image.png
右侧为情感分析饼图统计,时间段内累计调用总量

入参
  1. {
  2. "model":"IOTXAI_SPEECH_DEVICE_STATISTICS",
  3. "projectId":"a124o7UAS7KOGbcs",
  4. "paramJson":"{\"startTime\":\"2020-06-03 00:00:00\",\"endTime\":\"2020-07-04 00:00:00\"}"
  5. }

出参
  1. {
  2. "code":200,
  3. "message":"success",
  4. "localizedMsg":null,
  5. "data":{
  6. "series":[
  7. {
  8. "name":"cnt",
  9. "values":[
  10. "4",
  11. "1",
  12. "1"]
  13. },
  14. {
  15. "name":"device",
  16. "values":[
  17. "wyl_online_0624_002",
  18. "wyl_online_0624_001",
  19. "wyl_online_0624_001"]
  20. }]
  21. },
  22. "success":true
  23. }