AnalyzeAudioSync - 语音文件实时分析

对进行语音文件进行实时对话分析。应用调用支持 HTTPS 调用来完成客户的响应。

接口说明

请确保在使用该接口前,已充分了解通义晓蜜 CCAI-对话分析 AIO 产品的收费方式和价格。

前提条件

  • 1.已开通通义晓蜜 CCAI-对话分析 AIO 服务。
  • 2.已创建应用:应用中心完成通义晓蜜 CCAI-对话分析 AIO 应用创建,并获取到 APP-ID 和 WORKSPACE-ID:获取 APP-ID 和 WORKSPACE-ID

注意事项

  • 1.超过 3 分钟的音频请使用离线任务分析。
  • 2.目前支持双轨录音文件,并且需要指定声轨对应的角色。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

当前API暂无授权信息透出。

请求语法

POST /{workspaceId}/ccai/app/{appId}/analyzeAudioSync HTTP/1.1

请求参数

名称类型必填描述示例值
workspaceIdstring

业务空间 Id

llm-ik******RVYCKzt
appIdstring

应用 id

a070a49c681f4a95a0f0*********35c
bodyobject

请求体

modelCodestring

模型 code

tyxmTurbo
fieldsarray<object>

字段结构信息

object

字段结构信息

codestring

字段编码

phoneNumber
namestring

字段名称

来电原因类型
descstring

字段描述

用户来电咨询的原因分类,主要有投诉、咨询、政策建议等。
enumValuesarray<object>

枚举值列表

object

枚举值列表

descstring

枚举描述

客户有新的需求/新的场景,客服跟进沟通需求细节
enumValuestring

枚举值

新业务拓展
resultTypesarray

任务类型

string

summary-对话摘要,title-标题生成、fields-字段信息抽取、keywords -关键字抽取,service_inspection-服务质检、question_solution-问题和解决方案、questions_and_answer-QA 抽取、custom_prompt-自定义指令

summary
serviceInspectionobject

服务质检结构信息

inspectionContentsarray<object>

质检项列表

object

质检项结构

contentstring

质检项描述

客服在服务客户过程中,基于已有的服务标准是否存在过度承诺的行为,如:最快到货时间是12小时,无法给客户承诺更快的到货时间。
titlestring

质检名称

客服是否过度承诺
inspectionIntroductionstring

服务质检场景详细介绍及描述

请检测客服是否存在服务不当的行为,包括:过度承诺、故意套取客户隐私信息等
sceneIntroductionstring

服务质检场景

保险销售场景
templateIdsarray

模版 id

string

模版 id,模版 id 和指令任务类型同时存在时,优先使用模版 id

34
categoryTagsarray<object>

标签分类列表

object

标签分类列表

tagNamestring

标签名称

客服过度承诺
tagDescstring

标签描述

客服在服务客户过程中,基于已有的服务标准是否存在过度承诺的行为
customPromptstring

自定义指令

对通话内容进行总结
transcriptionobject

语音类型执行参数

autoSplitinteger

多数情况下适用于单轨录音,取值:0、1,是否自动分轨,1 为自动分轨,0 为不分轨;默认:1;若指定为 1,则表示上传的音频为单轨;自动分轨会额外占用处理时间。若录音为双轨录音,该参数必须传 0。

1
clientChannelinteger

适用于双轨录音,指定客户角色的轨道编号,取值:0、1,默认 1,即第 1 轨为客户;通常音轨都是从 0 开始编号,2 个轨就是 0,1;具体 0 是客服还是客户,需要您自行确认。**若使用此参数,请务必传入 autoSplit 参数,值为 0。**单轨文件忽略此参数。

1
serviceChannelinteger

适用于双轨录音,指定客服角色的轨道编号,取值:0、1,默认 0,即第 0 轨为客服;通常音轨都是从 0 开始编号,2 个轨就是 0,1;具体 0 是客服还是客户,需要您自行确认。**若使用此参数,请务必传入 autoSplit 参数,值为 0。**若单轨文件忽略此参数。

1
fileNamestring

文件名。

sss.mp3
voiceFileUrlstring

文件地址

http://1111.com/sss.mp3
serviceChannelKeywordsarray

客服通话关键字列表

string

多数情况下适用于单轨录音,设置一组客服可能说的关键词列表(请确保选择那些区别性比较高的关键词),通过对转写文本从上到下逐句分析,当一句话命中某一个关键词时,则判定该句的角色为客服,则另一个角色就是客户。

你好
asrModelCodestring

语音转写模型,取值 nls (小模型),paraformer(大模型)

nls
vocabularyIdstring

语音热词 id

esnvknv*****skdnvjksd
levelstring

语音转写优先级

low
variablesarray<object>

变量列表

object

变量列表

variableCodestring

变量 code

name
variableValuestring

变量值

张三
responseFormatTypestring

输出结果格式化类型,jsonObject-json 结构,text-原始字符串

jsonObject
streamboolean

是否流式返回结果,流式返回-true,全量返回-false

false

接口请求示例


import com.alibaba.fastjson.JSONObject;
import com.aliyun.contactcenterai20240603.Client;
import com.aliyun.contactcenterai20240603.models.AnalyzeAudioSyncRequest;
import com.aliyun.contactcenterai20240603.models.AnalyzeAudioSyncResponse;

import com.aliyun.teaopenapi.models.Config;

import java.util.ArrayList;
import java.util.List;

public class CCAiTask {

    public static void main(String[] args) throws Exception {
        String accessKeyId = "YOUR_ACCESS_KEY_ID";
        String accessKeySecret = "YOUR_ACCESS_KEY_SECRET";
        String workspaceId = "YOUR_WORKSPACEID";
        String appId = "YOUR_APPID";

        Config config = new Config();
        config.setAccessKeyId(accessKeyId).setAccessKeySecret(accessKeySecret).setEndpoint("contactcenterai.cn-shanghai.aliyuncs.com")
                .setRegionId("cn-shanghai").setProtocol("HTTPS");

        Client client = new Client(config);

        AnalyzeAudioSyncRequest request = new AnalyzeAudioSyncRequest();
        request.setStream(false);

        request.setModelCode("tyxmPlus");

        List<String> typeList = new ArrayList<>();
        typeList.add("summary");
        request.setResultTypes(typeList);

        AnalyzeAudioSyncRequest.AnalyzeAudioSyncRequestTranscription transcription = new AnalyzeAudioSyncRequest.AnalyzeAudioSyncRequestTranscription();
        transcription.setFileName("out**.wav");
        transcription.setVoiceFileUrl("https://age***.com/out**.wav");
        transcription.setServiceChannel(1);
        transcription.setClientChannel(0);

        request.setTranscription(transcription);

        AnalyzeAudioSyncResponse response = client.analyzeAudioSync(workspaceId, appId, request);
        System.out.println(JSONObject.toJSONString(response));
    }
    
}

返回参数

名称类型描述示例值
object

Schema of Response

requestIdstring

请求 id

968A8634-FA2C-5381-9B3E-*******F
finishReasonstring

如果是流式输出,正在生成时为 null,生成结束时如果由于停止 token 导致则为 stop。

stop
successboolean

请求是否成功

True
textstring

应用返回的结果。

这段对话似乎是客服与客户之间关于一个服务或产品的讨论,但具体内容难以明确理解,因为对话中的言语比较零散和抽象。
inputTokensstring

输入 Token 数量

1000
outputTokensstring

输出 Token 数量

2000
totalTokensstring

Tokens 总量

3000

示例

正常返回示例

JSON格式

{
  "requestId": "968A8634-FA2C-5381-9B3E-*******F",
  "finishReason": "stop",
  "success": true,
  "text": "这段对话似乎是客服与客户之间关于一个服务或产品的讨论,但具体内容难以明确理解,因为对话中的言语比较零散和抽象。",
  "inputTokens": 1000,
  "outputTokens": 2000,
  "totalTokens": 3000
}

错误码

HTTP status code错误码错误信息描述
400CCAI.InvalidParam.NotExistThe specified parameter %s is not valid.请求API的参数不存在
400CCAI.ParamInvalid.IllegalParamValueThe parameter value of the request API is illegal %s.请求API的参数不合法
400CCAI.Throttling.QpmTrigger QPM flow restriction. Please purchase higher QPM for paid API. If free API has special requirements, please contact us through DingTalk group (62730018475).触发QPM限流,付费API请购买更高QPM,免费API如有特殊需求,请通过钉钉群(62730018475)联系我们。
400CCAI.Throttling.QpsTrigger current QPS limit, pay API please buy higher QPS, the free API if you have special requirements, please contact us through the DingTalk group (62730018475).触发限流,付费API请购买更高QPS,免费API如有特殊需求,请通过钉钉群(62730018475)联系我们。
403CCAI.IllegalPermission.NoAuthUser not authorized to operate on the specified resource.该用户未被授权可操作指定资源
403CCAI.ParamNotfound.MissParamParameter verification failed, The specified parameter %s is missing.参数校验失败,指定参数缺失。
403CCAI.TenantPermission.NoAuthThe current account does not have the permission to specify the business space. Please authorize the business space permission.当前账号没有指定业务空间的权限,请进行业务空间权限授权。
500CCAI.InternalErrorThe request processing has failed due to some unknown error, exception or failure.系统内部错误,请稍后重试

访问错误中心查看更多错误码。