提交智能生产作业接口,作业是异步执行方式,作业添加到管道中调度排队和执行,可以调用查询智能生产作业接口查询作业执行结果,也可以使用异步的消息通知机制。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

请求参数

名称 类型 是否必填 描述
Action String 操作接口名,系统规定参数,取值:SubmitIProductionJob
FunctionName String 取值:
  • VideoH2V(视频横转竖)
  • VideoDelogo(视频去图标)
  • Cover(智能封面)
  • VideoClip(视频摘要)
  • ImageMatting(图片人像分割)
  • ImageH2V(横转竖)
  • ImageDelogo(图片去图标)
  • CaptionExtraction(字幕提取):算法输入待处理视频的URL,输出提取的字幕文件。
  • VideoDetext(视频去字幕)
  • VideoGreenScreenMatting(绿幕抠图):算法输入待抠图视频的URL和替换的背景图片URL,输出合成后的视频。
  • MusicSegmentDetect(副歌检测):输入待处理音频、视频的URL,输出检测出的每一段副歌的起止时间,若检测不到副歌,则返回为空。
  • AudioMixing(混音处理)
  • VideoSplit(PPT拆条)
  • AudioBeatDetection(节奏检测):输入待处理音频、视频的url,输出检测出的节拍时间列表(BeatList)和强拍时间列表(DownBeatList)。
  • ASR(语音识别)
  • AsyncTextToSpeech(异步语音合成)
  • TextToSpeech(语音合成)
ModelId String 算法模型id,如为空,则选择对应功能的默认模型。
Input String 输入文件路径,目前只支持oss,例如:oss://test-video.oss-cn-shanghai.aliyuncs.com/iproduction/test.mp4。
Output String 输出文件路径,目前只支持oss,例如:oss://test-video.oss-cn-shanghai.aliyuncs.com/iproduction/{source}-{timestamp}-{sequenceId}.srt,其中{source}、{timestamp}和{sequenceId}为占位符,分别填充输入文件名、Unix时间戳和生成序号,占位符不必须,但对多输出算法,比如智能封面等,需要注意加入序号占位符确保输出文件路径不重复,文件后缀名规则由用户自定义。
JobParams String 算法作业参数,JSON对象。
PipelineId String 作业管道id,用以确认作业回调队列以及提供租户隔离能力。若不传,则使用默认管道,默认作业并发数10,不绑定消息通知。
UserData String 用户业务数据,callback时回传。
NotifyUrl String callback路径,目前只支持mns队列,例如:mns://1253406881704637.mns.cn-shanghai.aliyuncs.com/queues/test-pipeline。

返回参数

名称 类型 描述
JobId String 作业ID

字幕提取:CaptionExtraction

名称 类型 描述
Output String 如果JobParams设置了中英文分离,输出文件路径中支持{resultType}占位符,用来比较对应字幕结果文件是中文或英文,中文为zh,英文为en。
JobParams参数说明:
名称 类型 是否必填 描述
fps Int 采样帧率(可选),默认5。
roi List 字幕框选区域,若输入框选区域,则只对区域内的字幕进行提取,区域外的文字忽略(可选)。格式:[[top, bottom], [left, right]],默认无。
sep Boolean 是否中英文分离输出两个srt文件,可选,默认False
formatter String srt的字幕格式字符串(可选),例如:"{\an8}",默认无。
回调格式

JSON格式

{"Code":"Success","Details":[],"FunctionName":"CaptionExtraction","JobId":"39f8e0bc005e4f309379701645f4****","Message":"success","State":"Succes

绿幕抠图:VideoGreenScreenMatting

JobParams参数说明:
名称 类型 是否必填 描述
mode String 替换的背景图片类型,默认填file。
bgimage String 替换的背景图片,例如:http://test-image.oss-cn-shanghai.aliyuncs.com/iproduction/test.jpg
回调格式

JSON格式

{"Code":"Success","Details":[],"FunctionName":"VideoGreenScreenMatting","JobId":"39f8e0bc005e4f309379701645f4****","Message":"success","State":"Success","Type":"IProduction"}

副歌检测:MusicSegmentDetect

JobParams参数说明:
名称 类型 是否必填 描述
回调格式

JSON格式

{"Code":"Success","Details":[],"FunctionName":"MusicSegmentDetect","JobId":"39f8e0bc005e4f309379701645f4****","Message":"success","State":"Success","Type":"IProduction"}

VideoDetext:视频去字幕

JobParams参数说明:
名称 类型 是否必填 描述
Text String 目标字幕框位置。
  • 目前最多支持两个目标字幕框。

    例如:[[bx1, by1, bw1, bh1], [bx2, by2, bw2, bh2]]bx1

  • 字幕框左上角点横坐标相对视频宽度比例。

    例如:0.1by1

  • 字幕框左上角点纵坐标相对视频高度比例。

    例如:0.8bw1

  • 字幕框宽度相对视频宽度比例。

    例如:0.3bh1

  • 字幕框高度相对视频高度比例。

    例如:0.2bx2

  • 字幕框左上角点横坐标相对视频宽度比例。

    例如:0.5by2

  • 字幕框左上角点纵坐标相对视频高度比例。

    例如:0.8bw2

  • 字幕框宽度相对视频宽度比例。

    例如:0.3bh2

  • 字幕框高度相对视频高度比例。

    例如:0.2

回调格式

JSON格式

{"Code":"Success","Details":[],"FunctionName":"VideoDetext","JobId":"39f8e0bc005e4f309379701645f4****","Message":"success","State":"Success","Type":"IProduction"}

视频横转竖:VideoH2V

JobParams参数说明:
名称 类型 是否必填 描述
回调格式

JSON格式

{"Code":"Success","Details":[],"FunctionName":"VideoH2V","JobId":"39f8e0bc005e4f309379701645f4****","Message":"success","State":"Success","Type":"IProduction"}

视频去图标:VideoDelogo

JobParams参数说明:
名称 类型 是否必填 描述
Logo String 目标logo框位置,[xmin, ymin, width, height],目前最多支持两个目标logo框,例如:[[0, 0, 0.3, 0.3], [0.7, 0, 0.3, 0.3]]
回调格式

JSON格式

{"Code":"Success","Details":[],"FunctionName":"VideoDelogo","JobId":"39f8e0bc005e4f309379701645f4****","Message":"success","State":"Success","Type":"IProduction"}

智能封面:Cover

JobParams参数说明:
名称 类型 是否必填 描述
Model String 智能封面模型,为空时输出图片封面,为gif时输出动图封面。
回调格式

JSON格式

{"Code":"Success","Details":[],"FunctionName":"Cover","JobId":"39f8e0bc005e4f309379701645f4****","Message":"success","State":"Success","Type":"IProduction"}

视频摘要:VideoClip

JobParams参数说明:
名称 类型 是否必填 描述
回调格式

JSON格式

{"Code":"Success","Details":[],"FunctionName":"VideoClip","JobId":"39f8e0bc005e4f309379701645f4****","Message":"success","State":"Success","Type":"IProduction"}

图片人像分割:ImageMatting

JobParams参数说明:
名称 类型 是否必填 描述
回调格式

JSON格式

{"Code":"Success","Details":[],"FunctionName":"ImageMatting","JobId":"39f8e0bc005e4f309379701645f4****","Message":"success","State":"Success","Type":"IProduction"}

图片横转竖:ImageH2V

JobParams参数说明:
名称 类型 是否必填 描述
回调格式

JSON格式

{"Code":"Success","Details":[],"FunctionName":"ImageH2V","JobId":"39f8e0bc005e4f309379701645f4****","Message":"success","State":"Success","Type":"IProduction"}

图片去图标:ImageDelogo

JobParams参数说明:
名称 类型 是否必填 描述
回调格式

JSON格式

{"Code":"Success","Details":[],"FunctionName":"ImageDelogo","JobId":"39f8e0bc005e4f309379701645f4****","Message":"success","State":"Success","Type":"IProduction"}

PPT拆条:VideoSplit

JobParams参数说明:
名称 类型 是否必填 描述
回调格式

JSON格式

{"Code":"Success","Details":[],"FunctionName":"VideoSplit","JobId":"39f8e0bc005e4f309379701645f4****","Message":"success","State":"Success","Type":"IProduction"}

节奏检测:AudioBeatDetection

JobParams参数说明:
名称 类型 是否必填 描述
回调格式

JSON格式

{"Code":"Success","Details":[],"FunctionName":"AudioBeatDetection","JobId":"39f8e0bc005e4f309379701645f4****","Message":"success","State":"Success","Type":"IProduction"}

混音处理:AudioMixing

JobParams参数说明:
名称 类型 是否必填 描述
inputs String 待混合的音轨文件地址列表,目前只支持一个,例如:[{"file":"oss://mts-sh-out.oss-cn-shanghai.aliyuncs.com/2.mp4"}]。
回调格式

JSON格式

{"Code":"Success","FunctionName":"AudioMixing","JobId":"158688059d8443a68b78a65e55b3****","Message":"Successful.","State":"Success","Type":"IProduction","UserData":"test"}

ASR(语音识别)

JobParams参数说明:
名称 类型 是否必填 描述
start_time String 截取开始时间,格式为00:00:00。
duration String 截取持续时间,格式为00:00:00。
request_params String ASR请求可选参数,格式示例为 "&first_channel_only=True&enable_word_level_result=False"
可选参数包括:
  • enable_word_level_result:类型Boolean,是否返回词级别信息。取值:
    • true
    • false
    默认:false(不开启)。
  • first_channel_only:类型Boolean,是否只识别首个声道。取值:
    • true
    • false
    默认:true(识别)。
回调格式

JSON格式

{"Code":"Success","Details":[],"FunctionName":"ASR","JobId":"39f8e0bc005e4f309379701645f****","Message":"success","State":"Success","Type":"IProduction"}

异步语音合成:AsyncTextToSpeech

名称 类型 描述
Output String 本算法输出结果需通过占位符{resultType}作为文件后缀来区分输出合成音频和时间戳信息。例如:oss://test-video.oss-cn-shanghai.aliyuncs.com/iproduction/{source}-{timestamp}-{sequenceId}.{resultType}
JobParams参数说明:
名称 类型 是否必填 描述
voice String 发音人。默认值xiaoyun
format String 音频编码格式,支持格式:
  • pcm
  • wav
  • mp3
默认值:pcm
sample_rate Integer 音频采样率。默认值:16000
volume Integer 音量。取值范围:0~100。默认值:50
speech_rate Integer 语速。取值范围:-500~500,默认值:0
pitch_rate Integer 语调。取值范围:-500~500,默认值:0
回调格式

JSON格式

{"Code":"Success","Details":[],"FunctionName":"AsyncTextToSpeech","JobId":"39f8e0bc005e4f309379701645f4****","Message":"success","State":"Success","Type":"IProduction"}

语音合成:TextToSpeech

JobParams参数说明:
名称 类型 是否必填 描述
voice String 发音人。默认值xiaoyun
format String 音频编码格式,支持格式:
  • pcm
  • wav
  • mp3
默认值:pcm
sample_rate Integer 音频采样率。默认值:16000
volume Integer 音量。取值范围:0~100。默认值:50
speech_rate Integer 语速。取值范围:-500~500,默认值:0
pitch_rate Integer 语调。取值范围:-500~500,默认值:0
回调格式

JSON格式

{"jobId":"612de0df37c84f8cabe4d856378e****","requestId":"91BC64BF-35B0-4DFC-9D52-0EC42287****","result":"{\"Message\":\"The job is completed successfully\",\"Data\":{\"result\":[{\"file\":\"UklGRiQOBgBXQVZFZm10IBA******\"}]},\"Code\":\"Success\"}"}