使用批处理对存储空间(Bucket)中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。

说明

新版数据处理功能API、SDK支持在IMM服务接入点中的地域进行使用。

注意事项

  • 批处理将对满足条件的所有文件生成对应数据处理任务,请使用文件较少的前缀进行测试并验证数据处理效果。

  • 暂停批处理将立即停止生成新的数据处理任务,但已经提交生成的数据处理任务将会继续正常运行。

  • 输出路径应避免以输入路径为前缀,否则将导致触发器循环触发和源文件被覆盖等非预期行为。

  • 输出路径不能以/结尾,请填写包含扩展名的完整输出文件路径,文件名支持使用变量。关于变量的更多信息,请参见变量

  • 输出路径以非/结尾时,文件名需要至少包含一个变量,否则多个输出文件将会互相覆盖。

  • 使用{key}、{barename}、{basename}变量作为输出路径时,请确认输出文件和输入文件路径不同,否则将导致源文件被覆盖以及循环触发。

创建批处理

  1. 登录OSS管理控制台

  2. 在左侧导航栏,单击Bucket列表,然后单击目标Bucket。

  3. 在左侧导航栏,选择数据处理

  4. 根据需要选择文档处理媒体处理或其他由智能媒体管理 (IMM) 提供的数据处理能力(以下以文档处理为例进行介绍)。

  5. 单击批处理页签,然后单击创建批处理

  6. 创建批处理面板进行输入配置输出配置权限配置通知配置

    image

    参数

    说明

    输入存储桶

    当前需要创建批处理的文件所在的Bucket。

    选择模式

    可根据需要选中选择文件选择前缀

    • 选择文件:选择特定的多个文件进行数据处理。

    • 选择前缀:对指定目录中满足特定规则的文件进行数据处理。

    输入路径

    选择模式选中选择文件时,可选择一个或多个需要进行数据处理的文件。

    路径前缀

    选择模式选中选择前缀时,可选择文件的路径前缀,配合过滤规则制定要进行数据处理的文件。

    过滤规则

    选择模式选中选择前缀时,指定路径前缀和过滤规则对要处理的文件进行过滤。

    • 全部:对路径前缀指定的目录中所有文件进行处理。

    • 文件前缀:对路径前缀指定的目录中文件名匹配到特定前缀的文件进行数据处理,多个前缀以半角逗号(,)分隔。

    • 文件后缀:对路径后缀指定的目录中文件名匹配到特定后缀的文件进行数据处理,多个后缀以半角逗号(,)分隔。

    样式

    选择文件的处理样式。如果没有可以选择的样式,可单击下拉列表中的添加样式,添加新的样式。

    输出路径

    选择处理后文件的存储路径。

    不支持以正斜线(/)结尾的路径。建议您使用变量,否则多个任务的输出结果会互相覆盖。具体操作,请参见变量

    服务角色

    授权给IMM服务以访问其他云资源(例如OSS)的权限,建议使用服务角色AliyunIMMBatchTriggerRole。没有服务角色时,您可以在云资源访问授权页面创建角色。

    消息队列

    选择MNS主题。 任务结束时支持以消息通知的方式将处理结果发送到MNS。具体操作,请参见快速入门概述

  7. 单击确定

    批处理创建成功后会对每个存量文件生成对应的任务进行数据处理。执行任务会产生相应的费用。更多信息,请参见计费项

查询批处理

  1. 登录OSS管理控制台

  2. 在左侧导航栏,单击Bucket列表,然后单击目标Bucket。

  3. 在左侧导航栏,选择数据处理

  4. 根据需要进行数据处理的文件类型选择文档处理媒体处理或其他由智能媒体管理 (IMM) 提供的数据处理能力。

  5. 选中批处理页签,查看批处理列表,单击页面下方翻页按钮可查看上一页或下一页。

    image

    批处理状态说明如下表所示。

    状态

    说明

    就绪

    任务就绪,刚创建的任务处于就绪状态。

    运行中

    正在执行,正常执行的任务状态。

    成功

    任务执行完成。

    暂停

    任务暂停。

    失败

    任务失败,任务执行出错,且无法自动恢复。

  6. 批处理ID搜索框输入批处理ID,单击搜索按钮可以搜索指定的批处理。

  7. 单击操作列的详情可以查看批处理详细信息。

  8. 单击批处理ID前的展开按钮,可以查看批处理的所有任务信息,可以根据源文件路径和状态来搜索任务,单击操作列的详情可以查看任务详细信息。

    image