批量运维

更新时间:
复制 MD 格式

批量运维支持通过手动填写或上传实例ID,对指定的一批实例执行重跑、置成功、终止运行、修改资源组、修改优先级、刷新实例或导出操作,并查看操作进度和结果。

功能介绍

当需要处理的实例已经通过日志分析、脚本或其他方式筛选出来时,可以直接填写或上传实例ID。例如,筛选出因限流而失败的一批实例后,仅重跑这些实例,不处理其他原因导致失败的实例。

  • 适用范围:批量运维支持周期实例、测试实例、补数据实例、手动任务实例、手动业务流程实例,以及触发式工作流实例和工作流内部任务实例。同一次操作可以包含不同类型的实例。

  • 与自动运维的区别:批量运维由用户指定实例并提交操作;自动运维根据预先配置的规则,在满足触发条件时自动执行操作。

重要

填写工作流实例ID时,操作范围包含该工作流及其所有内部任务实例。如果只需要处理部分内部任务,请填写这些任务的实例ID,不要填写工作流实例ID。

使用限制

  • 仅DataWorks专业版及以上版本支持批量运维。

  • 不支持在所有项目视图中使用。页面提示“我的所有空间下,暂不支持此功能,请切换到指定项目空间”时,需要先切换到指定工作空间。

  • 执行操作前,需要具备目标实例所在工作空间的相应运维操作权限。

  • 单次提交数量上限默认为 10000,具体以页面显示为准。。手动填写超过上限时,内容会被截断;上传文件超出上限时,无法提交。提交前应核对页面显示的实例数量。

执行批量运维

步骤一:指定运维操作

  1. 登录运维中心控制台,切换至目标地域后,在下拉框中选择对应工作空间后,单击进入运维中心。

  2. 在左侧导航栏,选择运维助手 > 批量运维,运维对象类型为实例运维。

  3. 选择需要执行的运维操作,并根据页面提示配置参数。除导出外,需要选择至少一种实例状态,操作只针对所选状态的实例执行。切换运维操作后,请重新核对实例状态和参数。

    运维操作

    可选实例状态

    用途与配置

    批量重跑

    运行失败、运行成功、未运行。

    重新运行指定实例。可按需开启用最新配置重跑,默认关闭。

    置成功

    运行失败。

    将失败实例的状态置为成功。该操作不补执行任务逻辑,操作前应确认不会因跳过任务而影响数据完整性。

    终止运行

    等时间、等资源、运行中、检查中。

    终止指定实例。可按需配置终止后的重跑操作。

    修改资源组

    未运行、运行失败、运行成功、等资源、运行中、等时间、检查中。

    在选择资源组中选择目标调度资源组。已分配资源或正在运行的实例不会立即应用新资源组,需要终止后重新提交运行。

    修改优先级

    运行失败、运行成功、等资源、未运行、等时间。

    在设置优先级中选择1、3、5、7或8,数值越大,优先级越高。等时间或等资源状态的实例不会立即应用新优先级,需要终止后重新提交运行。

    刷新实例

    运行失败、运行成功、未运行、等时间、等资源、运行中、检查中。

    刷新指定实例的配置。可按需配置刷新后的终止或重跑操作。

    批量导出

    不按实例状态筛选。

    导出指定实例的信息,导出方式为导出至本地。提交后需要等待导出完成,再到操作历史中下载文件。

重要

开启用最新配置重跑后,实例的计算资源、资源组、CU、优先级、镜像、重跑策略、超时定义、责任人、标签和DQC配置将更新为任务的最新配置。如果手动修改过实例属性,请勿开启,避免这些属性被重置。无论是否开启,重跑时节点内代码均使用最新版本。

对于终止运行,可在后置运维操作中选择重跑实例。对于刷新实例、修改优先级、修改资源组,可选择后置终止实例或重跑实例。系统先执行本次运维操作,再执行所选后置操作。

警告

选择后置重跑并开启重跑前先重置实例状态时,选中实例会先被置为未运行状态,正在运行的任务也会被终止。提交前应确认操作范围和对业务的影响。

步骤二:填写或上传实例ID

在选择方式中,选择以下任一种方式。

选择方式

操作说明

手动填写

在实例ID输入框中填写ID,每行一个,不使用逗号分隔。实例ID只能包含数字。

上传文件

单击上传区域或将文件拖入虚线框。支持TXT、CSV文件,每行一个实例ID,实例ID列必须位于第一列。可先单击下载模板,按模板整理后上传。

手动填写或仅含实例ID的一列文件示例:

1000000
1000001
1000002
说明

Excel、Word文档不能直接上传解析,需要先另存为CSV或TXT文件。上传时只解析每行第一列中的纯数字ID,空行、注释行和非数字内容不作为实例ID。上传后请核对已解析的实例数量,避免遗漏需要操作的实例。

核对实例ID、所选状态和操作范围。尤其是工作流实例ID会影响全部内部任务;只处理部分任务时,应填写内部任务的实例ID。

步骤三:提交并查看结果

  1. 单击提交。

  2. 在批量操作进度区域查看处理进度、成功数量和失败数量。展开结果详情后,可分别查看成功和失败的实例,以及实例名称、实例ID、实例类型、工作流运行名、工作流和责任人等信息。

  3. 操作完成后,单击查看操作记录,进入操作历史查看操作状态和结果。导出操作完成后,在对应记录的详情中下载导出文件。

说明

批量操作提交成功不代表所有实例都已操作成功,也不代表重跑的实例已运行成功。应先查看批量操作结果,再到相应实例页面确认实例的运行状态。

导出文件包含workflowInstanceType字段,用于标识实例类型。

常见问题

  • Q:无法使用批量运维。

    A:确认使用专业版及以上版本,并已切换到指定工作空间。存在权限提示时,联系工作空间管理员确认目标实例的操作权限。

  • Q:上传后解析数量与预期不一致。

    A:检查文件格式和实例ID列位置,确保第一列为纯数字ID。不要直接上传Excel、Word文件,也不要将多个ID放在同一行。按模板整理后重新上传。

  • Q:提示实例数量超过上限。

    A:按页面显示的上限拆分实例列表,分批提交。手动填写超限后发生截断时,请核对已输入数量,并另行处理未提交的实例。

  • Q:部分实例操作失败。

    A:查看失败实例的操作详情,核对实例状态、操作权限及所需参数。处理失败原因后,仅重新提交仍需操作的实例,避免重复处理已成功实例。

  • Q:提交导出后没有立即下载文件。

    A:导出需要后台处理。到操作历史查看进度,完成后从操作详情下载文件。

相关文档