批量运维支持通过手动填写或上传实例ID,对指定的一批实例执行重跑、置成功、终止运行、修改资源组、修改优先级、刷新实例或导出操作,并查看操作进度和结果。
功能介绍
当需要处理的实例已经通过日志分析、脚本或其他方式筛选出来时,可以直接填写或上传实例ID。例如,筛选出因限流而失败的一批实例后,仅重跑这些实例,不处理其他原因导致失败的实例。
适用范围:批量运维支持周期实例、测试实例、补数据实例、手动任务实例、手动业务流程实例,以及触发式工作流实例和工作流内部任务实例。同一次操作可以包含不同类型的实例。
与自动运维的区别:批量运维由用户指定实例并提交操作;自动运维根据预先配置的规则,在满足触发条件时自动执行操作。
填写工作流实例ID时,操作范围包含该工作流及其所有内部任务实例。如果只需要处理部分内部任务,请填写这些任务的实例ID,不要填写工作流实例ID。
使用限制
仅DataWorks专业版及以上版本支持批量运维。
不支持在所有项目视图中使用。页面提示“我的所有空间下,暂不支持此功能,请切换到指定项目空间”时,需要先切换到指定工作空间。
执行操作前,需要具备目标实例所在工作空间的相应运维操作权限。
单次提交数量上限默认为 10000,具体以页面显示为准。。手动填写超过上限时,内容会被截断;上传文件超出上限时,无法提交。提交前应核对页面显示的实例数量。
执行批量运维
步骤一:指定运维操作
登录运维中心控制台,切换至目标地域后,在下拉框中选择对应工作空间后,单击进入运维中心。
在左侧导航栏,选择,运维对象类型为实例运维。
选择需要执行的运维操作,并根据页面提示配置参数。除导出外,需要选择至少一种实例状态,操作只针对所选状态的实例执行。切换运维操作后,请重新核对实例状态和参数。
运维操作
可选实例状态
用途与配置
批量重跑
运行失败、运行成功、未运行。
重新运行指定实例。可按需开启用最新配置重跑,默认关闭。
置成功
运行失败。
将失败实例的状态置为成功。该操作不补执行任务逻辑,操作前应确认不会因跳过任务而影响数据完整性。
终止运行
等时间、等资源、运行中、检查中。
终止指定实例。可按需配置终止后的重跑操作。
修改资源组
未运行、运行失败、运行成功、等资源、运行中、等时间、检查中。
在选择资源组中选择目标调度资源组。已分配资源或正在运行的实例不会立即应用新资源组,需要终止后重新提交运行。
修改优先级
运行失败、运行成功、等资源、未运行、等时间。
在设置优先级中选择1、3、5、7或8,数值越大,优先级越高。等时间或等资源状态的实例不会立即应用新优先级,需要终止后重新提交运行。
刷新实例
运行失败、运行成功、未运行、等时间、等资源、运行中、检查中。
刷新指定实例的配置。可按需配置刷新后的终止或重跑操作。
批量导出
不按实例状态筛选。
导出指定实例的信息,导出方式为导出至本地。提交后需要等待导出完成,再到操作历史中下载文件。
开启用最新配置重跑后,实例的计算资源、资源组、CU、优先级、镜像、重跑策略、超时定义、责任人、标签和DQC配置将更新为任务的最新配置。如果手动修改过实例属性,请勿开启,避免这些属性被重置。无论是否开启,重跑时节点内代码均使用最新版本。
对于终止运行,可在后置运维操作中选择重跑实例。对于刷新实例、修改优先级、修改资源组,可选择后置终止实例或重跑实例。系统先执行本次运维操作,再执行所选后置操作。
选择后置重跑并开启重跑前先重置实例状态时,选中实例会先被置为未运行状态,正在运行的任务也会被终止。提交前应确认操作范围和对业务的影响。
步骤二:填写或上传实例ID
在选择方式中,选择以下任一种方式。
选择方式 | 操作说明 |
手动填写 | 在实例ID输入框中填写ID,每行一个,不使用逗号分隔。实例ID只能包含数字。 |
上传文件 | 单击上传区域或将文件拖入虚线框。支持TXT、CSV文件,每行一个实例ID,实例ID列必须位于第一列。可先单击下载模板,按模板整理后上传。 |
手动填写或仅含实例ID的一列文件示例:
1000000
1000001
1000002Excel、Word文档不能直接上传解析,需要先另存为CSV或TXT文件。上传时只解析每行第一列中的纯数字ID,空行、注释行和非数字内容不作为实例ID。上传后请核对已解析的实例数量,避免遗漏需要操作的实例。
核对实例ID、所选状态和操作范围。尤其是工作流实例ID会影响全部内部任务;只处理部分任务时,应填写内部任务的实例ID。
步骤三:提交并查看结果
单击提交。
在批量操作进度区域查看处理进度、成功数量和失败数量。展开结果详情后,可分别查看成功和失败的实例,以及实例名称、实例ID、实例类型、工作流运行名、工作流和责任人等信息。
操作完成后,单击查看操作记录,进入操作历史查看操作状态和结果。导出操作完成后,在对应记录的详情中下载导出文件。
批量操作提交成功不代表所有实例都已操作成功,也不代表重跑的实例已运行成功。应先查看批量操作结果,再到相应实例页面确认实例的运行状态。
导出文件包含workflowInstanceType字段,用于标识实例类型。
常见问题
Q:无法使用批量运维。
A:确认使用专业版及以上版本,并已切换到指定工作空间。存在权限提示时,联系工作空间管理员确认目标实例的操作权限。
Q:上传后解析数量与预期不一致。
A:检查文件格式和实例ID列位置,确保第一列为纯数字ID。不要直接上传Excel、Word文件,也不要将多个ID放在同一行。按模板整理后重新上传。
Q:提示实例数量超过上限。
A:按页面显示的上限拆分实例列表,分批提交。手动填写超限后发生截断时,请核对已输入数量,并另行处理未提交的实例。
Q:部分实例操作失败。
A:查看失败实例的操作详情,核对实例状态、操作权限及所需参数。处理失败原因后,仅重新提交仍需操作的实例,避免重复处理已成功实例。
Q:提交导出后没有立即下载文件。
A:导出需要后台处理。到操作历史查看进度,完成后从操作详情下载文件。