作业通用标识约定

更新时间:
复制为 MD 格式

本文主要介绍MaxCompute作业通用标识约定。

参数标识简介

MaxCompute作业标识约定确保由上层平台(如DataWorks)提交的MaxCompute作业,在MaxCompute的作业元数据中能查看提交作业平台的节点ID、名字、责任人ID等信息。MaxCompute将从每个作业的Settings里解析并记录作业对应参数标识信息。

目前DataWorksDataPhin平台提交MaxCompute作业时默认存在如下参数标识。

字段名

说明

EXT_PLATFORM_ID

作业来源平台

  • 标记提交该MaxCompute任务的上层平台,同一平台应使用统一的标识。

  • 长度限制:32

EXT_NODE_ID

上层调度节点ID

  • 标记提交该MaxCompute任务的上层应用节点ID。

  • 长度限制:64

EXT_DAGTYPE

实例运行模式

  • 0:正常调度实例

  • 1:手动任务

  • 2:冒烟测试

  • 3:补数据

EXT_TASK_ID

上层调度节点实例ID

标记EXT_NODE_ID的具体运行实例。

EXT_NODE_NAME

上层调度的节点名字

  • 标记提交该MaxCompute任务的上层应用节点名字。

  • 长度限制:128

EXT_NODE_ONDUTY

上层调度节点责任人ID

  • 标记上层应用的责任人ID

  • 长度限制:64

EXT_NODE_PRIORITY

上层调度节点优先级

  • 标记上层节点的优先级

  • 数字格式,注意settingsstr-str map

提交参数标识

提交作业时标识作业示例,提交SQL作业时加上flag,如定义作业来源SDK、名称(example_task)、责任人(test_user):

SET EXT_PLATFORM_ID='SDK';
SET EXT_NODE_NAME='example_task';
SET EXT_NODE_ONDUTY ='1234567';
sqlquery;

使用参数标识

  • 租户级别Information Schematasks_history视图里记录了这些信息,便于关联上层平台分析统计作业。

  • 控制台检索

    1. 登录MaxCompute控制台,在左上角选择地域。

    2. 在左侧导航栏,选择观测运维 > 作业运维

    3. 在作业列表中,可以查看作业ExtPlatformId、ExtNodeId、ExtNodeName、ExtNodeOnDuty信息,支持通过ExtNodeId、ExtNodeName信息条件快速搜索,便于迅速定位作业来源及来源处节点ID/名字/责任人。