本文主要介绍MaxCompute作业通用标识约定。
参数标识简介
MaxCompute作业标识约定确保由上层平台(如DataWorks)提交的MaxCompute作业,在MaxCompute的作业元数据中能查看提交作业平台的节点ID、名字、责任人ID等信息。MaxCompute将从每个作业的Settings里解析并记录作业对应参数标识信息。
目前DataWorks和DataPhin平台提交MaxCompute作业时默认存在如下参数标识。
字段名 | 值 | 说明 |
EXT_PLATFORM_ID | 作业来源平台 |
|
EXT_NODE_ID | 上层调度节点ID |
|
EXT_DAGTYPE | 实例运行模式 |
|
EXT_TASK_ID | 上层调度节点实例ID | 标记EXT_NODE_ID的具体运行实例。 |
EXT_NODE_NAME | 上层调度的节点名字 |
|
EXT_NODE_ONDUTY | 上层调度节点责任人ID |
|
EXT_NODE_PRIORITY | 上层调度节点优先级 |
|
提交参数标识
提交作业时标识作业示例,提交SQL作业时加上flag,如定义作业来源SDK、名称(example_task)、责任人(test_user):
SET EXT_PLATFORM_ID='SDK';
SET EXT_NODE_NAME='example_task';
SET EXT_NODE_ONDUTY ='1234567';
sqlquery;使用参数标识
租户级别Information Schema的tasks_history视图里记录了这些信息,便于关联上层平台分析统计作业。
控制台检索
登录MaxCompute控制台,在左上角选择地域。
在左侧导航栏,选择。
在作业列表中,可以查看作业ExtPlatformId、ExtNodeId、ExtNodeName、ExtNodeOnDuty信息,支持通过ExtNodeId、ExtNodeName信息条件快速搜索,便于迅速定位作业来源及来源处节点ID/名字/责任人。