本文为您介绍如何自定义创建计算任务时的顶部注释。
各类计算引擎支持的计算任务类型
-
支持编辑的SQL计算任务类型基于当前租户所使用的离线计算引擎。
-
Flink SQL和Flink DataStream类型与离线计算引擎无关，若当前租户已绑定实时计算引擎，即可进行编辑。
-
Shell、Python、Virtual类型与计算引擎无关。
|
计算任务类型 |
计算引擎类型 |
|
Hive SQL |
E-MapReduce3.x、E-MapReduce5.x、CDH5.x、CDH6.x、Cloudera Data Platform 7.x、华为FusionInsight 8.x、亚信DP5.3 |
|
Inceptor SQL |
星环TDH 6.x、星环TDH 9.3.x |
|
Spark SQL |
E-MapReduce3.x、E-MapReduce5.x、CDH5.x、CDH6.x、Cloudera Data Platform 7.x、华为FusionInsight 8.x、亚信DP5.3、Lindorm（计算引擎） |
|
Impala SQL |
E-MapReduce3.x、E-MapReduce5.x、CDH5.x、CDH6.x、Cloudera Data Platform 7.x、华为FusionInsight 8.x、亚信DP5.3 |
|
MaxCompute SQL |
MaxCompute |
|
ArgoDB SQL |
ArgoDB |
|
AnalyticDB for PostgreSQL SQL |
AnalyticDB for PostgreSQL |
|
StarRocks SQL |
StarRocks |
|
GaussDB SQL |
GaussDB（DWS） |
|
Databricks SQL |
Databricks |
|
Doris SQL |
Doris |
|
SelectDB SQL |
SelectDB |
|
Spark on Yarn |
E-MapReduce3.x、E-MapReduce5.x、CDH5.x、CDH6.x、Cloudera Data Platform 7.x、华为FusionInsight 8.x、亚信DP5.3 |
|
Spark on MaxCompute |
MaxCompute |
|
MapReduce on Yarn |
E-MapReduce3.x、E-MapReduce5.x、CDH5.x、CDH6.x、Cloudera Data Platform 7.x、华为FusionInsight 8.x、亚信DP5.3 |
|
MapReduce on MaxCompute |
MaxCompute |
|
Flink SQL、Flink DataStream |
与离线计算引擎无关，需绑定实时计算引擎。 |
|
Shell、Python、Virtual |
与计算引擎无关。 |
操作步骤
-
在Dataphin首页的顶部菜单栏中，选择管理中心 > 规范设置。
-
在左侧导航栏中选择研发规约 > 计算任务顶部注释。
-
单击编辑，可自定义当前租户计算引擎支持的各个计算任务类型的代码顶部注释。各类型计算任务顶部注释的默认值详情请参见各类型计算任务顶部注释的默认值。
可使用的系统变量有：
-
${author}：新建计算任务时，登录用户的用户名。 -
${createTime}：新建计算任务时的时间，格式为yyyy-MM-dd HH:mm:ss。 -
${taskType}：新建计算任务时的任务类型，取值与新建菜单的任务类型名称一致。 -
${dbType}：新建数据库SQL任务时，所选数据库的类型，取值与数据库类型下拉列表一致。 -
${comment}：新建任务时的描述。
-
-
编辑完成后，单击保存。
各类型计算任务顶部注释的默认值
SQL类
-
简体中文环境中默认值如下。
—${taskType} --********************************************************************-- --所属主题: 数据属于哪个数据域或业务场景下---如交易域、运营数据报表 --功能描述: 数据记录的描述，如数据是什么、统计粒度等 --创建者: ${author} --创建日期: ${createTime} --修改日期 修改人 修改内容 --yyyymmdd name comment --********************************************************************-- -
繁体中文、英文环境中默认值为空。
Python
简体中文、繁体中文、英文环境中默认值均相同。
#!/usr/bin/env python
# -*- coding: utf-8 -*-
################################################
# Author: ${author}
# Created Time: ${createTime}
################################################
#===============================================开启Databricks Connect的Python计算任务，简体中文、繁体中文、英文环境中注释默认值如下。
#!/usr/bin/env python
# -*- coding: utf-8 -*-
################################################
# Author: ${author}
# Created Time: ${createTime}
################################################
#===============================================
#当前已开启Databricks Connect，已内置 "spark" 句柄
#spark = DatabricksSession.builder.getOrCreate()
#"spark" 基于当前项目计算源对应的Databricks集群信息创建
#可在任务”属性-Databricks Connect“中关闭Databricks Connect，以及修改Cluster数据库SQL
-
简体中文环境中默认值如下。
—数据库SQL --********************************************************************-- --可使用 -- @@dataphin_sql_begin <statement> -- @@dataphin_sql_end 声明一个独立的完整SQL --所属主题: 数据属于哪个数据域或业务场景下---如交易域、运营数据报表 --功能描述: 数据记录的描述，如数据是什么、统计粒度等 --创建者: ${author} --创建日期: ${createTime} --修改日期 修改人 修改内容 --yyyymmdd name comment --********************************************************************-- -
繁体中文、英文环境中默认值为空。
Flink SQL
-
简体中文环境中默认值如下。
--Stream SQL --********************************************************************-- --Author: ${author} --CreateTime: ${createTime} --Comment: ${comment} --********************************************************************-- -
繁体中文、英文环境中默认值为空。
Flink DataStream
-
简体中文环境中默认值如下。
#DataStream #********************************************************************-- #Author: ${author} #CreateTime: ${createTime} #Comment: ${comment} #********************************************************************-- -
繁体中文、英文环境中默认值为空。
其他
除SQL类、Python、数据库SQL、Flink SQL和Flink DataStream类型外，其他计算任务类型的顶部注释值在简体中文、繁体中文、英文环境中均默认为空。