Serverless Spark SQL节点

适用范围

• 计算资源限制：仅支持绑定EMR Serverless Spark计算资源，需确保资源组和计算资源网络连通。

• 资源组限制：仅支持使用Serverless资源组运行该类型任务。

• （可选，RAM账号需要）进行任务开发的RAM账号已被添加至对应工作空间中，并具有开发或空间管理员（权限较大，谨慎添加）角色权限，添加成员的操作详情请参见为工作空间添加空间成员。

  如果您使用的是主账号，则可忽略该添加操作。

新建节点

新建入口参考：创建节点。

开发节点

在SQL编辑区域开发任务代码，语法支持catalog.database.tablename。若省略catalog，即为集群默认Catalog；若省略catalog.database，即为集群默认Catalog的默认数据库。

Catalog更多信息，请参见EMR Serverless Spark 管理数据目录。

-- 需替换 <catalog.database.tablename> 
SELECT * FROM <catalog.database.tablename> 

在代码中使用${变量名}的方式定义变量，并在节点编辑页面右侧调度配置的调度参数中为该变量赋值。实现调度场景下代码的动态传参，调度参数使用详情，请参考调度参数支持格式，示例如下。

SHOW TABLES; 
-- 通过${var}定义名为var的变量，若将该变量赋值${yyyymmdd},可通过调度任务实现创建以业务日期作为后缀的表。
CREATE TABLE IF NOT EXISTS userinfo_new_${var} (
  ip STRING COMMENT'IP地址',
  uid STRING COMMENT'用户ID'
)PARTITIONED BY(
  dt STRING
); --可以结合调度参数使用。

调试节点

1. 在调试配置选择配置计算资源和资源组。

   配置项	说明
   计算资源	选择已绑定的EMR Serverless Spark计算资源。若无可用计算资源，可在下拉框中选择新建计算资源。
   资源组	选择已绑定工作空间的资源组。
   脚本参数	在配置节点内容时，通过${参数名}的方式定义变量，需要在脚本参数处配置参数名、参数值信息，任务运行时会将它动态替换为真实的取值。详情请参见调度参数支持格式。
   ServerlessSpark节点参数	Spark程序运行参数，支持： DataWorks自定义运行参数，请参见附录：DataWorks参数。 Spark自带属性参数，请参见开源Spark属性参数。

2. 在节点编辑页面上方工具栏，单击运行SQL任务。

   重要

   发布前，需将调试配置的ServerlessSpark节点参数同步至调度配置的ServerlessSpark节点参数处。

后续步骤

• 节点调度：若项目目录下的节点需要周期性调度执行，您需要在节点右侧的调度配置中设置调度策略，配置相关的调度属性。

• 节点发布：若任务需要发布至生产环境执行，请单击界面图标唤起发布流程，通过该流程将任务发布至生产环境。项目目录下的节点只有在发布至生产环境后，才会进行周期性调度。

• 任务运维：任务发布后，您可以在运维中心查看周期任务的运行情况。详情请参见运维中心入门。

附录：DataWorks参数