通过DataWorks的Serverless Kyuubi节点,可基于EMR Serverless Spark计算资源进行Kyuubi任务的开发和周期性调度,以及与其他作业的集成操作。
适用范围
- 计算资源限制:仅支持绑定EMR Serverless Spark计算资源,需确保资源组和计算资源网络连通。 - 资源组限制:仅支持使用Serverless资源组运行该类型任务。 
- (可选,RAM账号需要)进行任务开发的RAM账号已被添加至对应工作空间中,并具有开发或空间管理员(权限较大,谨慎添加)角色权限,添加成员的操作详情请参见为工作空间添加空间成员。 - 如果您使用的是主账号,则可忽略该添加操作。 
新建节点
新建入口参考:创建节点。
开发节点
在SQL编辑区域开发任务代码。在代码中使用${变量名}的方式定义变量,并在节点编辑页面右侧调度配置的调度参数中为该变量赋值。实现调度场景下代码的动态传参,调度参数使用详情,请参考调度参数支持格式,示例如下。
SHOW TABLES;
SELECT * FROM kyuubi040702 WHERE age >= '${a}'; --可以结合调度参数使用。说明 
SQL语句最大不能超过130KB。
调试节点
- 在调试配置选择配置计算资源、资源组等。 - 配置项 - 说明 - 计算资源 - 选择已绑定的EMR Serverless Spark计算资源,计算资源需配置Kyuubi连接。若无可用计算资源,可在下拉框中选择新建计算资源。 - 资源组 - 选择已绑定工作空间的资源组。 - 脚本参数 - 在配置节点内容时,通过 - ${参数名}的方式定义变量,需要在脚本参数处配置参数名、参数值信息,任务运行时会将它动态替换为真实的取值。详情请参见调度参数支持格式。- ServerlessSpark节点参数 - Spark程序运行参数,更多Spark属性参数配置请参见开源Spark属性参数。 
- 在节点编辑页面上方工具栏,单击运行任务。 重要- 发布前,需将调试配置的ServerlessSpark节点参数同步至调度配置的ServerlessSpark节点参数处。 
后续步骤
该文章对您有帮助吗?
 图标唤起发布流程,通过该流程将任务发布至生产环境。项目目录下的节点只有在发布至生产环境后,才会进行周期性调度。
图标唤起发布流程,通过该流程将任务发布至生产环境。项目目录下的节点只有在发布至生产环境后,才会进行周期性调度。