Severless StarRocks SQL节点

通过创建EMR(E-MapReduce) StarRocks SQL节点,实现基EMR Severless StarRocks计算资源的分布式SQL查询引擎处理结构化数据,提高作业的执行效率。

适用范围

  • 计算资源限制:仅支持EMR Serverless StarRocks计算资源,需确保资源组和计算资源网络连通。

  • 资源组限制:仅支持使用Serverless资源组运行该类型任务。

  • (可选,RAM账号需要)进行任务开发的RAM账号已被添加至对应工作空间中,并具有开发空间管理员(权限较大,谨慎添加)角色权限,添加成员的操作详情请参见为工作空间添加空间成员

    如果您使用的是主账号,则可忽略该添加操作。

新建节点

新建入口参考:创建节点

开发节点

SQL编辑区域开发任务代码,您可在代码中使用${变量名}的方式定义变量,并在节点编辑页面右侧调度配置调度参数中为该变量赋值。实现调度场景下代码的动态传参,调度参数使用详情,请参考调度参数支持格式,示例如下。

SHOW TABLES; 
-- 通过${var}定义名为var的变量,若将该变量赋值${yyyymmdd},可实现创建以业务日期作为后缀的表。
CREATE TABLE IF NOT EXISTS userinfo_new_${var} (
  ip STRING COMMENT'IP地址',
  uid STRING COMMENT'用户ID'
)PARTITIONED BY(
    dt STRING
); --可以结合调度参数使用。
说明

SQL语句最大不能超过130KB。

调试节点

  1. 配置调试属性。

    在节点右侧调试配置中配置计算资源资源组,具体参数信息如下。

    参数名称

    描述

    计算资源

    选择绑定的EMR Serverless StarRocks计算资源。若无可用计算资源,可在下拉框中选择新建计算资源

    重要

    需确保计算资源和资源组网络连通,更多信息请参见网络连通方案

    资源组

    选择绑定计算资源时已通过测试连通性的资源组。

    脚本参数

    在配置节点内容时,通过${参数名}的方式定义变量,需要在脚本参数处配置参数名参数值信息,任务运行时会将它动态替换为真实的取值。详情请参见调度参数支持格式

  2. 调试运行节点。

    执行节点任务,您需单击保存运行节点任务。

后续步骤

  • 节点调度:若项目目录下的节点需要周期性调度执行,您需要在节点右侧的调度配置中设置调度策略,配置相关的调度属性。

  • 节点发布:若任务需要发布至生产环境执行,请单击界面image图标唤起发布流程,通过该流程将任务发布至生产环境。项目目录下的节点只有在发布至生产环境后,才会进行周期性调度。

  • 任务运维:任务发布后,您可以在运维中心查看周期任务的运行情况。详情请参见运维中心入门