Lindorm OLAP节点

更新时间:
复制 MD 格式

DataWorks的Lindorm OLAP节点可进行Lindorm OLAP SQL任务的开发和周期性调度。本文为您介绍使用Lindorm OLAP节点进行任务开发的主要流程。

背景信息

Lindorm是基于云原生架构的分布式计算服务,支持社区版计算模型、兼容Spark接口,并深度融合Lindorm存储引擎特性。能够利用底层数据存储特征及索引能力,高效完成分布式作业任务,适用于海量数据处理、交互式分析、机器学习和图计算等场景。

Lindorm OLAP节点基于Lindorm OLAP资源组运行,适用于对海量数据进行交互式查询与聚合分析。与Lindorm Spark SQL节点相比,Lindorm OLAP节点运行在Lindorm的OLAP资源组上,不支持配置Spark参数,节点界面配置更简单。

前提条件

  • (可选,RAM用户需要)进行任务开发的RAM用户已被添加至对应工作空间中,并具有开发或空间管理员(权限较大,谨慎添加)角色权限,添加成员的操作详情请参见为工作空间添加空间成员。

    说明

    如果您使用的是主账号,则忽略该添加操作。

  • 已创建Lindorm实例并绑定至DataWorks工作空间,详情请参见绑定Lindorm计算资源。

新建Lindorm OLAP节点

新建入口参考:创建Lindorm OLAP节点。

开发Lindorm OLAP节点

在SQL编辑区域编写任务代码时,您可以使用 ${变量名} 的方式定义变量,并在节点编辑页面右侧的运行配置或调度配置中为变量赋值。示例如下。

-- 切换至湖模式列存数据源
SET CATALOG lindorm_columnar;

-- 创建数据库与表
CREATE DATABASE etldemo;
USE etldemo;
CREATE TABLE test (id INT, name STRING) ENGINE = iceberg;

-- 插入数据
INSERT INTO test VALUES (0, 'Jay'), (1, 'Edison');

-- 查询数据
SELECT id, name FROM test WHERE id != 0;

-- 聚合查询
SELECT count(distinct name) FROM test;

-- 清理资源
DROP TABLE test;
DROP DATABASE etldemo;

更多Lindorm OLAP SQL操作,请参见SQL参考。

调试Lindorm OLAP节点

  1. 配置调试属性。

    您可在节点右侧运行配置中配置计算资源、Lindorm资源组及资源组信息,具体参数信息如下。

    参数名称

    描述

    计算资源

    选择您所绑定的Lindorm计算资源。

    Lindorm资源组

    选择您在Lindorm控制台创建的OLAP资源组。

    资源组

    选择您绑定Lindorm计算资源时已通过测试连通性的资源组。

    计算CU

    当前节点使用默认CU值,无需修改CU。

    脚本参数

    在配置节点内容时,通过${参数名}的方式定义变量,需要在脚本参数处配置参数名、参数值信息,任务运行时会将它动态替换为真实的取值。详情请参见调度参数来源及其表达式。

  2. 调试运行节点。

    执行节点任务,您需单击保存并运行节点任务。

后续步骤

  • 节点调度配置:若项目目录下的节点需要周期性调度执行,您需要在节点右侧的调度配置中设置调度策略,配置相关的调度属性。

  • 节点发布:若任务需要发布至生产环境执行,请单击界面image图标唤起发布流程,通过该流程将任务发布至生产环境。项目目录下的节点只有在发布至生产环境后,才会进行周期性调度。

  • 数据地图(Lindorm表数据):您可以前往数据地图采集Lindorm的元数据信息。