在EMR Serverless StarRocks中使用DLF Catalog

本文为您介绍如何在EMR Serverless StarRocks中使用DLF 2.0的Catalog进行元数据管理和数据读写。

前提条件

  • 已创建Serverless StarRocks实例,实例版本需要不低于3.2。如未创建,详情请参见创建实例

  • 已创建DLF 2.0数据目录。如未创建,详情请参见创建数据目录

步骤一:添加用户

说明

EMR Serverless StarRocks必须使用RAM用户访问DLF,需要先在StarRocks控制台添加用户。

  1. 登录EMR Serverless StarRocks控制台

  2. 实例列表页面,单击已创建实例操作列的连接实例,详情请参见通过EMR StarRocks Manager连接StarRocks实例

    指定用户名为admin或StarRocks超级管理员,连接StarRocks实例。

  3. 在EMR StarRocks Manager页面的左侧菜单栏,选择安全中心 > 用户管理,单击添加用户

  4. 在弹出的对话框中,配置以下信息,单击确定。

    • 用户来源:选择RAM用户

    • 用户名:选择需要添加的RAM用户。

    • 密码:自定义。

    • 用户类型:选择普通用户

    • 授权数据库:勾选需要授权的数据库。

    • 授权权限:勾选需要授权的权限。

步骤二:Catalog授权

说明

需要使用具备Catalog授权权限的用户来进行授权操作。

  1. 登录数据湖构建控制台

  2. Catalog列表页面,单击Catalog名称。

  3. 单击权限页签,单击授权

  4. 选择对用户授权,在授权用户下拉列表中选择步骤一中添加的RAM用户。

  5. 预置权限类型选择Custom,授权该用户当前数据目录和其下所有资源的ALL权限。

步骤三:创建External Catalog

  1. 登录EMR Serverless StarRocks控制台

  2. 实例列表页面,单击已创建实例操作列的连接实例,详情请参见通过EMR StarRocks Manager连接StarRocks实例

    使用具备CREATE EXTERNAL CATALOG权限的用户(如admin或StarRocks超级管理员),连接StarRocks实例。

  3. 已有连接中,找到步骤一中的连接,单击操作列的连接

  4. SQL Editor查询列表页面,单击image图标,创建SQL查询。

  5. 输入以下SQL,单击运行,创建External Catalog。

    说明

    Catalog需要先在DLF创建,并替换SQL中的dlf.catalog.id

    CREATE EXTERNAL CATALOG `dlf_clg_test`
    PROPERTIES (
      "type"  =  "paimon",
      "paimon.catalog.type"  =  "dlf-paimon",
      "dlf.catalog.id"  =  "clg-paimon-ab23d7e021**********d3ad421325f3"
    );

步骤四:读写数据

创建数据库

  1. 实例列表页面,单击已创建实例操作列的连接实例,详情请参见通过EMR StarRocks Manager连接StarRocks实例

    指定用户为步骤一中的添加的RAM用户,连接StarRocks实例。

  2. SQL Editor查询列表页面,单击image图标,创建SQL查询。

  3. 运行以下SQL,创建数据库。

CREATE DATABASE IF NOT EXISTS dlf_clg_test.sr_etl_db;

创建数据表

运行以下SQL,创建数据表。

CREATE TABLE IF NOT EXISTS dlf_clg_test.sr_etl_db.ads_age_pvalue_analytics(
    final_gender_code STRING COMMENT '性别',
    age_level STRING COMMENT '年龄层次',
    pvalue_level STRING COMMENT '消费档次',
    clicks INT COMMENT '点击次数',
    total_behaviors INT COMMENT '总行为次数'
);

插入数据

运行以下SQL,插入数据。

INSERT INTO dlf_clg_test.sr_etl_db.ads_age_pvalue_analytics (final_gender_code, age_level, pvalue_level, clicks, total_behaviors)
VALUES 
('M', '18-24', 'Low', 1500, 2500),
('F', '25-34', 'Medium', 2200, 3300),
('M', '35-44', 'High', 2800, 4000);

查询数据

运行以下SQL,查询数据。

SELECT * FROM dlf_clg_test.sr_etl_db.ads_age_pvalue_analytics;

步骤五:在DLF中查看元数据

当您运行成功之后,您可在数据湖构建控制台看到新增的库、表元数据信息。其中,EMRStarRocks是本例中的示例Catalog名称。

image