设置Kyuubi连接信息

在DataWorks注册E-MapReduce(后续简称EMR)集群后,您可自定义集群的Kyuubi连接信息,即您可使用自定义的账号及密码登录Kyuubi来运行相关任务。本文为您介绍如何在DataWorks自定义EMR集群的Kyuubi连接信息。

背景信息

Apache Kyuubi是一个分布式和多租户网关,为数据湖查询引擎(例如Spark、Flink或Trino等)提供SQL等查询服务。更多介绍请参见Kyuubi概述

前提条件

已注册EMR集群至DataWorks,详情请参见注册EMR集群至DataWorks

设置Kyuubi连接信息

  1. 进入Kyuubi配置页面。

    1. 进入管理中心页面。

      登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的更多 > 管理中心,在下拉框中选择对应工作空间后单击进入管理中心

    2. 单击左侧导航栏的集群管理,进入集群管理页面

    3. 找到目标EMR集群,单击Kyuubi配置 > 编辑Kyuubi配置进入Kyuubi配置页面

  2. 设置Kyuubi连接信息。

    按照界面指引选择合适的连接模式:

    • 阿里云EMR集群连接信息:直接使用注册EMR集群时配置的默认访问身份登录Kyuubi。默认选择该模式。

    • 自定义连接信息:如您需使用自定义的账号及密码登录Kyuubi,可选择该模式。格式为jdbc:hive2://host:port/;user=<登录用户名>;password=<登录密码>

      说明
      • 首次选择自定义连接信息时,平台会根据注册EMR时的相关配置信息来自动填充JDBC URL,您可按需修改。

      • 若注册集群时选择传递Proxy User信息,则在DataWorks运行EMR任务后,JDBC URL会拼接hive.server2.proxy.user配置信息,拼接规则如下:

        • 自定义连接信息中的JDBC URL中未填写占位符DATAWORKS_PROXY_USER,则平台执行任务时默认会在JDBC URL结尾拼接hive.server2.proxy.user配置信息。

        • 自定义连接信息中的JDBC URL中填写了占位符DATAWORKS_PROXY_USER,则平台执行任务时会动态替换占位符为hive.server2.proxy.user配置信息。

后续操作

您可参考通用开发流程配置相关组件环境,在DataWorks执行数据开发操作。