在DataWorks注册E-MapReduce(后续简称EMR)集群后,您可自定义集群的Kyuubi连接信息,即您可使用自定义的账号及密码登录Kyuubi来运行相关任务。本文为您介绍如何在DataWorks自定义EMR集群的Kyuubi连接信息。
背景信息
Apache Kyuubi是一个分布式和多租户网关,为数据湖查询引擎(例如Spark、Flink或Trino等)提供SQL等查询服务。更多介绍请参见Kyuubi概述。
前提条件
已注册EMR集群至DataWorks,详情请参见注册EMR集群至DataWorks。
设置Kyuubi连接信息
进入Kyuubi配置页面。
进入管理中心页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入管理中心。
单击左侧导航栏的集群管理,进入集群管理页面。
找到目标EMR集群,单击 ,进入Kyuubi配置页面。
设置Kyuubi连接信息。
按照界面指引选择合适的连接模式:
阿里云EMR集群连接信息:直接使用注册EMR集群时配置的默认访问身份登录Kyuubi。默认选择该模式。
自定义连接信息:如您需使用自定义的账号及密码登录Kyuubi,可选择该模式。格式为
jdbc:hive2://host:port/;user=<登录用户名>;password=<登录密码>
。说明首次选择自定义连接信息时,平台会根据注册EMR时的相关配置信息来自动填充JDBC URL,您可按需修改。
若注册集群时选择传递Proxy User信息,则在DataWorks运行EMR任务后,JDBC URL会拼接
hive.server2.proxy.user
配置信息,拼接规则如下:若自定义连接信息中的JDBC URL中未填写占位符
DATAWORKS_PROXY_USER
,则平台执行任务时默认会在JDBC URL结尾拼接hive.server2.proxy.user
配置信息。若自定义连接信息中的JDBC URL中填写了占位符
DATAWORKS_PROXY_USER
,则平台执行任务时会动态替换占位符为hive.server2.proxy.user
配置信息。
后续操作
您可参考通用开发流程配置相关组件环境,在DataWorks执行数据开发操作。