EMR Workflow的数据源中心支持配置数据源,以满足不同的数据存储和访问需求。本文为您介绍如何创建、编辑和删除数据源。
使用限制
数据源所在的集群和运行工作流时选择的集群需要在同一VPC下。
创建数据源
进入数据源中心页面。
使用阿里云账号(主账号)或RAM用户登录E-MapReduce控制台。
在左侧导航栏,选择EMR Workbench > Workflow。
在Workflow页面,单击目标工作空间操作列的控制台。
单击上方的数据源中心页签。
在数据源中心页面,单击创建数据源。
在弹出的对话框中,设置相关参数。
HIVE/IMPALA数据源
参数
是否必选参数
说明
数据源
是
数据源类型。
数据源名称
是
输入数据源的名称。
描述
否
输入数据源的描述。
IP主机名
是
输入连接HIVE/IMPALA的IP地址。
端口
是
HIVE/IMPALA数据源类型对应的端口为10000。
用户名
是
设置连接HIVE/IMPALA的用户名。
密码
否
设置连接HIVE/IMPALA的密码。
数据库名
是
输入连接HIVE/IMPALA的数据库名称。
jdbc连接参数
否
用于数据源连接的参数设置。格式为
{"key1":"value1","key2":"value2"...}
。测试连通性
否
添加数据源时支持使用调度资源组测试连通性。
说明如果工作流中使用了该数据源,需要确保数据源和调度资源组之间是可以连通的。
仅支持测试数据源与默认资源组、集群资源组之间的连通性。
PRESTO数据源
参数
是否必选参数
说明
数据源
是
数据源类型。
数据源名称
是
输入数据源的名称。
描述
否
输入数据源的描述。
IP主机名
是
输入连接数据源的IP地址。
端口
是
PRESTO数据源类型对应的端口为22。
用户名
是
设置连接PRESTO的用户名。
密码
否
设置连接PRESTO的密码。
Catalog
否
输入连接PRESTO的Catalog名称。
数据库名
是
输入连接PRESTO的数据库名称。
jdbc连接参数
否
用于数据源连接的参数设置。格式为
{"key1":"value1","key2":"value2"...}
。测试连通性
否
添加数据源时支持使用调度资源组测试连通性。
说明如果工作流中使用了该数据源,需要确保数据源和调度资源组之间是可以连通的。
仅支持测试数据源与默认资源组、集群资源组之间的连通性。
DORIS数据源
参数
是否必选参数
说明
数据源
是
数据源类型。
数据源名称
是
输入数据源的名称。
描述
否
输入数据源的描述。
IP主机名
是
输入连接DORIS的IP地址。
端口
是
DORIS数据源类型对应的端口为9030。
用户名
是
设置连接DORIS的用户名。
密码
否
设置连接DORIS的密码。
FE Endpoint
否
输入FE节点的IP地址和端口。格式为
ip:port
,多个IP和端口之前以英文逗号分隔。数据库名
是
输入连接DORIS的数据库名称。
jdbc连接参数
否
用于DORIS连接的参数设置。格式为
{"key1":"value1","key2":"value2"...}
。测试连通性
否
添加数据源时支持使用调度资源组测试连通性。
说明如果工作流中使用了该数据源,需要确保数据源和调度资源组之间是可以连通的。
仅支持测试数据源与默认资源组、集群资源组之间的连通性。
SSH数据源
参数
是否必选参数
说明
数据源
是
数据源类型。
数据源名称
是
输入数据源的名称。
描述
否
输入数据源的描述。
IP主机名
是
输入连接SSH的IP地址。
端口
是
SSH数据源类型对应的端口为22。
用户名
是
设置连接SSH的用户名。
密码
否
设置连接SSH的密码。
PrivateKey
否
设置连接SSH的私钥。
测试连通性
否
添加数据源时支持使用调度资源组测试连通性。
说明如果工作流中使用了该数据源,需要确保数据源和调度资源组之间是可以连通的。
仅支持测试数据源与默认资源组、集群资源组之间的连通性。
StarRocks数据源
参数
是否必选参数
说明
数据源
是
数据源类型。
数据源名称
是
输入数据源的名称。
描述
否
输入数据源的描述。
IP主机名
是
输入连接StarRocks的IP地址。
端口
是
StarRocks数据源类型对应的端口为9030。
用户名
是
设置连接StarRocks的用户名。
密码
否
设置连接StarRocks的密码。
FE Endpoint
否
输入FE节点的IP地址和端口。格式为
ip:port
,如果配置多个FE节点的IP和端口,每个IP和端口以逗号分隔,例如ip1:port1,ip2:port2
。数据库名
是
输入连接StarRocks的数据库名称。
jdbc连接参数
否
用于StarRocks连接的参数设置。格式为
{"key1":"value1","key2":"value2"...}
。测试连通性
否
添加数据源时支持使用调度资源组测试连通性。
说明如果工作流中使用了该数据源,需要确保数据源和调度资源组之间是可以连通的。
仅支持测试数据源与默认资源组、集群资源组之间的连通性。
单击确定。