文档

数据源中心

更新时间:

EMR Workflow的数据源中心支持配置数据源,以满足不同的数据存储和访问需求。本文为您介绍如何创建、编辑和删除数据源。

使用限制

数据源所在的集群和运行工作流时选择的集群需要在同一VPC下。

创建数据源

  1. 进入数据源中心页面。

    1. 使用阿里云账号(主账号)或RAM用户登录E-MapReduce控制台

    2. 在左侧导航栏,选择EMR Workbench > Workflow

    3. 在Workflow页面单击目标工作空间操作列的控制台

    4. 单击上方的数据源中心页签。

  2. 数据源中心页面,单击创建数据源

  3. 在弹出的对话框中,设置相关参数。

    HIVE/IMPALA数据源

    参数

    是否必选参数

    说明

    数据源

    数据源类型。

    数据源名称

    输入数据源的名称。

    描述

    输入数据源的描述。

    IP主机名

    输入连接HIVE/IMPALA的IP地址。

    端口

    HIVE/IMPALA数据源类型对应的端口为10000。

    用户名

    设置连接HIVE/IMPALA的用户名。

    密码

    设置连接HIVE/IMPALA的密码。

    数据库名

    输入连接HIVE/IMPALA的数据库名称。

    jdbc连接参数

    用于数据源连接的参数设置。格式为{"key1":"value1","key2":"value2"...}

    测试连通性

    添加数据源时支持使用调度资源组测试连通性。

    说明
    • 如果工作流中使用了该数据源,需要确保数据源和调度资源组之间是可以连通的。

    • 仅支持测试数据源与默认资源组、集群资源组之间的连通性。

    PRESTO数据源

    参数

    是否必选参数

    说明

    数据源

    数据源类型。

    数据源名称

    输入数据源的名称。

    描述

    输入数据源的描述。

    IP主机名

    输入连接数据源的IP地址。

    端口

    PRESTO数据源类型对应的端口为22。

    用户名

    设置连接PRESTO的用户名。

    密码

    设置连接PRESTO的密码。

    Catalog

    输入连接PRESTO的Catalog名称。

    数据库名

    输入连接PRESTO的数据库名称。

    jdbc连接参数

    用于数据源连接的参数设置。格式为{"key1":"value1","key2":"value2"...}

    测试连通性

    添加数据源时支持使用调度资源组测试连通性。

    说明
    • 如果工作流中使用了该数据源,需要确保数据源和调度资源组之间是可以连通的。

    • 仅支持测试数据源与默认资源组、集群资源组之间的连通性。

    DORIS数据源

    参数

    是否必选参数

    说明

    数据源

    数据源类型。

    数据源名称

    输入数据源的名称。

    描述

    输入数据源的描述。

    IP主机名

    输入连接DORIS的IP地址。

    端口

    DORIS数据源类型对应的端口为9030。

    用户名

    设置连接DORIS的用户名。

    密码

    设置连接DORIS的密码。

    FE Endpoint

    输入FE节点的IP地址和端口。格式为ip:port,多个IP和端口之前以英文逗号分隔。

    数据库名

    输入连接DORIS的数据库名称。

    jdbc连接参数

    用于DORIS连接的参数设置。格式为{"key1":"value1","key2":"value2"...}

    测试连通性

    添加数据源时支持使用调度资源组测试连通性。

    说明
    • 如果工作流中使用了该数据源,需要确保数据源和调度资源组之间是可以连通的。

    • 仅支持测试数据源与默认资源组、集群资源组之间的连通性。

    SSH数据源

    参数

    是否必选参数

    说明

    数据源

    数据源类型。

    数据源名称

    输入数据源的名称。

    描述

    输入数据源的描述。

    IP主机名

    输入连接SSH的IP地址。

    端口

    SSH数据源类型对应的端口为22。

    用户名

    设置连接SSH的用户名。

    密码

    设置连接SSH的密码。

    PrivateKey

    设置连接SSH的私钥。

    测试连通性

    添加数据源时支持使用调度资源组测试连通性。

    说明
    • 如果工作流中使用了该数据源,需要确保数据源和调度资源组之间是可以连通的。

    • 仅支持测试数据源与默认资源组、集群资源组之间的连通性。

    StarRocks数据源

    参数

    是否必选参数

    说明

    数据源

    数据源类型。

    数据源名称

    输入数据源的名称。

    描述

    输入数据源的描述。

    IP主机名

    输入连接StarRocks的IP地址。

    端口

    StarRocks数据源类型对应的端口为9030。

    用户名

    设置连接StarRocks的用户名。

    密码

    设置连接StarRocks的密码。

    FE Endpoint

    输入FE节点的IP地址和端口。格式为ip:port,如果配置多个FE节点的IP和端口,每个IP和端口以逗号分隔,例如ip1:port1,ip2:port2

    数据库名

    输入连接StarRocks的数据库名称。

    jdbc连接参数

    用于StarRocks连接的参数设置。格式为{"key1":"value1","key2":"value2"...}

    测试连通性

    添加数据源时支持使用调度资源组测试连通性。

    说明
    • 如果工作流中使用了该数据源,需要确保数据源和调度资源组之间是可以连通的。

    • 仅支持测试数据源与默认资源组、集群资源组之间的连通性。

  4. 单击确定