文档

创建TDH Inceptor数据源

更新时间:

通过创建TDH Inceptor数据源能够实现Dataphin读取TDH Inceptor的业务数据或向TDH Inceptor写入数据。本文为您介绍如何创建TDH Inceptor数据源。

使用限制

Dataphin仅支持超级管理员数据源管理员板块架构师项目管理员角色创建数据源。

操作步骤

  1. 在Dataphin首页,单击顶部菜单栏管理中心

  2. 按照以下操作指引,进入新建数据源对话框。

    依次单击数据源管理->数据源->新建数据源

    image

  3. 新建数据源对话框的大数据存储区域,选择TDH Inceptor

    如果您最近使用过TDH Inceptor,也可以在最近使用区域选择TDH Inceptor。同时,您也可以在搜索框中,输入TDH Inceptor的关键词,快速筛选。image

  4. 新建TDH Inceptor数据源对话框中,配置数据源的基本信息。

    参数

    描述

    数据源名称

    命名规则如下:

    • 只能包含中文、字母、数字、下划线(_)或短划线(-)。

    • 长度不能超过64字符。

    数据源编码

    配置数据源编码后,您可以在Flink_SQL任务中通过数据源编码.表名称数据源编码.schema.表名称的格式引用数据源中的表;如果需要根据所处环境自动访问对应环境的数据源,请通过${数据源编码}.table${数据源编码}.schema.table的变量格式访问。更多信息,请参见Dataphin数据源表开发方式

    重要
    • 目前仅支持MySQLHologresMaxCompute数据源。

    • 数据源编码配置成功后不支持修改。

    版本

    当前,版本仅支持选择6.2.x。

    数据源描述

    对数据源的简单描述。不得超过128个字符。

    数据源配置

    选择需要配置的数据源:

    • 如果数据源区分生产数据源和开发数据源,则选择生产+开发数据源

    • 如果数据源不区分生产数据源和开发数据源,则选择生产数据源

    标签

    您可根据标签给数据源进行分类打标,如何创建标签,请参见数据源管理标签

  5. 配置数据源与Dataphin的连接参数。

    若您的数据源配置选择生产+开发数据源,则需配置生产+开发数据源的连接信息。如果您的数据源配置为生产数据源,仅需配置生产数据源的连接信息。

    说明

    通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。

    参数

    描述

    集群配置

    NameNode

    NameNode为HDFS集群中NameNode节点的HostName或者IP和端口。

    配置样例:host=192.x.x.169,webUiPort=,ipcPort=8020。其中,webUiPortIPCport在TDH环境下默认是50070和8020,您可根据实际情况填写对应的端口。image

    配置文件

    用于上传Hadoop的配置文件,例如hdfs-site.xmlcore-site.xml,配置文件可在Hadoop集群导出。

    认证方式

    如果HDFS集群无需认证,则选择无认证;如果HDFS集群需要认证,Dataphin支持选择Kerberos

    若选择Kerbero认证方式需配置相关认证信息:

    image

    • Kerberos配置方式:

      • KDDC Server:KDC统一服务地址,支持多项配置,英文分号(;)分隔。

      • Krb5文件配置:需上传Krb5文件。

    • HDFS配置:

      • HDFS keytab File:HDFS的keytab文件,即Kerberos认证的文件

      • HDFS Principal:Kerberos认证Principal名。示例为hdfs/cdh-master@DATAOHIN.com

    Inceptor配置

    JDBC URL

    配置连接Inceptor的JDBC URL,格式为jdbc:hive2//host:port/dbname

    认证方式

    如果Inceptor集群无需认证,则选择无认证;如果Inceptor集群需要认证,Dataphin支持选择LDAPKerberos,您可以根据实际情况选择,详细内容说明如下:

    • Kerberos:选择后需要上传Keytab File及配置Principal。Keytab File即Kerberos认证的文件;Principal的示例为hdfs/cdh-master@DATAOHIN.com

    • LDAP:选择后需要配置LDAP认证的用户名和密码。

    用户名

    配置Inceptor的用户名。

    元数据库配置

    元数据获取方式

    支持元数据库方式和HMS方式获取。

    • 元数据库方式:需要配置数据库类型、版本、JDBC URL、认证方式、用户名和密码。

      • 数据库类型:根据集群中使用的元数据库类型,选择数据库类型。支持选择MySQLPostgreSQLInceptor

      • 版本:数据库类型为MySQL,需选择对应版本。支持MySQL5.1.43MySQL5.6/5.7MySQL8.0版本。

      • JDBC URL:填写对应元数据库的链接地址。

        • MySQL:格式为jdbc:mysql://host:port/dbname

        • PostgreSQL:格式为jdbc:postgresql://host:port/dbname

        • Inceptor:格式为:jdbc:hive2://hsot:port/dbname

      • 认证方式:数据库类型为Inceptor需填写认证方式,支持3种认证方式,无认证LDAPKerberos

        使用Kerberos认证方式需在集群配置区域中选择认证方式为Kerberos

      • 用户名密码:登录元数据库的用户名和密码。

    • HMS方式:需要配置认证方式及上传hive-site.xml

      • 认证方式:支持无认证LDAPKerberos

        使用Kerberos认证方式需在集群配置区域中选择认证方式为Kerberos。且需要上传Keytab File文件填写Principal

      • hive-site.xml:上传TDH Inceptor数据源集群的hive-site.xml配置文件。

  6. 单击测试连接,测试数据源是否可以和Dataphin进行正常的连通。

  7. 测试成功后,单击确定,完成TDH Inceptor数据源的创建。