新建离线自定义源类型

Dataphin支持自定义离线数据源,以满足不同业务场景数据同步的需求。

前提条件

  • 对于RDBMS数据库,已获取数据库驱动文件。

  • 对于其他类型数据库,获取数据源连接配置项的JSON代码和读/写插件。

背景信息

RDBMS数据库即关系型数据库,如MySQL、Oracle、SQL Server等。通常关系型数据库的链接方式一样,包括数据库驱动和配置项(链接地址、登录的用户名和密码)。Dataphin已提供RDBMS类型数据库的默认数据源配置项,您只需要准备数据库驱动,即可创建RDBMS自定义源类型。

对于非RDBMS类型的数据库,数据源的链接方式与配置项比较多样化。您可通过JSON定义数据源连接所需配置项,并上传读/写插件驱动包创建非RDBMS类型自定义源。

集成组件生成说明

完成创建离线自定义源类型后,在集成管道的组件库中会自动生成该类型的集成组件。您可使用该组件进行集成开发工作。集成组件生成说明如下:

  • 创建RDBMS类型的离线自定义数据源,在集成管道组件库的开放目录下自动生成输入和输出组件。

  • 其他类型的自定义源,系统根据您上传的读/写插件,在组件库的开放目录下生成您上传的读/写插件组件。

新建RDBMS类型数据源

  1. 在Dataphin首页,单击顶部菜单栏管理中心 > 数据源管理

  2. 在左侧导航栏单击自定义源类型

  3. 自定义源类型页面中,单击新建自定义源类型,下拉列表中选择新建离线自定义源类型image

  4. 新建离线自定义源类型页面,配置参数。

    image

    参数

    描述

    基本配置

    类型

    选择RDBMS数据库

    名称

    自定义组件的名称。

    支持中文、英文字母大小写、下划线(_)和数字。长度不超过64个字符。

    类型编码

    供后端使用,创建后不可编辑。

    仅支持英文字母大小写、数字和下划线(_),且不能以数字开头。

    资源配置

    驱动名称

    输入数据库驱动名称。

    支持英文字母大小写、下划线(_)、数字和半角句号(.)。长度不超过64个字符。例如com.mysql.jdbc.Driver。

    驱动上传

    上传的数据库驱动文件。

    说明

    仅支持.jar类型的文件,文件不超过200MB

    描述信息

    描述

    对自定义的数据源的简单描述。长度不超过128个字符。

  5. 单击创建

新建其他类型数据源

  1. 新建离线自定义源类型页面,配置参数。

    image

    参数

    描述

    基本配置

    类型

    选择其他数据库

    名称

    自定义组件的名称。

    支持中文、英文字母大小写、下划线(_)和数字。长度不超过64个字符。

    类型编码

    供后端使用,创建后不可编辑。

    仅支持英文字母大小写、数字和下划线(_),且不能以数字开头。

    数据源JSON

    填写数据源JSON代码及上传读写插件:

    填写数据源JSON代码,即定义数据源的配置项,代码示例说明如下:

    [
      {
        "columnName": "url",
        "columnType": "NORMAL",
        "text": {
          "zh_CN": "链接地址",
          "en_US": "address",
          "zh_TW": "繁体"
        },
        "placeholder": {
          "zh_CN": "请输入链接地址",
          "en_US": "input address",
          "zh_TW": "繁体"
        }
      },
      {
        "columnName": "username",
        "columnType": "NORMAL",
        "text": {
          "zh_CN": "用户名",
          "en_US": "username",
          "zh_TW": "繁体"
        },
        "placeholder": {
          "zh_CN": "请输入用户名",
          "en_US": "input username",
          "zh_TW": "繁体"
        }
      },
      {
        "columnName": "password",
        "columnType": "ENCRYPT",
        "text": {
          "zh_CN": "密码",
          "en_US": "password",
          "zh_TW": "繁体"
        },
        "placeholder": {
          "zh_CN": "请输入密码",
          "en_US": "input password",
          "zh_TW": "繁体"
        }
      }
    ]

    资源配置

    读写插件

    勾选所需上传的插件类型并填写ClassName(插件类名)及上传插件。

    • 仅支持.jar类型的文件。文件不超过50MB

    • 读取插件与写入插件请至少选择一项进行配置。

    • 选择了读插件就会生成读的组件,选择了写插件就会生成写的组件。

    描述信息

    描述

    对自定义的数据源的简单描述。不超过128个字。

  2. 单击创建

后续步骤

完成离线自定义源类型创建后,系统将生成该类型的数据源配置项,您可将该类型的数据源接入到Dataphin中。详情请参见新建自定义数据源