新建离线自定义源类型

更新时间: 2023-07-07 15:36:20

Dataphin支持自定义离线数据源,以满足不同业务场景数据同步的需求。

前提条件

  • 对于RDBMS数据库,已获取数据库驱动文件。

  • 对于其他类型数据库,获取数据源连接配置项的JSON代码和读/写插件。

背景信息

RDBMS数据库即关系型数据库,如Mysql、Oracle、SqlServer等。通常,关系型数据库的链接方式一样,包括数据库驱动和配置项(链接地址、登录的用户名和密码)。Dataphin已提供RDBMS类型数据库的默认数据源配置项,您只需要准备数据库驱动,即可创建RDBMS自定义源类型。

对于非RDBMS类型的数据库,数据源的链接方式与配置项比较多样化。您可通过JSON定义数据源连接所需配置项,并上传读/写插件驱动包创建非RDBMS类型自定义源。

集成组件生成说明

完成创建离线自定义源类型后,在集成管道的组件库中会自动生成该类型的集成组件。您可使用该组件进行集成开发工作。集成组件生成说明如下:

  • 创建RDBMS类型的离线自定义数据源,在集成管道组件库的开放目录下自动生成输入和输出组件。

  • 其他类型的自定义源,系统根据您上传的读/写插件,在组件库的开放目录下生成您上传的读/写插件组件。

离线自定义源类型入口

  1. 请参见数据源管理入口,进入数据源管理页面。

  2. 数据源管理页面,按照下图操作指引,进入新建离线自定义源类型对话框。

    image

新建RDBMS类型数据源

  1. 新建离线自定义源类型页面,配置参数。

    image

    区域

    参数

    描述

    基本配置

    类型

    选择RDBMS数据库

    名称

    自定义组件的名称。支持64个文字以内,中英文字符、下划线(_)及数字。

    类型编码

    供后端使用,创建后不可编辑。

    资源配置

    驱动名称

    输入数据库驱动名称,例如com.mysql.jdbc.Driver。

    驱动上传

    选择上传的数据库驱动。

    说明

    仅支持.jar类型的文件,文件不超过200MB

    描述信息

    描述

    对自定义的数据源的简单描述。不超过128个字。

  2. 单击创建

新建其他类型数据源

  1. 新建离线自定义源类型页面,配置参数。

    image

    区域

    参数

    描述

    基本配置

    类型

    选择其他数据库

    名称

    自定义组件的名称。

    类型编码

    供后端使用,创建后不可编辑。

    数据源JSON

    填写数据源JSON代码及上传读写插件:

    填写数据源JSON代码,即定义数据源的配置项,代码示例说明如下:

    [
      {
        "columnName": "url",
        "columnType": "NORMAL",
        "text": {
          "zh_CN": "链接地址",
          "en_US": "address",
          "zh_TW": "繁体"
        },
        "placeholder": {
          "zh_CN": "请输入链接地址",
          "en_US": "input address",
          "zh_TW": "繁体"
        }
      },
      {
        "columnName": "username",
        "columnType": "NORMAL",
        "text": {
          "zh_CN": "用户名",
          "en_US": "username",
          "zh_TW": "繁体"
        },
        "placeholder": {
          "zh_CN": "请输入用户名",
          "en_US": "input username",
          "zh_TW": "繁体"
        }
      },
      {
        "columnName": "password",
        "columnType": "ENCRYPT",
        "text": {
          "zh_CN": "密码",
          "en_US": "password",
          "zh_TW": "繁体"
        },
        "placeholder": {
          "zh_CN": "请输入密码",
          "en_US": "input password",
          "zh_TW": "繁体"
        }
      }
    ]

    资源配置

    读写插件

    勾选所需上传的插件类型并填写ClassName(插件类名)及上传插件。

    • 仅支持.jar类型的文件。文件不超过50MB

    • 读取插件与写入插件请至少选择一项进行配置。

    • 选择了读插件就会生成读的组件,选择了写插件就会生成写的组件。

    描述信息

    描述

    对自定义的数据源的简单描述。不超过128个字。

  2. 单击创建

后续步骤

完成离线自定义源类型创建后,系统将生成该类型的数据源配置项,您可将该类型的数据源接入到Dataphin中。详情请参见新建自定义数据源

阿里云首页 智能数据建设与治理 Dataphin 相关技术圈