数据集成支持用户自定义系统不支持的组件,以满足不同业务场景数据同步的需求。

前提条件

  • 对于RDBMS数据库组件,已获取数据源驱动的文件。
  • 对于其他数据库组件,获取配置项的JSON代码和读写插件。

背景信息

RDBMS数据库即关系型数据库。通常,关系型数据库的链接方式一样,包括数据库驱动和配置项(链接地址、登录的用户名和密码)。数据集成支持数据源配置项模板,您只需要准备数据库驱动,即可创建自定义组件。

RDBMS数据库包括Mysql、Oracle、SqlServer、PostgreSQL、Vertica、DRDS、DB2、OceanBase、PolarDB、SAP HANA和TeraData。

如果数据源的链接方式或配置项与RDBMS数据库的链接方式不一样,需要用户提供数据源配置JSON及读写插件驱动包,数据源JSON用于定制数据源的配置项。

完成自定义组件后,系统会自动定义了数据源类型,即可使用数据源类型新建数据源实例:
  • 如果使用RDBMS数据库类型的自定义组件,则系统在组件库的开放目录下为您生成输入和输出组件。
  • 如果您使用其他数据库类型的自定义组件,且开启代码模式,则系统根据您上传的读写插件,在组件库的开发目录下生成您已上传代码的组件。
  • 如果您使用其他数据库类型的自定义组件,且未开启代码模式,则系统根据不会生成相应的组件,您需要通过脚本模式使用数据源。

新建RDBMS数据库类型的自定义组件

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>
  3. 在Dataphin首页,单击研发
  4. 在数据开发页面,按照下图操作指引,进入新建自定义组件对话框。
    z
  5. 新建自定义组件对话框,配置参数。
    teatw
    参数 描述
    类型 选择RDBMS数据库
    名称 自定义组件的名称。
    描述 对自定义组件的简单描述
    选择目录 如果您还没创建目录,则系统默认为自定义组件。
    驱动名称 输入数据库驱动名称,例如com.mysql.jdbc.Driver
    文件上传 选择上传的数据库驱动。
    说明 仅支持.jar类型的文件,文件不超过50MB。
  6. 单击提交
  7. 提交备注对话框,填写备注信息。
  8. 单击确定并提交

新建其他数据库类型的自定义组件

  1. 在数据开发页面,按照下图操作指引,进入新建自定义组件对话框。
    z
  2. 新建自定义组件对话框,配置参数。
    test
    参数 描述
    类型 选择其他数据库
    名称 自定义组件的名称。
    描述 对自定义组件的简单描述
    选择目录 如果您还没创建目录,则系统默认为自定义组件。
    文件上传 填写数据源JSON代码及上传读写插件:
    • 填写数据源JSON代码,即定义数据源的配置项,代码示例说明如下:
      [
        {
          "columnName": "url",
          "columnType": "NORMAL",
          "text": {
            "zh_CN": "链接地址",
            "en_US": "address",
            "zh_TW": "繁体"
          },
          "placeholder": {
            "zh_CN": "请输入链接地址",
            "en_US": "input address",
            "zh_TW": "繁体"
          }
        },
        {
          "columnName": "username",
          "columnType": "NORMAL",
          "text": {
            "zh_CN": "用户名",
            "en_US": "username",
            "zh_TW": "繁体"
          },
          "placeholder": {
            "zh_CN": "请输入用户名",
            "en_US": "input username",
            "zh_TW": "繁体"
          }
        },
        {
          "columnName": "password",
          "columnType": "ENCRYPT",
          "text": {
            "zh_CN": "密码",
            "en_US": "password",
            "zh_TW": "繁体"
          },
          "placeholder": {
            "zh_CN": "请输入密码",
            "en_US": "input password",
            "zh_TW": "繁体"
          }
        }
      ]
    • 上传读写插件。选择了读插件就会生成读的组件,选择了写插件就会生成写的组件。

      单击开启代码模式,上读取和写入JS的插件代码。

    如果您没有上传读写插件,则系统不会生成读写组件。您可以通过脚本模式的组件,使用数据源。

  3. 单击提交
  4. 提交备注对话框,填写备注信息。
  5. 单击确定并提交