数据集成支持用户自定义系统不支持的组件,以满足不同业务场景数据同步的需求。

前提条件

  • 对于RDBMS数据库组件,已获取数据源驱动的文件。
  • 对于其他数据库组件,获取配置项的JSON代码和读写插件。

背景信息

RDBMS数据库即关系型数据库。通常,关系型数据库的链接方式一样,包括数据库驱动和配置项(链接地址、登录的用户名和密码)。数据集成支持数据源配置项模板,您只需要准备数据库驱动,即可创建自定义组件。Dataphin支持自定义RDBMS数据库和其他数据库的组件:
  • RDBMS数据库支持标准JDBC协议,您就可以使用JDBC URL、用户名和密码连接关系型数据库。具体操作,请参见新建RDBMS数据库类型的自定义组件
  • 如果数据源的链接方式或配置项与RDBMS数据库的链接方式不一样,需要用户提供数据源配置JSON及读写插件驱动包,数据源JSON用于定制数据源的配置项。具体操作,请参见新建其他数据库类型的自定义组件
完成自定义组件后,系统会自动定义了数据源类型,即可使用数据源类型新建数据源实例:
  • 如果使用RDBMS数据库类型的自定义组件,则系统在组件库的开放目录下为您生成输入和输出组件。
  • 如果您使用其他数据库类型的自定义组件,且开启代码模式,则系统根据您上传的读写插件,在组件库的开发目录下生成您已上传代码的组件。
  • 如果您使用其他数据库类型的自定义组件,且未开启代码模式,则系统根据不会生成相应的组件,您需要通过脚本模式使用数据源。

新建RDBMS数据库类型的自定义组件

  1. 登录Dataphin控制台
  2. 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>
  3. 进入自定义组件页面。
    1. 在Dataphin首页,单击研发
    2. 在数据开发页面,单击项目名称后的test图标,选择数据开发的项目空间(DevBasic项目)。
      如果您当前访问的是DevBasic项目,且项目空间为您的数据开发空间,则不需要选择项目空间。
    3. 在数据开发页面,将鼠标悬停在顶部菜单栏的开发上,单击集成
    4. 在数据集成页面,单击左侧导航栏的gagaG图标。
  4. 自定义组件页面,单击tst图标。
  5. 新建自定义组件对话框,配置参数。
    teatw
    参数 描述
    类型 选择RDBMS数据库
    名称 自定义组件的名称。
    描述 对自定义组件的简单描述
    选择目录 如果您还没创建目录,则系统默认为自定义组件。
    驱动名称 输入数据库驱动名称,例如com.mysql.jdbc.Driver
    文件上传 选择上传的数据库驱动。
    说明 仅支持.jar类型的文件,文件不超过50MB。
  6. 单击提交
  7. 提交备注对话框,填写备注信息。
  8. 单击确定并提交

新建其他数据库类型的自定义组件

  1. 自定义组件页面,单击tst图标。
  2. 新建自定义组件对话框,配置参数。
    test
    参数 描述
    类型 选择其他数据库
    名称 自定义组件的名称。
    描述 对自定义组件的简单描述
    选择目录 如果您还没创建目录,则系统默认为自定义组件。
    文件上传 填写数据源JSON代码及上传读写插件:
    • 填写数据源JSON代码,即定义数据源的配置项,代码示例说明如下:
      [
        {
          "columnName": "url",
          "columnType": "NORMAL",
          "text": {
            "zh_CN": "链接地址",
            "en_US": "address",
            "zh_TW": "繁体"
          },
          "placeholder": {
            "zh_CN": "请输入链接地址",
            "en_US": "input address",
            "zh_TW": "繁体"
          }
        },
        {
          "columnName": "username",
          "columnType": "NORMAL",
          "text": {
            "zh_CN": "用户名",
            "en_US": "username",
            "zh_TW": "繁体"
          },
          "placeholder": {
            "zh_CN": "请输入用户名",
            "en_US": "input username",
            "zh_TW": "繁体"
          }
        },
        {
          "columnName": "password",
          "columnType": "ENCRYPT",
          "text": {
            "zh_CN": "密码",
            "en_US": "password",
            "zh_TW": "繁体"
          },
          "placeholder": {
            "zh_CN": "请输入密码",
            "en_US": "input password",
            "zh_TW": "繁体"
          }
        }
      ]
    • 上传读写插件。选择了读插件就会生成读的组件,选择了写插件就会生成写的组件。

      单击开启代码模式,上读取和写入JS的插件代码。

    如果您没有上传读写插件,则系统不会生成读写组件。您可以通过脚本模式的组件,使用数据源。

  3. 单击提交
  4. 提交备注对话框,填写备注信息。
  5. 单击确定并提交

自定义组件的相关案例

自定义RDBMS数据库及同步数据