Dataphin支持自定义离线数据源,以满足不同业务场景数据同步的需求。
前提条件
对于RDBMS数据库,已获取数据库驱动文件。
对于其他类型数据库,获取数据源连接配置项的JSON代码和读/写插件。
背景信息
RDBMS数据库即关系型数据库,如MySQL、Oracle、SQL Server等。通常关系型数据库的链接方式一样,包括数据库驱动和配置项(链接地址、登录的用户名和密码)。Dataphin已提供RDBMS类型数据库的默认数据源配置项,您只需要准备数据库驱动,即可创建RDBMS自定义源类型。
对于非RDBMS类型的数据库,数据源的链接方式与配置项比较多样化。您可通过JSON定义数据源连接所需配置项,并上传读/写插件驱动包创建非RDBMS类型自定义源。
集成组件生成说明
完成创建离线自定义源类型后,在集成管道的组件库中会自动生成该类型的集成组件。您可使用该组件进行集成开发工作。集成组件生成说明如下:
创建RDBMS类型的离线自定义数据源,在集成管道组件库的开放目录下自动生成输入和输出组件。
其他类型的自定义源,系统根据您上传的读/写插件,在组件库的开放目录下生成您上传的读/写插件组件。
新建RDBMS类型数据源
在Dataphin首页,单击顶部菜单栏管理中心 > 数据源管理。
在左侧导航栏单击自定义源类型。
在自定义源类型页面中,单击新建自定义源类型,下拉列表中选择新建离线自定义源类型。
在新建离线自定义源类型页面,配置参数。
参数
描述
基本配置
类型
选择RDBMS数据库。
名称
自定义组件的名称。
支持中文、英文字母大小写、下划线(_)和数字。长度不超过64个字符。
类型编码
供后端使用,创建后不可编辑。
仅支持英文字母大小写、数字和下划线(_),且不能以数字开头。
资源配置
驱动名称
输入数据库驱动名称。
支持英文字母大小写、下划线(_)、数字和半角句号(.)。长度不超过64个字符。例如com.mysql.jdbc.Driver。
驱动上传
上传的数据库驱动文件。
说明仅支持.jar类型的文件,文件不超过200MB。
描述信息
描述
对自定义的数据源的简单描述。长度不超过128个字符。
单击创建。
新建其他类型数据源
在新建离线自定义源类型页面,配置参数。
参数
描述
基本配置
类型
选择其他数据库。
名称
自定义组件的名称。
支持中文、英文字母大小写、下划线(_)和数字。长度不超过64个字符。
类型编码
供后端使用,创建后不可编辑。
仅支持英文字母大小写、数字和下划线(_),且不能以数字开头。
数据源JSON
填写数据源JSON代码及上传读写插件:
填写数据源JSON代码,即定义数据源的配置项,代码示例说明如下:
[ { "columnName": "url", "columnType": "NORMAL", "text": { "zh_CN": "链接地址", "en_US": "address", "zh_TW": "繁体" }, "placeholder": { "zh_CN": "请输入链接地址", "en_US": "input address", "zh_TW": "繁体" } }, { "columnName": "username", "columnType": "NORMAL", "text": { "zh_CN": "用户名", "en_US": "username", "zh_TW": "繁体" }, "placeholder": { "zh_CN": "请输入用户名", "en_US": "input username", "zh_TW": "繁体" } }, { "columnName": "password", "columnType": "ENCRYPT", "text": { "zh_CN": "密码", "en_US": "password", "zh_TW": "繁体" }, "placeholder": { "zh_CN": "请输入密码", "en_US": "input password", "zh_TW": "繁体" } } ]
资源配置
读写插件
勾选所需上传的插件类型并填写ClassName(插件类名)及上传插件。
仅支持.jar类型的文件。文件不超过50MB。
读取插件与写入插件请至少选择一项进行配置。
选择了读插件就会生成读的组件,选择了写插件就会生成写的组件。
描述信息
描述
对自定义的数据源的简单描述。不超过128个字。
单击创建。
后续步骤
完成离线自定义源类型创建后,系统将生成该类型的数据源配置项,您可将该类型的数据源接入到Dataphin中。详情请参见新建自定义数据源。