若您要使用DataWorks进行ClickHouse集群任务的开发、管理,需先将您的ClickHouse集群创建为DataWorks的ClickHouse计算资源。创建完成后,可在DataWorks的各功能模块使用该计算资源连接ClickHouse集群,进行相应的数据同步、数据开发等操作。
前提条件
已创建ClickHouse集群。
说明建议创建ClickHouse集群时,地域与绑定ClickHouse计算资源的DataWorks工作空间地域一致。
如果地域不一致就只能创建为跨地域的数据源,数据源无法在DataWorks的数据开发、运维中心页面中执行对应计算任务,仅可进行数据同步任务。
DataWorks已创建工作空间,操作者使用的RAM账号已加入工作空间并设置为工作空间管理员角色。
已为工作空间绑定资源组,且确保网络连通。
使用Serverless资源组时,只需确保ClickHouse计算资源与Serverless资源组连通性正常即可。
使用旧版独享型资源组时,需确保ClickHouse计算资源与对应场景下的独享集成资源组、独享调度资源组以及独享服务资源组连通性正常。
系统默认禁止所有IP地址访问云数据库ClickHouse集群。在绑定计算资源前,需要将资源组绑定的交换机网段、旧版资源组本身EIP或Serverless资源组绑定VPC配置的EIP添加至ClickHouse集群白名单中。否则无法成功绑定ClickHouse计算资源。
说明资源组绑定的交换机网段、旧版资源组本身EIP或Serverless资源组绑定VPC配置的EIP获取方式可参见DataWorks添加白名单。
使用限制
功能限制:当ClickHouse计算引擎开启了SSL认证服务,则不支持用于数据开发或周期性调度任务。
权限限制:
操作人
具备权限说明
阿里云主账号
无需额外授权。
阿里云RAM账号/RAM角色
仅拥有运维和空间管理员角色的空间成员,或拥有
AliyunDataWorksFullAccess
权限的空间成员可创建计算资源。授权详情请参见授权用户空间管理员权限。
新版数据开发:绑定ClickHouse计算资源
为参加数据开发(Data Studio)(新版)公测的工作空间绑定ClickHouse计算资源。
进入计算资源列表页
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入管理中心。
在左侧导航栏单击计算资源,进入计算资源列表页。
绑定ClickHouse计算资源
在计算资源列表页,配置绑定ClickHouse计算资源。
选择绑定计算资源类型。
单击绑定计算资源,进入绑定计算资源页面。
在绑定计算资源页面选择计算资源类型为ClickHouse,进入绑定ClickHouse计算资源配置页面。
配置ClickHouse计算资源。
在绑定ClickHouse计算资源配置页面,根据下表内容进行相应配置。
参数
说明
配置模式
仅支持连接串模式。
JDBC URL
JDBC URL格式:
jdbc:clickhouse://<ip>:<port>/<dbname>
。ip:ClickHouse集群信息页的VPC地址或者外网地址。例如
cc-bp1xxx..clickhouse.ads.aliyuncs.com
。port:认证选项为无认证时,端口选择ClickHouse集群信息页的VPC HTTP端口号(
8123
)。认证选项为SSL认证时,端口选择ClickHouse集群信息页的VPC HTTPS端口号(8443
)。dbname:您所使用的ClickHouse数据库,默认为
default
。您也可根据需要重新创建数据库。用户名和密码
您所使用的ClickHouse集群账号及对应的密码信息。
认证选项
选择后续访问ClickHouse集群时的认证方式。
无认证:无需进行其他操作。
SSL认证:选择该认证方式,需在ClickHouse集群信息页下载CA证书,以供后续验证。
说明当ClickHouse计算引擎开启了SSL认证服务,则不支持用于数据开发或周期性调度任务。
SSL CA证书
当认证选项为SSL认证方式时,需要单击下方的新增认证文件,上传在ClickHouse集群信息页下载的CA证书。
计算资源实例名
自定义计算资源实例名。
测试连通性。
在连接配置区域,请选择DataWorks用于运行ClickHouse节点任务的资源组,并单击测试连通性以确保资源组可以正常访问您的ClickHouse集群。详情请参见网络连通方案。
单击确认,完成ClickHouse计算资源配置。
旧版数据开发:绑定ClickHouse计算资源
为未参加数据开发(Data Studio)(新版)公测的工作空间绑定ClickHouse计算资源。
进入计算资源列表页
进入数据开发页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据开发。
在左侧导航栏单击
图标,进入计算资源列表页。
绑定ClickHouse计算资源
在计算资源列表页,配置绑定ClickHouse计算资源。
选择绑定计算资源类型。
单击新建计算资源,进入新建计算资源页面。
在新建计算资源页面选择计算资源类型为ClickHouse,进入新建计算资源配置页面。
配置ClickHouse计算资源。
在新建计算资源配置页面,根据下表内容进行相应配置。
参数
说明
数据源名称
自定义计算资源名称。
配置模式
仅支持连接串模式。
主机地址/IP
ClickHouse集群信息页的VPC地址或者外网地址。例如
cc-bp1xxx..clickhouse.ads.aliyuncs.com
。端口
认证选项为无认证时,端口选择ClickHouse集群信息页的VPC HTTP端口号(
8123
)。认证选项为SSL认证时,端口选择ClickHouse集群信息页的VPC HTTPS端口号(
8443
)。数据库名称
您所使用的ClickHouse数据库,默认为
default
。您也可根据需要重新创建数据库。用户名和密码
您所使用的ClickHouse集群账号及对应的密码信息。
版本
指定绑定集群的版本。
高级参数
非必填参数。您可通过单击新增属性按钮配置属性参数信息。
认证选项
选择后续访问ClickHouse集群时的认证方式。
无认证:无需进行其他操作。
SSL认证:选择该认证方式,需在ClickHouse集群信息页下载CA证书,以供后续验证。
说明当ClickHouse计算引擎开启了SSL认证服务,则不支持用于数据开发或周期性调度任务。
SSL CA证书
当认证选项为SSL认证方式时,需要单击下方的新增认证文件,上传在ClickHouse集群信息页下载的CA证书。
测试连通性。
在连接配置区域,请选择DataWorks用于运行ClickHouse任务的资源组,并单击测试连通性以确保资源组可以正常访问您的ClickHouse集群。详情请参见网络连通方案。
单击新建计算资源并绑定数据开发,完成ClickHouse计算资源配置。
后续操作
新版数据开发:配置完ClickHouse计算资源后,您可在数据开发中通过离线同步节点进行数据同步操作、通过ClickHouse SQL节点进行数据开发操作。
旧版数据开发:配置完ClickHouse计算资源后,您可在数据开发中通过
节点进行数据同步操作。
常见问题
报错信息:not support data sync channel, error code: 0001 。
解决方式:检查您所配置的JDBC URL参数信息中是否存在空格或者多余字符。
报错信息:ru.yandex.clickhouse.except.ClickHouseUnknownException: ClickHouse exception, code: 1002。
解决方式:检查您所配置的IP地址信息是否正确。