绑定ClickHouse计算资源

若您要使用DataWorks进行ClickHouse集群任务的开发、管理,需先将您的ClickHouse集群创建为DataWorksClickHouse计算资源。创建完成后,可在DataWorks的各功能模块使用该计算资源连接ClickHouse集群,进行相应的数据同步、数据开发等操作。

前提条件

  • 已创建ClickHouse集群

    说明
    • 建议创建ClickHouse集群时,地域与绑定ClickHouse计算资源的DataWorks工作空间地域一致。

    • 如果地域不一致就只能创建为跨地域的数据源,数据源无法在DataWorks的数据开发、运维中心页面中执行对应计算任务,仅可进行数据同步任务。

  • DataWorks创建工作空间,操作者使用的RAM账号已加入工作空间并设置为工作空间管理员角色。

  • 已为工作空间绑定资源组,且确保网络连通。

    • 使用Serverless资源组时,只需确保ClickHouse计算资源与Serverless资源组连通性正常即可。

    • 使用旧版独享型资源组时,需确保ClickHouse计算资源与对应场景下的独享集成资源组独享调度资源组以及独享服务资源组连通性正常。

    • 系统默认禁止所有IP地址访问云数据库ClickHouse集群。在绑定计算资源前,需要将资源组绑定的交换机网段旧版资源组本身EIPServerless资源组绑定VPC配置的EIP添加至ClickHouse集群白名单中。否则无法成功绑定ClickHouse计算资源。

      说明

      资源组绑定的交换机网段旧版资源组本身EIPServerless资源组绑定VPC配置的EIP获取方式可参见DataWorks添加白名单

使用限制

  • 功能限制:ClickHouse计算引擎开启了SSL认证服务,则不支持用于数据开发或周期性调度任务。

  • 权限限制

    操作人

    具备权限说明

    阿里云主账号

    无需额外授权。

    阿里云RAM账号/RAM角色

    仅拥有运维空间管理员角色的空间成员,或拥有AliyunDataWorksFullAccess权限的空间成员可创建计算资源。授权详情请参见授权用户空间管理员权限

新版数据开发:绑定ClickHouse计算资源

参加数据开发(Data Studio)(新版)公测的工作空间绑定ClickHouse计算资源。

进入计算资源列表页

  1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的更多 > 管理中心,在下拉框中选择对应工作空间后单击进入管理中心

  2. 在左侧导航栏单击计算资源,进入计算资源列表页。

绑定ClickHouse计算资源

计算资源列表页,配置绑定ClickHouse计算资源。

  1. 选择绑定计算资源类型。

    1. 单击绑定计算资源,进入绑定计算资源页面。

    2. 绑定计算资源页面选择计算资源类型为ClickHouse,进入绑定ClickHouse计算资源配置页面。

  2. 配置ClickHouse计算资源。

    绑定ClickHouse计算资源配置页面,根据下表内容进行相应配置。

    参数

    说明

    配置模式

    仅支持连接串模式

    JDBC URL

    JDBC URL格式jdbc:clickhouse://<ip>:<port>/<dbname>

    ip:ClickHouse集群信息页的VPC地址或者外网地址。例如cc-bp1xxx..clickhouse.ads.aliyuncs.com

    port认证选项无认证时,端口选择ClickHouse集群信息页的VPC HTTP端口号8123)。认证选项SSL认证时,端口选择ClickHouse集群信息页的VPC HTTPS端口号8443)。

    dbname:您所使用的ClickHouse数据库,默认为default。您也可根据需要重新创建数据库

    用户名和密码

    您所使用的ClickHouse集群账号及对应的密码信息。

    认证选项

    选择后续访问ClickHouse集群时的认证方式。

    • 无认证:无需进行其他操作。

    • SSL认证:选择该认证方式,需在ClickHouse集群信息下载CA证书,以供后续验证。

      说明

      ClickHouse计算引擎开启了SSL认证服务,则不支持用于数据开发或周期性调度任务。

    SSL CA证书

    当认证选项为SSL认证方式时,需要单击下方的新增认证文件,上传在ClickHouse集群信息页下载的CA证书。

    计算资源实例名

    自定义计算资源实例名。

  3. 测试连通性。

    在连接配置区域,请选择DataWorks用于运行ClickHouse节点任务的资源组,并单击测试连通性以确保资源组可以正常访问您的ClickHouse集群。详情请参见网络连通方案

  4. 单击确认,完成ClickHouse计算资源配置。

旧版数据开发:绑定ClickHouse计算资源

参加数据开发(Data Studio)(新版)公测的工作空间绑定ClickHouse计算资源。

进入计算资源列表页

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与运维 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 在左侧导航栏单击image图标,进入计算资源列表页。

绑定ClickHouse计算资源

在计算资源列表页,配置绑定ClickHouse计算资源。

  1. 选择绑定计算资源类型。

    1. 单击新建计算资源,进入新建计算资源页面。

    2. 新建计算资源页面选择计算资源类型为ClickHouse,进入新建计算资源配置页面。

  2. 配置ClickHouse计算资源。

    新建计算资源配置页面,根据下表内容进行相应配置。

    参数

    说明

    数据源名称

    自定义计算资源名称。

    配置模式

    仅支持连接串模式

    主机地址/IP

    ClickHouse集群信息页的VPC地址或者外网地址。例如cc-bp1xxx..clickhouse.ads.aliyuncs.com

    端口

    认证选项无认证时,端口选择ClickHouse集群信息页的VPC HTTP端口号8123)。

    认证选项SSL认证时,端口选择ClickHouse集群信息页的VPC HTTPS端口号8443)。

    数据库名称

    您所使用的ClickHouse数据库,默认为default。您也可根据需要重新创建数据库

    用户名和密码

    您所使用的ClickHouse集群账号及对应的密码信息。

    版本

    指定绑定集群的版本。

    高级参数

    非必填参数。您可通过单击新增属性按钮配置属性参数信息。

    认证选项

    选择后续访问ClickHouse集群时的认证方式。

    • 无认证:无需进行其他操作。

    • SSL认证:选择该认证方式,需在ClickHouse集群信息下载CA证书,以供后续验证。

      说明

      ClickHouse计算引擎开启了SSL认证服务,则不支持用于数据开发或周期性调度任务。

    SSL CA证书

    当认证选项为SSL认证方式时,需要单击下方的新增认证文件,上传在ClickHouse集群信息页下载的CA证书。

  3. 测试连通性。

    在连接配置区域,请选择DataWorks用于运行ClickHouse任务的资源组,并单击测试连通性以确保资源组可以正常访问您的ClickHouse集群。详情请参见网络连通方案

  4. 单击新建计算资源并绑定数据开发,完成ClickHouse计算资源配置。

后续操作

  • 新版数据开发:配置完ClickHouse计算资源后,您可在数据开发中通过离线同步节点进行数据同步操作、通过ClickHouse SQL节点进行数据开发操作。

  • 旧版数据开发:配置完ClickHouse计算资源后,您可在数据开发中通过数据集成 > 离线同步节点进行数据同步操作。

常见问题

  • 报错信息:not support data sync channel, error code: 0001 。

    解决方式:检查您所配置的JDBC URL参数信息中是否存在空格或者多余字符。

  • 报错信息:ru.yandex.clickhouse.except.ClickHouseUnknownException: ClickHouse exception, code: 1002。

    解决方式:检查您所配置的IP地址信息是否正确。