若您要使用DataWorks进行ClickHouse集群任务的开发、管理,需先将您的ClickHouse集群创建为DataWorks的ClickHouse数据源。创建完成后,可在DataWorks的各功能模块使用该数据源连接ClickHouse集群,进行相应的数据同步、数据开发、数据分析等操作。
前提条件
已创建ClickHouse集群。详情请参见新建集群。
说明建议创建ClickHouse集群时,地域与创建ClickHouse数据源的DataWorks工作空间地域一致。若地域不一致,则只能创建为跨地域的数据源,此类数据源无法在数据开发中绑定,即无法在DataWorks的数据开发、运维中心页面中执行对应计算任务,仅可进行数据同步任务。
已购买所需的DataWorks资源组并完成资源组配置。ClickHouse仅支持使用独享数据集成资源组、独享调度资源组、独享数据服务资源组。
ClickHouse数据源创建完成后,可用于进行数据同步、计算任务开发与调度、生成API提供数据服务等应用场景中,各应用场景需要分别使用DataWorks的数据集成资源组、调度资源组、数据服务资源组。您需要根据数据源的应用场景提前准备好对应的资源组并完成资源组配置,在创建ClickHouse数据源时确保与对应资源组间网络连通。各资源组的介绍与配置引导请参见DataWorks资源组概述。
已创建或加入目标工作空间。
您需在目标工作空间中,将ClickHouse集群创建为该工作空间的数据源,用于后续在该工作空间进行开发操作。同时,需将购买的DataWorks资源组绑定至该工作空间,确保数据源与资源组网络连通。创建工作空间,详情请参见创建并管理工作空间。
说明同一个ClickHouse集群可在多个DataWorks工作空间中被创建为数据源。
使用限制
当ClickHouse数据源开启了认证服务,则不支持用于数据开发或周期性调度任务。
仅支持通过连接串模式创建ClickHouse数据源。
仅支持使用独享数据集成资源组、独享调度资源组运行ClickHouse任务;基于ClickHouse数据源创建数据服务API,仅支持使用独享数据服务资源组。详情请参见新增和使用独享数据集成资源组、新增和使用独享调度资源组、新增和使用独享数据服务资源组。
操作前准备:权限说明与配置
使用RAM用户(即子账号)或RAM角色创建数据源,需拥有如下任意权限:
仅拥有项目所有者、空间管理员或运维空间角色的RAM用户或RAM角色可创建数据源,授权详情请参见添加空间成员并管理成员角色权限。
仅拥有AliyunDataWorksFullAccess或AdministratorAccess策略权限的RAM用户或RAM角色可创建数据源,授权详情请参见为RAM用户授权、为RAM角色授权。
数据源创建入口
进入数据源页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入管理中心。
进入工作空间管理中心页面后,单击左侧导航栏的
,进入数据源页面。
单击新增数据源,选择ClickHouse,根据界面指引创建数据源。
您也可进入数据集成界面创建,但该页面仅支持创建生产数据源,且创建完成后需在
进行管理。数据集成页面支持创建的数据源类型,具体请以实际界面为准。
创建数据源
配置基础信息。
您可根据界面提示配置数据源的名称等基础信息,核心配置参数如下表所示。
说明标准模式工作空间,需分别创建开发环境数据源和生产环境数据源。工作空间模式,详情请参见必读:简单模式和标准模式的区别。
参数
说明
数据源名称
定义数据源在DataWorks的名称,名称必须唯一。
配置模式
目前支持通过连接串模式创建ClickHouse数据源。
JDBC 连接串预览
连接ClickHouse的JDBC URL信息,配置主机地址/IP、端口、数据库名称后自动生成。您可登录云数据库ClickHouse控制台,获取相关连接地址、数据库及端口信息。
用户名
访问ClickHouse集群的用户名。
密码
访问ClickHouse集群的用户密码。
认证选项
选择后续访问ClickHouse集群时是否需要SSL认证。开启该认证服务后,ClickHouse数据源不支持用于数据开发或周期性调度任务。
测试资源组连通性。
根据使用场景不同,资源组分为数据集成(用于数据同步)、数据开发(用于任务调度)、数据服务(用于数据服务任务)三种类型。资源组的详细介绍,请参见DataWorks资源组概述。
您需根据数据源后续的用途,在连接配置区域对应资源组类型后,测试所需资源组的连通性。若资源组与数据源无法连通,则相应数据源任务将无法正常执行。
后续操作
数据源创建完成后,您可根据需要执行如下操作:
DataWorks的数据开发与运维中心模块,为您提供ClickHouse任务的开发与调度能力,若您需要基于该ClickHouse数据源进行ClickHouse任务开发,或周期性调度ClickHouse相关任务,需先进入数据开发(DataStudio)页面,将创建的数据源绑定至数据开发(DataStudio)。
说明仅当ClickHouse集群和DataWorks工作空间同地域、同账号时,基于该项目创建的数据源才可绑定至数据开发(DataStudio)。
DataWorks的数据集成模块为您提供读取和写入数据至ClickHouse的能力,您可将其他数据源的数据同步至当前ClickHouse数据源,或将当前ClickHouse数据源的数据同步至其他数据源。您可通过离线同步场景执行相关数据同步操作。
增删改查数据源:进入数据源管理页面执行编辑、删除等管理操作。