创建ClickHouse数据源

前提条件

若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见数据源白名单配置。

权限说明

仅支持拥有新建数据源权限点的自定义全局角色和超级管理员、数据源管理员、板块架构师、项目管理员系统角色创建数据源。

操作步骤

1. 在Dataphin首页，在顶部菜单栏选择管理中心 > 数据源管理。

2. 在数据源页面，单击+新建数据源。

3. 在新建数据源对话框的关系型数据库区域，选择ClickHouse。

   如果您最近使用过ClickHouse，也可以在最近使用区域选择ClickHouse。同时，您也可以在搜索框中，输入ClickHouse的关键词，快速搜索。

4. 在新建ClickHouse数据源对话框中，配置连接数据源参数。

   1. 配置数据源的基本信息。

      参数	说明

      参数	说明
      数据源名称	填写数据源名称。命名规则如下： 只能包含中文、英文字母大小写、数字、下划线（_）或短划线（-）。 长度不能超过64个字符。
      数据源编码	配置数据源编码后，您可以在Flink_SQL任务或使用Dataphin JDBC客户端中，通过数据源编码.表名称或数据源编码.schema.表名称的格式直接访问Dataphin数据源表，实现快捷消费；如果需要根据任务执行环境自动切换数据源，请通过${数据源编码}.table或${数据源编码}.schema.table的变量格式访问。更多信息，请参见Flink_SQL任务开发方式。 重要 数据源编码配置成功后不支持修改。 数据源编码配置成功后，才能在资产清单的对象详情页面进行数据预览。 Flink SQL中，目前仅支持MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB数据源。
      数据源描述	对数据源的简单描述。不得超过128个字符。
      数据源配置	选择需要配置的数据源： 如果业务数据源区分生产数据源和开发数据源，则选择生产+开发数据源。 如果业务数据源不区分生产数据源和开发数据源，则选择生产数据源。
      标签	您可根据标签给数据源进行分类打标，如何创建标签，请参见管理数据源标签。

   2. 配置数据源与Dataphin的连接参数。

      若您的数据源配置选择生产+开发数据源，则需配置生产+开发数据源的连接信息。如果您的数据源配置为生产数据源，仅需配置生产数据源的连接信息。

      说明

      通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。

      配置方式可选择JDBC URL或主机两种方式，默认选择为JDBC URL。

      JDBC URL配置方式

      主机配置方式

      参数	描述
      JDBC URL	ClickHouse的连接地址，JDBC URL格式为jdbc:clickhouse://host:port/dbname。 若您使用阿里云数据库ClickHouse，您可以在ClickHouse控制台的集群信息页面，查看连接地址和端口信息；连接集群后，在SQL Console中执行show Databases命令，可查看数据库名称。
      用户名、密码	访问ClickHouse实例的用户名和密码。
      类型	支持可直连数据库、阿里云数据库和ECS（VPC）自建数据库，您可根据数据库类型及业务情况进行选择与配置。 可直连数据库：通过默认调度集群或注册调度集群直连数据库，适用于如下场景：①公网数据库，②与注册调度集群在同一网络环境下的数据库。如需添加访问白名单，可添加Dataphin默认调度集群的公网出网IP：47.102.192.174。 阿里云数据库：在阿里云购买的数据库。支持VPC代理或直连进行访问。 VPC代理：当前使用的数据库为VPC网络环境下阿里云数据库，连接请指定授权IP白名单：100.104.0.0/16。 区域：数据库所在Region。仅支持Dataphin实例相同区域的数据库。如您的Dataphin实例位于华东2（上海），仅支持选择华东2（上海）区域。 VPC ID：填写数据库所在VPC网络的VPC ID。您可登录专有网络控制台进行查看。如下图所示： VPC实例ID：填写数据库的专有网络实例ID，即VpcCloudInstanceId。您可以通过调用DescribeDrdsInstance API进行获取。更多信息，请参见DescribeDrdsInstance。 直连：通过默认调度集群或注册调度集群直连数据库，如需添加访问白名单，可添加Dataphin默认调度集群的公网出网IP：47.102.192.174。 ECS(VPC)自建数据库：当前使用的数据库为VPC网络环境下阿里云数据库，连接请指定授权IP白名单：100.104.0.0/16。 区域：数据库所在Region。仅支持Dataphin实例相同区域的数据库。如您的Dataphin实例位于华东2（上海），仅支持选择华东2（上海）区域。 VPC ID：填写ECS所在VPC网络的VPC ID。您可登录专有网络控制台进行查看。如下图所示： ECS ID：填写部署数据库的ECS服务器的ECS ID。您可登录ECS控制台进行查看。如下图所示：

      • 主机配置方式

        参数	描述
        服务器地址	输入服务器的IP地址和端口号。 支持单击+新增来添加多组IP地址和端口号，单击图标删除多余的IP地址和端口号，但需至少保留一组。
        dbname	输入数据库名称。

      • 参数配置

        参数	描述
        参数	参数名称：仅支持选择已有参数名称。 参数值：当已选择参数名称时，参数值为必填。仅支持英文字母大小写、数字、半角句号（.）、下划线（_）和短划线（-），长度不超过256个字符。 说明 支持通过单击+添加参数新增多个参数，单击图标删除多余参数，至多可添加30个参数。
        用户名、密码	访问ClickHouse实例的用户名和密码。

      说明

      当配置方式选择为主机并完成新建数据源后，若需要切换为JDBC URL配置方式，系统会将服务器的IP地址和端口号拼接为JDBC URL进行填充。

   3. 配置数据源的高级设置。

      参数	说明

      参数	说明
      connection_timeout	数据库的connection_timeout时长（单位：毫秒），默认900000毫秒（15分钟）。 说明 若您在JDBC URL中带有connection_timeout配置，则connection_timeout为JDBC URL中配置的超时时间。 Dataphin V3.11版本之前的创建数据源，connection_timeout默认为-1，表示无超时限制。
      socket_timeout	数据库的socket_timeout时长（单位：毫秒），默认1800000毫秒（30分钟）。 说明 若您在JDBC URL中带有socket_timeout配置，则socket_timeout为JDBC URL中配置的超时时间。 Dataphin V3.11版本之前的创建数据源，socket_timeout默认为-1，表示无超时限制。
      连接重试次数	数据库连接超时，将自动重试连接直到完成设定的重试次数。若达最大重试次数仍未连接成功，则连接失败。 说明 默认重试次数为1次，支持配置0～10之间参数。 连接重试次数将默认应用于离线集成任务与全域质量（需开通资产质量功能模块），离线集成任务中支持单独配置任务级别的重试次数。

   说明

   重复参数的取值规则：

   • 若某一参数同时存在于JDBC URL、高级设置的参数和主机配置方式的参数配置中时，则以JDBC URL中该参数的取值为准。

   • 若某一参数同时存在于JDBC URL和高级设置的参数中时，则以JDBC URL中该参数的取值为准。

   • 若某一参数同时存在于高级设置的参数和主机配置方式的参数配置中时，则以高级设置的参数配置中该参数的取值为准。

5. 单击测试连接，测试数据源是否可以和Dataphin正常的连通。

   重要

   • 如果连接测试失败，您可以根据网络连通常见问题进行排查。详细内容，请参见网络连通解决方案。

   • 当测试连接报错为VPC_GRANT_ACCESS_API_ERROR时，可参照VPC_GRANT_ACCESS_API_ERROR错误的解决方案进行处理。

6. 测试成功后，单击确定，完成ClickHouse数据源的创建。