Dataphin支持使用StarRocks作为Dataphin的离线计算引擎,为Dataphin项目提供处理离线计算任务的能力。本文为您介绍如何创建StarRocks计算源。
背景信息
StarRocks是一款高性能分析数据库,支持实时、多维和高度并发的数据分析。StarRocks具有高度可扩展性、可用性且易于维护。它在OLAP场景提供多种支持,例如实时分析、即席查询、数据湖分析等。更多详情可参考StarRocks官网。
权限说明
除标签业务员和业务成员外的所有系统角色以及拥有集群-查看权限的自定义全局角色,可查看每个集群的详细信息。
超级管理员、系统管理员以及拥有集群-管理权限的自定义全局角色,可创建和管理StarRocks集群。同时,这些用户可设置在创建StarRocks计算源时可引用该集群的用户,以及为该集群指定集群管理员。
支持集群管理员对自己负责的集群进行管理。
超级管理员、系统管理员以及拥有计算源管理-新建自定义全局角色的用户,可创建StarRocks计算源,同时支持选择引用自己有使用权限的StarRocks集群。
操作步骤
在Dataphin首页的顶部菜单栏中,选择规划 > 计算源。
在计算源页面,单击新增计算源,选择StarRocks计算源。
在新建StarRocks计算源页面中,配置以下参数。
引用指定集群配置
参数
描述
计算源基本信息
计算类型
选择为StarRocks。
计算源名称
计算源名称支持中文、英文、数字、下划线(_)和短划线(-)。
配置方式
选择引用指定集群后,在下拉列表中可选择当前用户有引用权限的集群,单击查看跳转至查看StarRocks页面,可查看集群详细信息。若无所需集群可单击配置集群,跳转至新建StarRocks集群页面中,新建集群。
说明集群信息变更会同步更新当前计算源。
计算源描述
填写计算源的简单描述,不超过128个字符。
配置
JDBC URL
默认为所选StarRocks集群中配置的JDBC URL,不支持修改。
Catalog
可选择Default Catalog或External Catalog。
Default Catalog:用于管理StarRocks中的内部数据。
External Catalog:支持从该集群下所有的外部Catalog中选择,或手动输入Catalog。
DataBase
可选择所选Catalog下的所有DataBase,同时支持输入DataBase。
认证用户
可选择与集群一致或自定义,默认为与集群一致。当选择自定义时,还需输入鉴权用户名和密码,为保证任务正常执行,请确保用户有所需数据权限。
任务资源组
StarRocks可通过资源组进行资源的隔离,并通过分类器将任务匹配到资源组。Datpahin支持为不同优先级的任务指定资源组名称,在任务运行时自动设置任务的资源组从而达到不同任务的资源分配和隔离。
采用默认执行用户:使用所选集群中配置的默认执行用户。
自定义:包含最高优先级、高优先级、中优先级、低优先级和最低优先级五种优先级,每个优先级均需输入资源组名称。
单独配置
参数
描述
计算源基本信息
计算类型
选择为StarRocks。
计算源名称
计算源名称支持中文、英文、数字、下划线(_)和短划线(-)。
配置方式
选择单独配置。
计算源描述
填写计算源的简单描述,不超过128个字符。
配置
JDBC URL
填写JDBC URL,例如
jdbc:mysql://{host}:{port}/database?key1=value1&key2=value2
。Catalog
仅支持选择Defalut catalog。如需创建来自于External catalog的计算源,配置方式请选择引用指定集群。
FE节点URL
FE节点的连接地址,多个地址间使用英文逗号(,)间隔,例如
fe_host1:http_port01,fe_host02:http_port02
。用户名
填写StarRocks计算引擎数据库的登录用户名和密码,为保证任务正常执行,请确保有所需数据权限。
密码
任务资源组
StarRocks可通过资源组进行资源的隔离,并通过分类器将任务匹配到资源组。Datpahin支持为不同优先级的任务指定资源组名称,在任务运行时自动设置任务的资源组从而达到不同任务的资源分配和隔离。
采用默认执行用户:使用上述配置中的默认执行用户。
自定义:包含最高优先级、高优先级、中优先级、低优先级和最低优先级五种优先级。每个优先级均需输入资源组。
单击测试连接,测试连接的计算源。
测试成功后,单击提交。
完成创建StarRocks计算源后,即可为项目绑定StarRocks计算源,详情请参见管理项目空间的权限和计算源。
后续步骤
完成创建StarRocks计算源后,即可为项目绑定StarRocks计算源。具体操作,请参见创建通用项目。