Dataphin支持使用Lindorm(计算引擎)作为Dataphin的离线计算引擎,为Dataphin项目提供处理离线计算任务的能力。本文为您介绍如何创建Lindorm(计算引擎)计算源。
背景信息
云原生多模数据库Lindorm(计算引擎)面向海量泛时序、半结构化和非结构化数据提供低成本存储、在线查询和检索、离线分析、AI推理等一站式数据服务,支持MySQL协议,兼容HBase、Elasticsearch、Hive、Spark、HDFS等开源标准。提供宽表、时序、对象、流、向量等数据模型。更多详情,请参见云原生多模数据库Lindorm。
前提条件
Lindorm(计算引擎)需要开通计算引擎与文件引擎。更多信息,请参见创建实例。
操作步骤
在Dataphin首页的顶部菜单栏中,选择规划 > 计算源。
在计算源页面,单击+新增计算源,选择Lindorm(计算引擎)计算源。
在新建计算源页面,配置以下参数。
计算源基本信息
参数
描述
计算源类型
选择计算源类型为Lindorm(计算引擎)。
计算源名称
命名规则如下:
只能包含中文、数字、字母、下划线(_)和短划线(-)。
长度不能超过64个字符。
计算源描述
对计算源的简单描述,128个字符以内。
Lindorm计算引擎配置
参数
描述
core-site.xml
上传Lindorm(计算引擎)的core-site.xml、hdfs-site.xml和hive-site.xml配置文件。配置文件的详细信息,请参见连接并使用实例。
hdfs-site.xml
hive-site.xml
JDBC URL
配置Lindorm(计算引擎)的JDBC URL地址。获取地址,请参见查看连接地址。
database
填写Lindorm(计算引擎)计算引擎的数据库名称。
Lindorm资源组设置
参数
描述
任务连接方式
生产任务使用Connection级别独享一个Lindorm Job,其他任务使用User共享级别,即历史用户的生产任务将升级为Connection级别的链接。此配置项不支持编辑。
生产任务默认资源组(非必填)
填写Lindorm计算引擎的资源组,如不填写默认为default资源组。生产环境手动任务运行及周期性任务运行将使用该Lindorm资源组。
其他任务默认资源组(非必填)
填写Lindorm计算引擎的资源组,如不填写默认为default资源组。其他任务如即席查询、数据预览、JDBCDriver访问时使用该Lindorm资源组。
其他任务执行用户名(非必填)
用于将其他任务提交到Lindorm中进行执行的用户。当其他任务默认资源组配置项中填入相应资源组时,此项为必填。
优先级任务资源组
支持选择使用生产任务默认资源组或自定义,默认选择使用生产任务默认资源组。
当选择自定义时,还需填写最高优先级、高优先级、中优先级、低优先级和最低优先级的资源组,不超过1024个字符。
单击测试连接。
说明测试连接时长最长为5分钟,若测试连接未通过,则不可提交。
连接测试通过后,单击提交。
后续步骤
完成创建Lindorm(计算引擎)计算源后,即可为项目绑定Lindorm(计算引擎)计算源。具体操作,请参见创建通用项目。