创建Lindorm(计算引擎)计算源

Dataphin支持使用Lindorm(计算引擎)作为Dataphin的离线计算引擎,为Dataphin项目提供处理离线计算任务的能力。本文为您介绍如何创建Lindorm(计算引擎)计算源。

背景信息

云原生多模数据库Lindorm(计算引擎)面向海量泛时序、半结构化和非结构化数据提供低成本存储、在线查询和检索、离线分析、AI推理等一站式数据服务,支持MySQL协议,兼容HBase、Elasticsearch、Hive、Spark、HDFS等开源标准。提供宽表、时序、对象、流、向量等数据模型。更多详情,请参见云原生多模数据库Lindorm

前提条件

Lindorm(计算引擎)需要开通计算引擎文件引擎。更多信息,请参见创建实例

操作步骤

  1. Dataphin首页的顶部菜单栏中,选择规划 > 计算源

  2. 计算源页面,单击+新增计算源,选择Lindorm(计算引擎)计算源

  3. 新建计算源页面,配置以下参数。

    • 计算源基本信息

      参数

      描述

      计算源类型

      选择计算源类型为Lindorm(计算引擎)

      计算源名称

      命名规则如下:

      • 只能包含中文、数字、字母、下划线(_)和短划线(-)。

      • 长度不能超过64个字符。

      计算源描述

      对计算源的简单描述,128个字符以内。

    • Lindorm计算引擎配置

      参数

      描述

      core-site.xml

      上传Lindorm(计算引擎)的core-site.xmlhdfs-site.xmlhive-site.xml配置文件。配置文件的详细信息,请参见连接并使用实例

      hdfs-site.xml

      hive-site.xml

      JDBC URL

      配置Lindorm(计算引擎)的JDBC URL地址。获取地址,请参见查看连接地址

      database

      填写Lindorm(计算引擎)计算引擎的数据库名称。

    • Lindorm资源组设置

      参数

      描述

      任务连接方式

      生产任务使用Connection级别独享一个Lindorm Job,其他任务使用User共享级别,即历史用户的生产任务将升级为Connection级别的链接。此配置项不支持编辑。

      生产任务默认资源组(非必填)

      填写Lindorm计算引擎的资源组,如不填写默认为default资源组。生产环境手动任务运行及周期性任务运行将使用该Lindorm资源组。

      其他任务默认资源组(非必填)

      填写Lindorm计算引擎的资源组,如不填写默认为default资源组。其他任务如即席查询、数据预览、JDBCDriver访问时使用该Lindorm资源组。

      其他任务执行用户名(非必填)

      用于将其他任务提交到Lindorm中进行执行的用户。当其他任务默认资源组配置项中填入相应资源组时,此项为必填。

      优先级任务资源组

      支持选择使用生产任务默认资源组自定义,默认选择使用生产任务默认资源组。

      当选择自定义时,还需填写最高优先级、高优先级、中优先级、低优先级和最低优先级的资源组,不超过1024个字符。

  4. 单击测试连接

    说明

    测试连接时长最长为5分钟,若测试连接未通过,则不可提交

  5. 连接测试通过后,单击提交

后续步骤

完成创建Lindorm(计算引擎)计算源后,即可为项目绑定Lindorm(计算引擎)计算源。具体操作,请参见创建通用项目