文档

新建FusionInsight Flink计算源

更新时间:

FusionInsight Flink计算源用于承载Dataphin项目下基于FusionInsight Flink的计算资源,只有绑定了FusionInsight Flink计算源的项目,才支持基于FusionInsight Flink引擎研发计算任务。本文将为您介绍如何新建FusionInsight Flink计算源。

操作步骤

  1. 在Dataphin首页,单击顶部菜单栏的规划。进入数仓规划页面。

  2. 按照下图操作指引,进入新建计算源页面。

    image.png

  3. 新建计算源页面,配置参数。

    参数

    描述

    计算引擎源基本信息

    计算源类型

    选择为FusionInsight Flink

    计算源名称

    填写计算源的名称。命名规则如下:

    • 包含中文、数字、字母及下划线(_)或短划线(-)。

    • 不能超过64个字符。

    计算源描述

    填写计算源的描述,128个字符以内。

    集群基本信息

    Endpoint

    请输入FusionInsight Flink集群的Endpoint地址。您可以根据集群是否开启高可用(HA)进行获取:

    • 关闭HA高可用(flink_ha_enabled参数的值为false

      1. 登录集群Manager界面,选择集群 > 服务 > Flink

      2. 概览页签下的基本信息区域单击Flink WebUI后的链接,进入Flink WebUI界面。

      3. 地址栏URI中{ip}即是Endpoint。REST API端口默认为28943

    • 开启HA高可用(即flink_ha_enabled参数的值为true

      登录集群Manager界面,选择集群 > 服务 > Flink > 配置 > 全部配置 > 
flink.ha.floatip,参数值即是Endpoint。

      说明

      REST API端口默认为28943。

    TenantID

    请输入MRS应用ID(项目编号)。

    认证方式

    支持Kerberos认证和无认证方式。选择Kerberos认证方式,需上传Krb5文件。

    Flink计算引擎配置信息

    Flink任务资源队列

    Flink任务提交到yarn的队列名称。命名规范及限制说明如下:

    • 长度限制:队列名称长度不能超过255个字符。

    • 字符限制:队列名称只能包含英文、数字、点(.)和下划线(_),不能包含其他特殊字符。

    • 大小写敏感:队列名称大小写敏感,即名称中的大小写字母为不同的字符。

    • 唯一性:队列名称必须是计算源唯一,不能与其他队列名称重复。

    若需配置多个任务队列,您可单击+添加进行新增。

    重要
    • 添加的资源队列个数最多支持10个

    • 若需删除多余的资源队列,您可单击image进行删除。删除后,可能会影响该资源队列上已有作业的正常运行。

    Flink任务资源队列

    支持Kerberos认证和无认证方式。选择Kerberos认证方式,要填写Principal和上传Keytab文件。

  4. 单击测试连接,测试Dataphin与集群的连通性。

  5. 测试成功后,单击提交

后续步骤

完成创建FusionInsight Flink计算源后,即可为项目绑定FusionInsight Flink计算源,请参见创建通用项目