FusionInsight Flink计算源用于承载Dataphin项目下基于FusionInsight Flink的计算资源,只有绑定了FusionInsight Flink计算源的项目,才支持基于FusionInsight Flink引擎研发计算任务。本文将为您介绍如何新建FusionInsight Flink计算源。
操作步骤
在Dataphin首页,单击顶部菜单栏的规划。进入数仓规划页面。
按照下图操作指引,进入新建计算源页面。
在新建计算源页面,配置参数。
参数
描述
计算引擎源基本信息
计算源类型
选择为FusionInsight Flink。
计算源名称
填写计算源的名称。命名规则如下:
包含中文、数字、字母及下划线(_)或短划线(-)。
不能超过64个字符。
计算源描述
填写计算源的描述,128个字符以内。
集群基本信息
Endpoint
请输入FusionInsight Flink集群的Endpoint地址。您可以根据集群是否开启高可用(HA)进行获取:
关闭HA高可用(即
flink_ha_enabled
参数的值为false
)登录集群Manager界面,选择集群 > 服务 > Flink。
在概览页签下的基本信息区域单击Flink WebUI后的链接,进入Flink WebUI界面。
地址栏URI中
{ip}
即是Endpoint。REST API端口默认为28943。
开启HA高可用(即
flink_ha_enabled
参数的值为true
)登录集群Manager界面,选择集群 > 服务 > Flink > 配置 > 全部配置 > flink.ha.floatip,参数值即是Endpoint。
说明REST API端口默认为28943。
TenantID
请输入MRS应用ID(项目编号)。
认证方式
支持Kerberos认证和无认证方式。选择Kerberos认证方式,需上传Krb5文件。
Flink计算引擎配置信息
Flink任务资源队列
Flink任务提交到yarn的队列名称。命名规范及限制说明如下:
长度限制:队列名称长度不能超过255个字符。
字符限制:队列名称只能包含英文、数字、点(.)和下划线(_),不能包含其他特殊字符。
大小写敏感:队列名称大小写敏感,即名称中的大小写字母为不同的字符。
唯一性:队列名称必须是计算源唯一,不能与其他队列名称重复。
若需配置多个任务队列,您可单击+添加进行新增。
重要添加的资源队列个数最多支持10个。
若需删除多余的资源队列,您可单击进行删除。删除后,可能会影响该资源队列上已有作业的正常运行。
Flink任务资源队列
支持Kerberos认证和无认证方式。选择Kerberos认证方式,要填写Principal和上传Keytab文件。
单击测试连接,测试Dataphin与集群的连通性。
测试成功后,单击提交。
后续步骤
完成创建FusionInsight Flink计算源后,即可为项目绑定FusionInsight Flink计算源,请参见创建通用项目。