新建Spark On Yarn云计算资源
支持添加Spark On Yarn类型的数据源,为使用数据资源平台做数据支撑。本文介绍如何新建Spark On Yarn云计算资源。
前提条件
已创建工作组,具体操作,请参见新建工作组。
操作步骤
登录数据资源平台控制台。
在页面右上角,单击
图标,选择 。
在页面左侧导航栏,单击工作组管理。
在工作组管理页面,选择目标工作组,单击操作列中
。在云计算资源页面,单击新建云计算资源。
在新建云计算资源对话框中,配置各项参数。
参数
说明
云计算资源标识
自定义Spark On Yarn计算资源的标识。
资源描述
可对云计算资源的使用场景等特性进行自定义描述。
应用场景标签
选择云计算资源的应用场景标签,可多选。单击添加标签,可自定义应用场景标签。
云计算资源类型
从云计算资源类型下拉列表,选择Spark On Yarn。
HDFS是否高可用
开启或关闭HDFS是否高可用。
NameServices
HDFS开启高可用时,请输入
hdfs-site.xml
里面的dfs.nameservices
。FailoverProvider
HDFS开启高可用时,请输入
hdfs-site.xml
里面的dfs.client.failover.proxy.provider
。HDFS高可用节点
HDFS开启高可用时,请输入
hdfs-site.xml
里面的dfs.namenode.rpc-address
,格式为:nn1,nn2
。HDFS高可用节点地址
HDFS开启高可用时,请输入
hdfs-site.xml
里面的dfs.namenode.rpc-address
,格式为address1,address2
。DefaultFS
请输入
core-site.xml
里面的fs.defaultFS
。Yarn是否高可用
开启或关闭Yarn是否高可用。
Yarn高可用节点
Yarn开启高可用时,请输入
yarn-site.xml
里面的yarn.resourcemanager.ha.rm-ids
。Yarn资源调度地址
Yarn开启高可用时,请输入Yarn资源调度地址。
hadoop执行用户
请输入
hadoop
执行用户。配置完成后,单击确定。
在云计算资源列表页面查看新建的云计算资源。