新建Spark On Yarn云计算资源

支持添加Spark On Yarn类型的数据源,为使用数据资源平台做数据支撑。本文介绍如何新建Spark On Yarn云计算资源。

前提条件

已创建工作组,具体操作,请参见新建工作组

操作步骤

  1. 登录数据资源平台控制台

  2. 在页面右上角,单击33图标,选择系统设置

  3. 在页面左侧导航栏,单击工作组管理

  4. 工作组管理页面,选择目标工作组,单击操作列中云计算资源

  5. 云计算资源页面,单击新建云计算资源

  6. 新建云计算资源对话框中,配置各项参数。image

    参数

    说明

    云计算资源标识

    自定义Spark On Yarn计算资源的标识。

    资源描述

    可对云计算资源的使用场景等特性进行自定义描述。

    适用环境

    当工作组为专业模式时,可设置云计算资源的使用环境,分为开发和生产环境,对生产环境的数据读写权限、任务上线发布进行严格权限控制。

    云计算资源创建后,云计算资源标识自动添加后缀:_dev(开发)、_prod(生产)。

    云计算资源类型

    云计算资源类型下拉列表,选择Spark On Yarn

    HDFS是否高可用

    开启或关闭HDFS是否高可用。

    NameServices

    HDFS开启高可用时,请输入hdfs-site.xml里面的dfs.nameservices

    FailoverProvider

    HDFS开启高可用时,请输入hdfs-site.xml里面的dfs.client.failover.proxy.provider

    HDFS高可用节点

    HDFS开启高可用时,请输入hdfs-site.xml里面的dfs.namenode.rpc-address,格式为:nn1,nn2

    HDFS高可用节点地址

    HDFS开启高可用时,请输入hdfs-site.xml里面的dfs.namenode.rpc-address,格式为address1,address2

    DefaultFS

    请输入core-site.xml里面的fs.defaultFS

    Yarn是否高可用

    开启或关闭Yarn是否高可用。

    Yarn高可用节点

    Yarn开启高可用时,请输入yarn-site.xml里面的yarn.resourcemanager.ha.rm-ids

    Yarn资源调度地址

    Yarn开启高可用时,请输入Yarn资源调度地址。

    hadoop执行用户

    请输入hadoop执行用户。

    应用场景标签

    选择云计算资源的应用场景标签,可多选。单击添加标签,可自定义应用场景标签。

    是否校验连通性

    可选项,用于新建资源的连通性测试,默认选

  7. 配置完成后,单击确定

    云计算资源列表页面查看新建的云计算资源。

阿里云首页 数据资源平台 相关技术圈