资源编排服务ROS（Resource Orchestration Service）支持通过创建资源栈的方式安装Spark集群版。

背景信息

Apache Spark是专为大规模数据处理设计的通用计算引擎。Spark将Scala用作其应用程序框架，启用了内存分布数据集，除了能够提供交互式查询外，还可以迭代优化工作负载。

模板示例Spark集群版-已有专有网络VPC在已有专有网络、交换机和安全组等资源的基础上，创建多台ECS实例。其中一台ECS实例绑定弹性公网IP（EIP）作为管理节点，其他ECS实例使用弹性伸缩进行管理。模板示例中使用的软件版本如下：

  • Java JDK（Java Development Kit）：1.8.0
  • Hadoop（分布式系统基础架构）：2.7.7
  • Scala（编程语言）：2.12.1
  • Spark（计算引擎）：2.1.0

使用模板创建资源栈成功后即可获取SparkWebSiteURL，登录Spark管理控制台。如需通过外网访问SparkWebSiteURL，请在安全组添加入方向8080访问规则。具体操作，请参见添加安全组规则。

步骤一：创建资源栈

  1. 登录资源编排控制台。
  2. 在左侧导航栏，单击解决方案中心。
  3. 查找模板Spark 集群版（已有VPC）。
  4. 单击创建资源栈。
  5. 在配置模板参数页面，输入资源栈名称，并设置以下参数。
    参数说明示例
    现有VPC的实例IDVPC实例ID。

    关于如何创建和查询VPC实例，请参见创建和管理专有网络。

    		vpc-bp1m6fww66xbntjyc****
    交换机可用区专有网络下的交换机可用区ID。华东1可用区K
    网络交换机ID专有网络下的交换机ID。

    关于如何创建和查询交换机，请参见创建和管理交换机。

    		vsw-bp183p93qs667muql****
    业务安全组IDECS安全组ID。

    关于如何查询安全组ID，请参见查询安全组。

    		sg-bp15ed6xe1yxeycg7o****
    实例规格ECS实例规格。

    请选用有效的实例规格。更多信息，请参见实例规格族。

    		ecs.c5.large
    实例密码ECS实例密码。Test_12****
    公网IP带宽值公网IP带宽。

    取值范围：1~100。

    单位：Mbps。

    		5
    磁盘类型取值：
    • cloud_efficiency：高效云盘。
    • cloud_ssd：SSD云盘。

    更多信息，请参见云盘概述。

    		cloud_efficiency
    系统盘空间实例系统盘大小。

    取值范围：20~500

    单位：GB

    		40
    实例数量Spark集群数量。

    取值范围：3~10

    		3
  6. 单击创建。
  7. 在资源栈信息页签查看资源栈状态。资源栈创建成功后，单击输出，获取SparkWebSiteURL。
  8. 访问SparkWebSiteURL，登录Spark管理控制台。

步骤二：查看资源

  1. 登录资源编排控制台。
  2. 在左侧导航栏，单击资源栈。
  3. 在资源栈列表页面，单击目标资源栈名称。
  4. 单击资源页签，查看资源信息。
    本示例中，资源信息如下表所示。
    资源数量资源说明规格说明
    ALIYUN::ECS::Instance1创建一台云服务器，用于安装Spark Master服务。
    • 总数量：1台。
    • 实例规格：ecs.c5.large。
    • 磁盘类别：高效云盘。
    • 系统盘空间：40GB。
    • 分配公网IP：是。
    ALIYUN::ESS::ScalingGroup2创建两个弹性伸缩组，用于安装Spark Slave服务。

    弹性伸缩组会根据您设置的伸缩规则自动为您调整弹性计算资源大小，以满足您业务需求的变化。

    • 总数量：2台。
    • 实例规格：ecs.c5.large。
    • 磁盘类别：高效云盘。
    • 系统盘空间：40GB。
    • 分配公网IP：是。
    ALIYUN::RAM::Role1创建RAM角色，用于颁发短时有效的访问令牌（STS令牌），使其成为一种更安全的授予访问权限的方法。无
    ALIYUN::VPC::EIP1创建一个弹性公网IP，用于绑定ECS实例，以便通过外网访问ECS实例。无
    ALIYUN::OOS::Template2创建两个运维编排模板，用于创建生命周期挂钩。

    关于生命周期挂钩的更多信息，请参见生命周期挂钩。

    		无
    说明 资源收费情况，请参见官网报价或各产品定价文档。