资源编排服务ROS(Resource Orchestration Service)支持通过创建资源栈的方式安装Spark单机版。

背景信息

Apache Spark是专为大规模数据处理设计的通用计算引擎。Spark将Scala用作其应用程序框架,启用了内存分布数据集,除了能够提供交互式查询外,还可以迭代优化工作负载。

模板示例Spark单机版(已有VPC)在已有专有网络、交换机和安全组等资源的基础上,创建一台ECS实例并绑定弹性公网IP(EIP)。模板示例中使用的软件版本如下:

  • Java JDK(Java Development Kit):1.8.0
  • Hadoop(分布式系统基础架构):2.7.7
  • Scala(编程语言):2.12.1
  • Spark(计算引擎):2.1.0

使用模板创建资源栈成功后即可获取SparkWebSiteURL,登录Spark管理控制台。如需通过外网访问SparkWebSiteURL,请在安全组添加入方向8088和8080访问规则。具体操作,请参见添加安全组规则

步骤一:创建资源栈

  1. 登录资源编排控制台
  2. 在左侧导航栏,选择模板 > 模板示例
  3. 查找模板Spark 单机版(已有VPC)
  4. 单击创建资源栈
  5. 配置模板参数页面,输入资源栈名称,并设置以下参数。
    参数 说明 示例
    现有VPC的实例ID VPC实例ID。

    关于如何创建和查询VPC实例,请参见使用专有网络

    vpc-bp1m6fww66xbntjyc****
    交换机可用区 专有网络下的交换机可用区ID。 华东1可用区K
    网络交换机ID 专有网络下的交换机ID。

    关于如何创建和查询交换机,请参见使用交换机

    vsw-bp183p93qs667muql****
    业务安全组ID ECS安全组ID。

    关于如何查询安全组ID,请参见查询安全组

    sg-bp15ed6xe1yxeycg7o****
    实例规格 ECS实例规格。

    请选用有效的实例规格。更多信息,请参见实例规格族

    ecs.c5.large
    镜像ID ECS镜像ID,默认使用centos_7。

    更多信息,请参见镜像概述

    centos_7
    实例密码 ECS实例密码。 Test_12****
    磁盘类型 取值:
    • cloud_efficiency:高效云盘。
    • cloud_ssd:SSD云盘。
    • cloud_essd:ESSD云盘。
    • cloud:普通云盘。
    • ephemeral_ssd:本地SSD盘。

    更多信息,请参见云盘概述

    cloud_efficiency
    系统盘空间 实例系统盘大小。

    取值范围:40~500

    单位:GB

    40
  6. 单击创建
  7. 资源栈信息页签查看资源栈状态。资源栈创建成功后,单击输出,获取SparkWebSiteURL。
  8. 访问SparkWebSiteURL,登录Spark管理控制台。

步骤二:查看资源

  1. 登录资源编排控制台
  2. 在左侧导航栏,单击资源栈
  3. 资源栈列表页面,单击目标资源栈名称。
  4. 单击资源页签,查看资源信息。
    本示例中,资源信息如下表所示。
    资源 数量 资源说明 规格说明
    ALIYUN::ECS::Instance 1 创建一台云服务器,用于安装Spark单机版。
    • 总数量:1台。
    • 实例规格:ecs.c5.large。
    • 磁盘类别:高效云盘。
    • 系统盘空间:40GB。
    • 分配公网IP:是。
    说明 资源收费情况,请参见官网报价或各产品定价文档。