安装Spark单机版

资源编排服务ROS(Resource Orchestration Service)支持通过创建资源栈的方式安装Spark单机版。

背景信息

Apache Spark是专为大规模数据处理设计的通用计算引擎。Spark将Scala用作其应用程序框架,启用了内存分布数据集,除了能够提供交互式查询外,还可以迭代优化工作负载。

模板示例Spark单机版(已有VPC)在已有专有网络、交换机和安全组等资源的基础上,创建一台ECS实例并绑定弹性公网IP(EIP)。模板示例中使用的软件版本如下:

  • Java JDK(Java Development Kit):1.8.0

  • Hadoop(分布式系统基础架构):2.7.7

  • Scala(编程语言):2.12.1

  • Spark(计算引擎):2.1.0

使用模板创建资源栈成功后即可获取SparkWebSiteURL,登录Spark管理控制台。如需通过外网访问SparkWebSiteURL,请在安全组添加入方向8088和8080访问规则。具体操作,请参见添加安全组规则

步骤一:创建资源栈

  1. 登录资源编排控制台

  2. 在左侧导航栏,选择模板 > 示例模板

  3. 查找模板Spark单机版(已有VPC)

    image

  4. 单击创建资源栈

  5. 配置参数页面,输入资源栈名称,并设置以下参数。

    参数

    说明

    示例

    现有VPC的实例ID

    VPC实例ID。

    关于如何创建和查询VPC实例,请参见创建和管理专有网络

    vpc-bp1m6fww66xbntjyc****

    交换机可用区

    专有网络下的交换机可用区ID。

    华东1可用区K

    网络交换机ID

    专有网络下的交换机ID。

    关于如何创建和查询交换机,请参见创建和管理交换机

    vsw-bp183p93qs667muql****

    业务安全组ID

    ECS安全组ID。

    关于如何查询安全组ID,请参见查询安全组

    sg-bp15ed6xe1yxeycg7o****

    实例规格

    ECS实例规格。

    请选用有效的实例规格。更多信息,请参见实例规格族

    ecs.c5.large

    镜像ID

    ECS镜像ID,默认使用centos_7。

    更多信息,请参见镜像概述

    centos_7

    实例密码

    ECS实例密码。

    Test_12****

    公网IP带宽值

    公网IP带宽。

    取值范围:1~100。

    单位:Mbps。

    5

    磁盘类型

    取值:

    • cloud_efficiency:高效云盘。

    • cloud_ssd:SSD云盘。

    • cloud_essd:ESSD云盘。

    • cloud:普通云盘。

    • ephemeral_ssd:本地SSD盘。

    更多信息,请参见云盘概述

    cloud_efficiency

    系统盘空间

    实例系统盘大小。

    取值范围:40~500

    单位:GB

    40

  6. 单击创建

  7. 资源栈信息页签查看资源栈状态。资源栈创建成功后,单击输出,获取SparkWebSiteURL。

  8. 访问SparkWebSiteURL,登录Spark管理控制台。

步骤二:查看资源

  1. 在左侧导航栏,单击资源栈

  2. 资源栈列表页面,单击目标资源栈名称。

  3. 单击资源页签,查看资源信息。

    本示例中,资源信息如下表所示。

    资源

    数量

    资源说明

    规格说明

    ALIYUN::ECS::Instance

    1

    创建一台云服务器,用于安装Spark单机版。

    • 总数量:1台。

    • 实例规格:ecs.c5.large。

    • 磁盘类别:高效云盘。

    • 系统盘空间:40GB。

    • 分配公网IP:是。

    说明

    资源收费情况,请参见官网报价或各产品定价文档。