本节介绍如何使用阿里云E-MapReduce部署Hadoop集群和Kafka集群,并运行Spark Streaming作业消费Kafka数据。

前提条件

  • 已注册阿里云账号,详情请参见注册云账号
  • 已开通E-MapReduce服务。
  • 已完成云账号的授权,详情请参见角色授权

背景信息

在开发过程中,通常会遇到消费Kafka数据的场景。在阿里云E-MapReduce中,您可通过运行Spark Streaming作业来消费Kafka数据。

步骤一 创建Hadoop集群和Kafka集群

推荐您将Hadoop集群和Kafka集群创建在同一个安全组下。如果Hadoop集群和Kafka集群不在同一个安全组下,则两者的网络默认是不互通的,您需要对两者的安全组分别进行相关配置,以使两者的网络互通。

  1. 登录阿里云 E-MapReduce 控制台
  2. 创建Hadoop集群,详情请参见创建集群


  3. 创建Kafka集群,详情请参见创建集群


步骤二 获取JAR包并上传到Hadoop集群

本例中的JAR包:对E-MapReduce的Demo进行了一定的修改后,编译生成的JAR包。JAR包需要上传到Hadoop集群的emr-header-1主机中。

  1. 获取JAR包(本例JAR下载地址)。
  2. 返回到阿里云 E-MapReduce 控制台
  3. 集群管理页面,单击Hadoop集群的集群ID,进入Hadoop集群。
  4. 在左侧导航树中选择主机列表,然后在右侧查看Hadoop集群中emr-header-1主机的IP信息
  5. 通过SSH客户端登录emr-header-1主机。
  6. 上传JAR包到emr-header-1主机的某个目录。
    说明 后续步骤中的代码有涉及到此路径,本例上传路径为/home/hadoop。上传JAR包,请保留该登录窗口,后续步骤仍将使用。

步骤三 在Kafka集群上创建Topic

您可直接在E-MapReduce上以可视化的方式来创建Topic(详情请参见Kafka 元数据管理),也可登录Kafka集群的emr-header-1主机后以命令行的方式来创建Topic。本例以命令行方式创建一个分区数为10、副本数为2、名称为test的Topic。

  1. 返回到阿里云 E-MapReduce 控制台
  2. 集群管理页面,单击Kafka集群的集群ID,进入Kafka集群。
  3. 在左侧导航树中选择主机列表,然后在右侧查看Kafka集群中emr-header-1主机的IP信息
  4. 在SSH客户端中新建一个命令窗口,登录Kafka集群的emr-header-1主机。
  5. 通过以下命令创建Topic。
    /usr/lib/kafka-current/bin/kafka-topics.sh --partitions 10 --replication-factor 2 --zookeeper emr-header-1:2181 /kafka-1.0.0 --topic test --create
    说明 创建Topic后,请保留该登录窗口,后续步骤仍将使用。

步骤四 运行Spark Streaming作业

完成上述操作后,您即可在Hadoop集群上运行Spark Streaming作业。本例将运行一个作业进行流式单词统计(WordCount)。

  1. 返回到Hadoop集群的emr-header-1主机登录窗口。

    如果误关闭了此窗口,请重新登录,详情请参见步骤二 获取JAR包并上传到Hadoop集群中的相关步骤。

  2. 通过如下作业命令来进行流式单词统计(WordCount)。
    spark-submit --class com.aliyun.emr.example.spark.streaming.KafkaSample  /home/hadoop/examples-1.2.0-shaded-2.jar 192.168.xxx.xxx:9092 test 5

    命令中JAR包后面的三个关键参数说明如下:

    • 192.168.xxx.xxx:Kafka集群中任一Kafka Broker组件的内网或外网IP地址,示例如图 1所示。
    • test:Topic名称。
    • 5:时间间隔。
    图 1. Kafka集群组件


步骤五 使用Kafka发布消息

进行本步骤操作时,需要保持Spark Streaming作业一直处于运行状态。运行Kafka的生产者(producer)后,在Kafka客户端的命令行中输入文本时,在Hadoop集群客户端的命令行中会实时显示单词统计结果。

  1. 返回到Kafka集群的emr-header-1主机登录窗口。

    如果误关闭了此窗口,请重新登录,详情请参见步骤三 在Kafka集群上创建Topic中的相关步骤。

  2. 在Kafka集群的登录窗口中,通过如下命令来运行生产者(producer)。
    /bin/kafka-console-producer.sh --topic test --broker-list emr-worker-1:9092
  3. 在Kafka登录窗口的命令行中不断输入文本,则在Hadoop集群登录窗口中实时显示文本的统计信息。


步骤六 查看Spark Streaming作业的进展

Spark Streaming作业开始运行后,您可在E-MapReduce上查看作业的状态。

  1. 返回到阿里云 E-MapReduce 控制台
  2. 在Hadoop集群的访问链接与端口页面中,单击Spark History Server UI后的链接,查看Spark Streaming作业的状态。详情请参见访问链接与端口