E-MapReduce 基本问题

• 创建作业

  在 E-MapReduce 产品中，说创建一个作业，实际上是创建一个作业运行配置，它并不能被直接运行。既如果在 E-MapReduce 中创建了一个作业，实际上只是创建了一个作业如何运行的配置，这份配置中包括该作业要运行的 jar 包，数据的输入输出地址，以及一些运行参数。这样的一份配置创建好后，给它命一个名，既定义了一个作业。当你需要调试运行作业的时候就需要执行计划了。

• 创建执行计划

  执行计划，是将作业与集群关联起来的一个纽带。通过它，我们可以把多个作业组合成一个作业序列，通过它我们可以为作业准备一个运行集群（或者自动创建出一个临时集群或者关联一个已存在的集群），通过它我们可以为这个作业序列设置周期执行计划，并在完成任务后自动释放集群。我们也可以在他的执行记录列表上查看每一次执行的执行成功情况与日志。

1. 首先在 Master 节点上切换到 Hadoop 账号：

   su hadoop

2. 然后即可免密码 SSH 登录到对应的 Core 节点：

   ssh emr-worker-1

3. 通过 sudo 可以获得 root 权限：

   sudo vi /etc/hosts

1. 首先来到执行计划的页面，找到对应的执行计划，单击运行记录进入运行记录页面。
2. 在运行记录页面找到具体的哪一条执行记录，比如最后的一条执行记录。然后单击它对应的执行集群查看这个执行集群的 ID。
3. 然后再OSS://mybucket/emr/spark目录下寻找OSS://mybucket/emr/spark/集群ID 这个目录
4. 在OSS://mybucket/emr/spark/clusterID/jobs 目录下会按照作业的执行 ID 存放多个目录，每一个目录下存放了这个作业的运行日志文件。

• 集群的计时策略

  在集群列表里可以看到每个集群的运行时间，该运行时间的计算策略为 运行时间 = 集群释放时刻 - 集群开始构建时刻。即集群一旦开始构建就开始计时，直到集群的生命周期结束。

• 执行计划的计时策略
  在执行计划的运行记录列表，可以看到每次执行记录运行的时间，该时间的计时策略总结为两种情况：

  • 如果执行计划是按需执行的，每次执行记录的运行过程涉及到创建集群、提交作业运行、释放集群。所以按需执行计划的运行时间计算策略为，运行时间 = 构建集群的时间 + 执行计划包含所有作业全部运行结束的总耗时 + 集群释放的时间。
  • 如果执行计划是关联已有集群运行的，整个运行周期不涉及到创建集群和释放集群，所以其运行时间 = 执行计划包含所有作业全部运行结束的总耗时。
• 作业的计时策略

  这里的作业指的是被挂载到执行计划里面的作业。在每条执行计划运行记录右侧的查看作业列表点击进去可以查看到该执行作计划下作业列表。这里每个作业的运行时间的计算策略为，运行时间 = 作业运行结束的实际时间 - 作业开始运行的实际时间。作业运行开始（结束)的实际时间指的是作业被 Spark 或 Hadoop 集群实际开始调度运行或运行结束的时间点。

CREATE EXTERNAL TABLE storage_log(content STRING) PARTITIONED BY (ds STRING)
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY '\t'
    STORED AS TEXTFILE
    LOCATION 'oss://log-124531712/biz-logs/airtake/pro/storage'; 
    hive> select * from storage_log;
    OK
    Time taken: 0.3 seconds
    创建完外部表后没有数据

alter table storage_log add partition(ds=123);                                                                                                                                             OK
    Time taken: 0.137 seconds
    hive> select * from storage_log;
    OK
    abcd    123
    efgh    123

<property>  
    <name>mapred.child.java.opts</name>  
    <value>-Xmx1024m -Djava.library.path=/usr/local/share/</value>  
  </property>  
  <property>  
    <name>mapreduce.admin.user.env</name>  
    <value>LD_LIBRARY_PATH=$HADOOP_COMMON_HOME/lib/native:/usr/local/lib</value>  
  </property>

• （建议）EMR 提供了 MetaService 服务，支持免 AK 访问 OSS 数据，直接写oss://bucket/object/path。
• （不建议）可以将 AccessKeyId，AccessKeySecret 以及 endpoint 配置到Configuration（Spark 作业是 SparkConf，MR 类作业是 Configuration）中，也可以在 URI中直接指定 AccessKeyId，AccessKeySecret 以及 endpoint。具体请参考开发准备一节。

• 低版本 mysql-connector-java 有可能出现类似问题，更新到最新版本。
• 作业参数中使用 —driver-class-path ossref://bucket/…/mysql-connector-java-[version].jar 来加载 mysql-connector-java 包，直接将 mysql-connector-java 打进作业 jar 包也会出现上述问题。

• 若 Master 节点选择 2 核 4 G 机型，则 Master 节点内存非常吃紧，很容易造成物理内存不够用，建议调大Master内存。
• 若 Slave节点选择 2 核 4 G 机型，在运行 MR 作业或者 Hive 作业时，请调节参数。MR 作业添加参数-D yarn.app.mapreduce.am.resource.mb=1024；Hive 作业设置参数 set yarn.app.mapreduce.am.resource.mb=1024; 避免作业挂起。

• HA 集群（Discovery 模式）)

  
  !connect jdbc:hive2://emr-header-1:2181,emr-header-2:2181,emr-header-3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;principal=hive/_HOST@EMR.${clusterId).COM

• HA 集群（直连某台机器）

  连 emr-header-1

  !connect jdbc:hive2://emr-header-1:10000/;principal=hive/emr-header-1@EMR.${clusterId}.COM

  连 emr-header-2

  !connect jdbc:hive2://emr-header-2:10000/;principal=hive/emr-header-2@EMR.${clusterId}.COM

• 非 HA 集群

  !connect jdbc:hive2://emr-header-1:10000/;principal=hive/emr-header-1@EMR.${clusterId}.COM