E-MapReduce 基本问题

1. 首先在 Master 节点上切换到 Hadoop 账号：

   su hadoop

2. 然后即可免密码 SSH 登录到对应的 Core 节点：

   ssh emr-worker-1

3. 通过 sudo 可以获得 root 权限：

   sudo vi /etc/hosts

1. 首先来到执行计划的页面，找到对应的执行计划，单击运行记录进入运行记录页面。
2. 在运行记录页面找到具体的那一条执行记录，例如最后的一条执行记录。然后单击它对应的执行集群查看这个执行集群的 ID。
3. 然后在OSS://mybucket/emr/spark目录下，寻找OSS://mybucket/emr/spark/集群ID 这个目录。
4. 在OSS://mybucket/emr/spark/clusterID/jobs 目录下会按照作业的执行 ID 存放多个目录，每一个目录下存放了这个作业的运行日志文件。

• 集群的计时策略

  在集群列表里可以看到每个集群的运行时间，该运行时间的计算策略为运行时间 = 集群释放时刻 - 集群开始构建时刻。即集群一旦开始构建就开始计时，直到集群的生命周期结束。

• 执行计划的计时策略
  在执行计划的运行记录列表，可以看到每次执行记录运行的时间，该时间的计时策略总结为两种情况：

  • 如果执行计划是按需执行的，每次执行记录的运行过程涉及到创建集群、提交作业运行、释放集群。所以按需执行计划的运行时间计算策略为，运行时间 = 构建集群的时间 + 执行计划包含所有作业全部运行结束的总耗时 + 集群释放的时间。
  • 如果执行计划是关联已有集群运行的，整个运行周期不涉及到创建集群和释放集群，所以其运行时间 = 执行计划包含所有作业全部运行结束的总耗时。
• 作业的计时策略

  这里的作业指的是被挂载到执行计划里面的作业。单击每条执行计划运行记录右侧的查看作业列表，可以查看到该执行计划下的作业列表。这里每个作业运行时间的计算策略为，运行时间 = 作业运行结束的实际时间 - 作业开始运行的实际时间。作业运行开始（结束）的实际时间指的是作业被 Spark 或 Hadoop 集群实际开始调度运行或运行结束的时间点。

CREATE EXTERNAL TABLE storage_log(content STRING) PARTITIONED BY (ds STRING)
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY '\t'
    STORED AS TEXTFILE
    LOCATION 'oss://log-124531712/biz-logs/airtake/pro/storage'; 
    hive> select * from storage_log;
    OK
    Time taken: 0.3 seconds
    创建完外部表后没有数据

alter table storage_log add partition(ds=123);                                                                                                                                             OK
    Time taken: 0.137 seconds
    hive> select * from storage_log;
    OK
    abcd    123
    efgh    123

<property>  
    <name>mapred.child.java.opts</name>  
    <value>-Xmx1024m -Djava.library.path=/usr/local/share/</value>  
  </property>  
  <property>  
    <name>mapreduce.admin.user.env</name>  
    <value>LD_LIBRARY_PATH=$HADOOP_COMMON_HOME/lib/native:/usr/local/lib</value>  
  </property>

• （建议）E-MapReduce提供了 MetaService 服务，支持免 AK 访问 OSS 数据，直接写oss://bucket/object/path。
• （不建议）可以将 AccessKeyId，AccessKeySecret 以及 endpoint 配置到Configuration（Spark 作业是 SparkConf，MR 类作业是 Configuration）中，也可以在 URI中直接指定 AccessKeyId、AccessKeySecret 以及 endpoint。详情请参见开发准备。

• 低版本 mysql-connector-java 有可能出现类似问题，更新到最新版本。
• 作业参数中使用 —driver-class-path ossref://bucket/…/mysql-connector-java-[version].jar 来加载 mysql-connector-java 包，直接将 mysql-connector-java 打进作业 jar 包也会出现上述问题，请更新到最新版本。

• 若 Master 节点选择 2 核 4 G 机型，很容易造成物理内存不够用，建议调大Master内存。
• 若 Slave节点选择 2 核 4 G 机型，在运行 MR 作业或者 Hive 作业时，请调节参数。MR 作业添加参数-D yarn.app.mapreduce.am.resource.mb=1024。Hive 作业设置参数 set yarn.app.mapreduce.am.resource.mb=1024，避免作业停止。

• HA 集群（Discovery 模式）

  
  !connect jdbc:hive2://emr-header-1:2181,emr-header-2:2181,emr-header-3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;principal=hive/_HOST@EMR.${clusterId).COM

• HA 集群（直连某台机器）

  连 emr-header-1

  !connect jdbc:hive2://emr-header-1:10000/;principal=hive/emr-header-1@EMR.${clusterId}.COM

  连 emr-header-2

  !connect jdbc:hive2://emr-header-2:10000/;principal=hive/emr-header-2@EMR.${clusterId}.COM

• 非 HA 集群

  !connect jdbc:hive2://emr-header-1:10000/;principal=hive/emr-header-1@EMR.${clusterId}.COM