E-MapReduce基本问题

1. 首先在Master节点上切换到Hadoop账号：

   su hadoop

2. 然后即可免密码SSH登录到对应的Core节点：

   ssh emr-worker-1

3. 通过sudo可以获得root权限：

   sudo vi /etc/hosts

1. 首先来到执行计划的页面，找到对应的执行计划，单击运行记录进入运行记录页面。
2. 在运行记录页面找到具体的那一条执行记录，例如最后的一条执行记录。然后单击它对应的执行集群查看这个执行集群的ID。
3. 然后在OSS://mybucket/emr/spark目录下，寻找OSS://mybucket/emr/spark/集群ID这个目录。
4. 在OSS://mybucket/emr/spark/clusterID/jobs目录下会按照作业的执行ID存放多个目录，每一个目录下存放了这个作业的运行日志文件。

• 集群的计时策略

  在集群列表里可以看到每个集群的运行时间，该运行时间的计算策略为运行时间=集群释放时刻-集群开始构建时刻。即集群一旦开始构建就开始计时，直到集群的生命周期结束。

• 执行计划的计时策略
  在执行计划的运行记录列表，可以看到每次执行记录运行的时间，该时间的计时策略总结为两种情况：

  • 如果执行计划是按需执行的，每次执行记录的运行过程涉及到创建集群、提交作业运行、释放集群。所以按需执行计划的运行时间计算策略为，运行时间=构建集群的时间+执行计划包含所有作业全部运行结束的总耗时+集群释放的时间。
  • 如果执行计划是关联已有集群运行的，整个运行周期不涉及到创建集群和释放集群，所以其运行时间=执行计划包含所有作业全部运行结束的总耗时。
• 作业的计时策略

  这里的作业指的是被挂载到执行计划里面的作业。单击每条执行计划运行记录右侧的查看作业列表，可以查看到该执行计划下的作业列表。这里每个作业运行时间的计算策略为，运行时间=作业运行结束的实际时间-作业开始运行的实际时间。作业运行开始（结束）的实际时间指的是作业被Spark或Hadoop集群实际开始调度运行或运行结束的时间点。

CREATE EXTERNAL TABLE storage_log(content STRING) PARTITIONED BY (ds STRING)
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY '\t'
    STORED AS TEXTFILE
    LOCATION 'oss://log-124531712/biz-logs/airtake/pro/storage'; 
    hive> select * from storage_log;
    OK
    Time taken: 0.3 seconds
    创建完外部表后没有数据

alter table storage_log add partition(ds=123);                                                                                                                                             OK
    Time taken: 0.137 seconds
    hive> select * from storage_log;
    OK
    abcd    123
    efgh    123

<property>  
    <name>mapred.child.java.opts</name>  
    <value>-Xmx1024m -Djava.library.path=/usr/local/share/</value>  
  </property>  
  <property>  
    <name>mapreduce.admin.user.env</name>  
    <value>LD_LIBRARY_PATH=$HADOOP_COMMON_HOME/lib/native:/usr/local/lib</value>  
  </property>

• （建议）E-MapReduce提供了MetaService 服务，支持免AK访问OSS 数据，直接写oss://bucket/object/path。
• （不建议）可以将AccessKeyId，AccessKeySecret以及endpoint配置到Configuration（Spark作业是SparkConf，MR类作业是Configuration）中，也可以在URI中直接指定AccessKeyId、AccessKeySecret以及endpoint。详情请参见开发准备。

• 低版本mysql-connector-java有可能出现类似问题，更新到最新版本。
• 作业参数中使用—driver-class-path ossref://bucket/…/mysql-connector-java-[version].jar来加载mysql-connector-java包，直接将mysql-connector-java打进作业jar包也会出现上述问题，请更新到最新版本。

• 若Master节点选择2核4G机型，很容易造成物理内存不够用，建议调大Master内存。
• 若Slave节点选择2核4G机型，在运行MR作业或者Hive作业时，请调节参数。MR作业添加参数-D yarn.app.mapreduce.am.resource.mb=1024。Hive作业设置参数 set yarn.app.mapreduce.am.resource.mb=1024，避免作业停止。

• HA 集群（Discovery模式）

  
  !connect jdbc:hive2://emr-header-1:2181,emr-header-2:2181,emr-header-3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;principal=hive/_HOST@EMR.${clusterId).COM

• HA集群（直连某台机器）

  连emr-header-1

  !connect jdbc:hive2://emr-header-1:10000/;principal=hive/emr-header-1@EMR.${clusterId}.COM

  连emr-header-2

  !connect jdbc:hive2://emr-header-2:10000/;principal=hive/emr-header-2@EMR.${clusterId}.COM

• 非HA集群

  !connect jdbc:hive2://emr-header-1:10000/;principal=hive/emr-header-1@EMR.${clusterId}.COM