采集开源大数据平台E-Mapreduce的开源组件日志到日志服务

E-Mapreduce（简称EMR）的开源组件在运行过程中会产生大量日志。本文介绍如何在EMR控制台中开启日志投递功能，将EMR日志投递到日志服务中。

前提条件

已创建EMR集群。具体操作，请参见E-MapReduce快速入门。

本文操作仅适用于新版数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务（DataServing）和数据湖（Hadoop）场景的集群。
支持日志投递的服务有hdfs、yarn、yarn_application、hive、spark、jindodata、tez、flink、hbase、zookeeper、kafka、presto、kudu、impala、flume、starrocks、clickhouse、kyuubi、rss、host（主机）。

日志存储及索引流量费用等按照标准收费，由日志服务（SLS）单独收费，具体操作请参见计费项。
如果您使用的是RAM用户，请使用阿里云账号登录RAM控制台，为RAM用户授予AliyunLogFullAccess和AliyunRAMFullAccess权限，具体操作请参见为RAM用户授权。

进入日志管理页面。
1. 登录E-MapReduce控制台。
2. 在顶部菜单栏处，根据实际情况选择地域和资源组。
3. 在EMR on ECS页面，单击目标集群的集群ID。
4. 单击上方的日志管理页签。
配置日志投递范围。
1. 在日志管理页面，单击右侧的设置日志投递范围。
2. 在弹出的对话框中，配置日志存储的Project。
  您可以选择已有Project或者新建Project。
  重要
  Project一经选择不可变更。
3. 勾选需要日志投递的服务，单击确定。
查看服务日志。
1. 在请选择EMR服务下拉框中选择您需要查看日志的服务。
2. 在日志界面对日志进行分析。
  您可以指定时间段和查询语句进行实时查询。例如，可快速分析某一个字段在一段时间内的分布情况，您也可以按条件过滤或统计您希望查看的访问记录。

重要

关闭实时日志投递不会自动删除Project。因此，当您关闭日志投递后，为避免后续产生不必要的费用，请前往日志服务控制台删除开通日志投递时选择的Project。具体操作，请参见管理Project。

当您确认不再需要保留日志数据时，可以按照如下步骤关闭实时日志查询。

将EMR日志投递到日志服务后，您可以在日志服务中执行查询分析、下载、投递、加工、告警等操作。具体操作，请参见云产品日志通用操作。

操作	说明
设置日志投递范围	在日志管理页签下，单击设置日志投递范围，修改待投递日志的服务。
关闭日志投递	在日志管理页签下，单击关闭日志投递。重要关闭日志投递后，系统不会自动删除Project及已推送的日志。因此，当您关闭日志投递后，为避免后续产生不必要的费用，请在日志服务控制台上删除对应的Project。具体操作，请参见删除Project。