开源大数据平台E-Mapreduce日志的使用前须知_日志服务(SLS)-阿里云帮助中心

阿里云开源大数据平台E-Mapreduce（EMR）联合日志服务推出日志功能，用于将EMR日志投递到日志服务进行查询分析。本文介绍EMR日志相关的资产、费用、使用限制以及如何在EMR控制台中开启日志投递功能，将EMR日志投递到日志服务中。

资产详情

自定义的Project和专属Logstore
您可以自定义一个Project，系统将在该Project下生成名为emr_EMR服务名称_log的专属Logstore。例如您要投递host服务的日志，则对应的Logstore为emr_host_log。
重要
- 在停用日志功能前，请勿删除EMR日志相关的日志服务Project和Logstore，否则将导致已存储的日志被清除，且新日志无法被投递到日志服务。
- 若您曾开通过按写入数据量计费模式，则系统默认创建计费模式为按写入数据量计费的专属Logstore。若您需要切换至按使用功能计费模式，可修改Logstore配置。具体操作，请参见修改Logstore配置。
专属仪表盘
无专属仪表盘，您可以自定义仪表盘用于查询结果展示。具体操作，请参见创建仪表盘。

目前，EMR不针对管理日志功能收取费用。
当Logstore的计费模式为按使用功能计费时，推送EMR日志到日志服务后，日志服务根据存储空间、读取流量、请求数量、数据加工、数据投递等进行收费。更多信息，请参见按使用功能计费模式计费项。
当Logstore的计费模式为按写入数据量计费时，推送EMR日志到日志服务后，日志服务将根据原始写入数据量等进行收费。更多信息，请参见按写入数据量计费模式计费项。

日志管理功能仅适用于新版数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务（DataServing）和数据湖（Hadoop）场景的集群。

支持日志投递的服务包括hdfs、yarn、yarn_application、hive、spark、jindodata、tez、flink、hbase、zookeeper、kafka、presto、kudu、impala、flume、starrocks、clickhouse、kyuubi、rss和host（主机）。

日志存储及索引流量费用等按照标准收费，由日志服务（SLS）单独收费，具体操作请参见计费项。
如果您使用的是RAM用户，请使用阿里云账号登录RAM控制台，为RAM用户授予AliyunLogFullAccess和AliyunRAMFullAccess权限，具体操作请参见为RAM用户授权。

进入日志管理页面。
1. 登录E-MapReduce控制台。
2. 在顶部菜单栏处，根据实际情况选择地域和资源组。
3. 在EMR on ECS页面，单击目标集群的集群ID。
4. 单击上方的日志管理页签。
配置日志投递范围。
1. 在日志管理页面，单击右侧的设置日志投递范围。
2. 在弹出的对话框中，配置日志存储的Project。
  您可以选择已有Project或者新建Project。
  重要
  Project一经选择不可变更。
3. 勾选需要日志投递的服务，单击确定。
查看服务日志。
1. 在请选择EMR服务下拉框中选择您需要查看日志的服务。
2. 在日志界面对日志进行分析。
  您可以指定时间段和查询语句进行实时查询。例如，可快速分析某一个字段在一段时间内的分布情况，您也可以按条件过滤或统计您希望查看的访问记录。

重要

关闭实时日志投递不会自动删除Project。因此，当您关闭日志投递后，为避免后续产生不必要的费用，请前往日志服务控制台删除开通日志投递时选择的Project。具体操作，请参见管理Project。

当您确认不再需要保留日志数据时，可以按照如下步骤关闭实时日志查询。

将EMR日志投递到日志服务后，您可以在日志服务中执行查询分析、下载、投递、加工、告警等操作。具体操作，请参见云产品日志通用操作。

操作	说明
设置日志投递范围	在日志管理页签下，单击设置日志投递范围，修改待投递日志的服务。
关闭日志投递	在日志管理页签下，单击关闭日志投递。重要关闭日志投递后，系统不会自动删除Project及已推送的日志。因此，当您关闭日志投递后，为避免后续产生不必要的费用，请在日志服务控制台上删除对应的Project。具体操作，请参见删除Project。