文档

开启日志投递

更新时间:

E-Mapreduce(简称EMR)的开源组件在运行过程中会产生大量日志。本文介绍如何在EMR控制台中开启日志投递功能,将EMR日志投递到日志服务中。

前提条件

已创建EMR集群。具体操作,请参见E-MapReduce快速入门

使用限制

  • 本文操作仅适用于新版数据湖(DataLake)、实时数据流(DataFlow)、数据分析(OLAP)、数据服务(DataServing)和数据湖(Hadoop)场景的集群。

  • 支持日志投递的服务有hdfs、yarn、yarn_application、hive、spark、jindodata、tez、flink、hbase、zookeeper、kafka、presto、kudu、impala、flume、starrocks、clickhouse、kyuubi、rss、host(主机)。

注意事项

  • 日志存储及索引流量费用等按照标准收费,由日志服务(SLS)单独收费,具体操作请参见计费项

  • 如果您使用的是RAM用户,请使用阿里云账号登录RAM控制台,为RAM用户授予AliyunLogFullAccess和AliyunRAMFullAccess权限,具体操作请参见为RAM用户授权

操作步骤

  1. 进入日志管理页面。

    1. 登录E-MapReduce控制台

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组

    3. 在EMR on ECS页面,单击目标集群的集群ID

    4. 单击上方的日志管理页签。

  2. 配置日志投递范围。

    1. 日志管理页面,单击右侧的设置日志投递范围

      log

    2. 在弹出的对话框中,配置日志存储的Project。

      您可以选择已有Project或者新建Project。

      重要

      Project一经选择不可变更。

    3. 勾选需要日志投递的服务,单击确定

  3. 查看服务日志。

    1. 请选择EMR服务下拉框中选择您需要查看日志的服务。

    2. 在日志界面对日志进行分析。

      您可以指定时间段和查询语句进行实时查询。例如,可快速分析某一个字段在一段时间内的分布情况,您也可以按条件过滤或统计您希望查看的访问记录。

关闭日志投递

重要

关闭实时日志投递不会自动删除Project。因此,当您关闭日志投递后,为避免后续产生不必要的费用,请前往日志服务控制台删除开通日志投递时选择的Project。具体操作,请参见管理Project

当您确认不再需要保留日志数据时,可以按照如下步骤关闭实时日志查询。

  1. 日志管理页面,单击右侧的关闭日志投递

  2. 在弹出的对话框中,单击OK

相关操作

操作

说明

设置日志投递范围

日志管理页签下,单击设置日志投递范围,修改待投递日志的服务。

关闭日志投递

日志管理页签下,单击关闭日志投递

重要

关闭日志投递后,系统不会自动删除Project及已推送的日志。因此,当您关闭日志投递后,为避免后续产生不必要的费用,请在日志服务控制台上删除对应的Project。具体操作,请参见删除Project

后续步骤

将EMR日志投递到日志服务后,您可以在日志服务中执行查询分析、下载、投递、加工、告警等操作。具体操作,请参见云产品日志通用操作