管理日志

更新时间: 2023-04-25 09:50:46

E-Mapreduce(简称EMR)开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合,允许您在EMR控制台直接查询开源组件的日志。

前提条件

  • 已在EMR控制台上创建集群,具体操作请参见创建集群

  • 已开通SLS服务,具体操作请参见快速入门

使用限制

  • 本文操作仅适用于新版数据湖(DataLake)、实时数据流(DataFlow)、数据分析(OLAP)、数据服务(DataServing)和数据湖(Hadoop)场景的集群。

  • 支持日志投递的服务有hdfs、yarn、yarn_application、hive、spark、jindodata、tez、flink、hbase、zookeeper、kafka、presto、kudu、impala、flume、starrocks、clickhouse、kyuubi、rss、host(主机)。

注意事项

  • 日志存储及索引流量费用等按照标准收费,由日志服务(SLS)单独收费,具体操作请参见计费项

  • 如果您使用的是RAM用户,请使用阿里云账号登录RAM控制台,为RAM用户授予AliyunLogFullAccess和AliyunRAMFullAccess权限,具体操作请参见为RAM用户授权

查询实时日志

  1. 进入日志管理页面。

    1. 登录EMR on ECS控制台

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组

    3. 集群管理页面,单击目标集群的集群ID

    4. 单击上方的日志管理页签。

  2. 配置日志投递范围。

    1. 日志管理页面,单击右侧的设置日志投递范围

      log
    2. 在弹出的对话框中,配置日志存储的Project。

      您可以选择已有Project或者新建Project。

      重要

      Project一经选择不可变更。

    3. 勾选需要日志投递的服务,单击确定

  3. 查看服务日志。

    1. 请选择EMR服务下拉框中选择您需要查看日志的服务。

    2. 在日志界面对日志进行分析。

      您可以指定时间段和查询语句进行实时查询。例如,可快速分析某一个字段在一段时间内的分布情况,您也可以按条件过滤或统计您希望查看的访问记录。

关闭日志投递

重要

关闭实时日志投递不会自动删除Project。因此,当您关闭日志投递后,为避免后续产生不必要的费用,请前往日志服务控制台删除开通日志投递时选择的Project。具体操作,请参见管理Project

当您确认不再需要保留日志数据时,可以按照如下步骤关闭实时日志查询。

  1. 进入日志管理页面。

    1. 登录EMR on ECS控制台

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组

    3. 集群管理页面,单击目标集群的集群ID

    4. 单击上方的日志管理页签。

  2. 日志管理页面,单击右侧的关闭日志投递

  3. 在弹出的对话框中,单击OK

管理SLS Project

您可以在日志管理页面,单击右侧的前往日志服务控制台,可以进入日志服务控制台。在SLS控制台您可以设置日志保存时间,并修改Logstore相关配置。

常见问题

Q:已开通SLS服务,并授权相关角色,为什么控制台还是提示“该资源暂未开启服务日志采集,请到EMR控制台对应集群的日志管理页面开启服务日志采集”?

log

A:当前集群并未设置投递日志的服务,请单击右侧的设置日志投递范围,完成日志投递范围的配置。

阿里云首页 开源大数据平台E-MapReduce 相关技术圈