管理日志

E-Mapreduce(简称EMR)开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合,允许您在EMR控制台直接查询开源组件的日志。

前提条件

使用限制

  • 本文操作仅适用于数据湖(DataLake)、实时数据流(DataFlow)、数据分析(OLAP)、数据服务(DataServing)和数据湖(Hadoop)场景的集群。

  • 支持日志投递的服务有hdfs、yarn、yarn_application、hive、spark、jindodata、tez、flink、hbase、zookeeper、kafka、presto、kudu、impala、flume、starrocks、clickhouse、kyuubi、rss、host(主机)。

注意事项

  • 日志存储及索引流量费用等按照标准收费,由日志服务(SLS)单独收费,具体操作请参见计费项

  • 如果您使用的是RAM用户,请使用阿里云账号登录RAM控制台,为RAM用户授予AliyunLogFullAccess权限,具体操作请参见RAM用户授权

开启日志投递

  1. 进入日志管理页面。

    1. 登录E-MapReduce控制台

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组

    3. EMR on ECS页面,单击目标集群的集群ID

    4. 单击上方的日志管理页签。

  2. 配置日志投递范围。

    1. 日志管理页面,单击右侧的设置日志投递范围

      log

    2. 在弹出的对话框中,配置日志存储的Project。

      您可以选择已有Project或者新建Project。

      重要

      Project一经选择不可变更。

    3. 勾选需要日志投递的服务,单击确定

  3. 查看服务日志。

    1. 请选择EMR服务下拉框中选择您需要查看日志的服务。

    2. 在日志界面对日志进行分析。

      您可以指定时间段和查询语句进行实时查询。例如,可快速分析某一个字段在一段时间内的分布情况,您也可以按条件过滤或统计您希望查看的访问记录。

关闭日志投递

重要

关闭实时日志投递不会自动删除Project。因此,当您关闭日志投递后,为避免后续产生不必要的费用,请前往日志服务控制台删除开通日志投递时选择的Project。具体操作,请参见管理Project

当您确认不再需要保留日志数据时,可以按照如下步骤关闭实时日志查询。

  1. 日志管理页面,单击右侧的关闭日志投递

  2. 在弹出的对话框中,单击OK

管理SLS Project

您可以在日志管理页面,单击右侧的前往日志服务控制台,可以进入日志服务控制台。在SLS控制台您可以设置日志保存时间,并修改Logstore相关配置。

日志字段详情

字段名称

说明

__source__

节点的内网IP地址。

__tag__:__hostname__

节点的Hostname。

__tag__:__path__

日志存储路径。

__tag__:__user_defined_id__

SLS为集群定义的自定义标识符。

__tag__:_aliyun_user_id_

阿里云账号的UID。

__tag__:_ecs_id_

ECS实例ID。

__tag__:_main_cluster_id_

EMR集群ID。

__tag__:_role_

节点名称。例如,core-1-1。

__topic__

日志主题。用于分类日志内容。

content

日志原始内容,通常是完整的日志记录。

level

日志级别。表示日志的严重程度(例如,INFOWARNERRORDEBUG等)。

message

日志内容,通常是经过解析后的主要信息部分。

thread

日志产生的线程。

time

日志生成时间。

资产详情

  • 自定义的Project和专属Logstore

    您可以自定义一个Project,系统将在该Project下生成名为emr_EMR服务名称_log的专属Logstore。例如您要投递host服务的日志,则对应的Logstoreemr_host_log

    重要
    • 在停用日志功能前,请勿删除EMR日志相关的日志服务ProjectLogstore,否则将导致已存储的日志被清除,且新日志无法被投递到日志服务。

    • 若您曾开通过按写入数据量计费模式,则系统默认创建计费模式为按写入数据量计费的专属Logstore。若您需要切换至按使用功能计费模式,可修改Logstore配置。具体操作,请参见管理Logstore配置

  • 专属仪表盘

    无专属仪表盘,您可以自定义仪表盘用于查询结果展示。具体操作,请参见创建仪表盘

费用说明

  • 目前,EMR不针对管理日志功能收取费用。

  • Logstore的计费模式为按使用功能计费时,推送EMR日志到日志服务后,日志服务根据存储空间、读取流量、请求数量、数据加工、数据投递等进行收费。更多信息,请参见按使用功能计费模式计费项

  • Logstore的计费模式为按写入数据量计费时,推送EMR日志到日志服务后,日志服务将根据原始写入数据量等进行收费。更多信息,请参见按写入数据量计费模式计费项

常见问题

Q:已开通SLS服务,并授权相关角色,为什么控制台还是提示“该资源暂未开启服务日志采集,请到EMR控制台对应集群的日志管理页面开启服务日志采集”?

log

A:当前集群并未设置投递日志的服务,请单击右侧的设置日志投递范围,完成日志投递范围的配置。