E-Mapreduce(简称EMR)开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合,允许您在EMR控制台直接查询开源组件的日志。
前提条件
使用限制
本文操作仅适用于数据湖(DataLake)、实时数据流(DataFlow)、数据分析(OLAP)、数据服务(DataServing)和数据湖(Hadoop)场景的集群。
支持日志投递的服务有hdfs、yarn、yarn_application、hive、spark、jindodata、tez、flink、hbase、zookeeper、kafka、presto、kudu、impala、flume、starrocks、clickhouse、kyuubi、rss、host(主机)。
注意事项
查询实时日志
进入日志管理页面。
在顶部菜单栏处,根据实际情况选择地域和资源组。
在EMR on ECS页面,单击目标集群的集群ID。
单击上方的日志管理页签。
配置日志投递范围。
在日志管理页面,单击右侧的设置日志投递范围。
在弹出的对话框中,配置日志存储的Project。
您可以选择已有Project或者新建Project。
重要Project一经选择不可变更。
勾选需要日志投递的服务,单击确定。
查看服务日志。
在请选择EMR服务下拉框中选择您需要查看日志的服务。
在日志界面对日志进行分析。
您可以指定时间段和查询语句进行实时查询。例如,可快速分析某一个字段在一段时间内的分布情况,您也可以按条件过滤或统计您希望查看的访问记录。
关闭日志投递
关闭实时日志投递不会自动删除Project。因此,当您关闭日志投递后,为避免后续产生不必要的费用,请前往日志服务控制台删除开通日志投递时选择的Project。具体操作,请参见管理Project。
当您确认不再需要保留日志数据时,可以按照如下步骤关闭实时日志查询。
在日志管理页面,单击右侧的关闭日志投递。
在弹出的对话框中,单击OK。
管理SLS Project
您可以在日志管理页面,单击右侧的前往日志服务控制台,可以进入日志服务控制台。在SLS控制台您可以设置日志保存时间,并修改Logstore相关配置。
常见问题
Q:已开通SLS服务,并授权相关角色,为什么控制台还是提示“该资源暂未开启服务日志采集,请到EMR控制台对应集群的日志管理页面开启服务日志采集”?
A:当前集群并未设置投递日志的服务,请单击右侧的设置日志投递范围,完成日志投递范围的配置。