本文介绍日志服务主要的功能。

数据采集

日志服务提供50多种数据接入方案。具体说明如下:
  • 支持采集服务器与应用相关的日志、时序数据和链路数据。
  • 支持采集物联网设备日志。
  • 支持采集阿里云产品日志。
  • 支持采集移动端数据。
  • 支持采集Logstash、Flume、Beats、FluentID、Telegraph等开源软件中的数据。
  • 支持通过HTTP、HTTPS、Syslog、Kafka、Prometheus等标准协议接入数据。
数据清洗

更多信息,请参见数据采集概述

查询与分析

日志服务支持实时查询与分析数据。具体说明如下:
  • 支持精确查询、模糊查询、全文查询、字段查询。
  • 支持上下文查询、日志聚类、LiveTail、重建索引等功能。
  • 支持标准的SQL 92语法。
  • 提供SQL独享实例。
DevOps/线上运维

更多信息,请参见查询概述分析概述

数据加工

日志服务提供数据加工功能,用于数据的规整、富化、流转、脱敏和过滤。具体说明如下:
  • 数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。
  • 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。
  • 数据流转:通过跨地域加速功能将海外地域的日志传输到中心地域,实现全球日志集中化管理。
  • 数据脱敏:对数据中包含的密码、手机号、地址等敏感信息进行脱敏。
  • 数据过滤:过滤出关键服务的日志,用于重点分析。
数据加工

更多信息,请参见数据加工概述

消费与投递

日志服务提供消费与投递功能,支持通过SDK、API实时消费数据;支持通过控制台将数据实时投递至OSS、MaxCompute等阿里云产品中。具体说明如下:
  • 支持通过Splunk、QRadar、Logstash、Flume等第三方软件消费数据。
  • 支持通过Java、Python、GO等语言消费数据。
  • 支持通过函数计算、实时计算、云监控等阿里云产品消费数据。
  • 支持通过Flink、Spark、Storm等流式计算平台消费数据。
  • 支持将数据投递到OSS、MaxCompute、AnalyticDB、TSDB、TableStore等阿里云产品。
投递数仓

更多信息,请参见实时消费概述数据投递概述

可视化

日志服务支持可视化展示查询和分析结果。具体说明如下:

  • 仪表盘内置图表:日志服务为您提供表格、线图、柱状图等多种统计图表,您可以根据分析需求选用合适的图表类型展示查询和分析结果,并将结果保存到仪表盘中。
  • 第三方可视化工具:日志服务支持直接对接Grafana、DataV等第三方图表。
可视化

更多信息,请参见可视化概述

告警

日志服务提供一站式的告警监控、降噪、事务管理、通知分派的智能运维平台。具体说明如下:
  • 告警监控:支持通过告警监控规则定期检查评估查询和分析结果,触发告警或恢复通知,发送给告警管理系统。
  • 告警管理:支持通过告警策略对所接收到的告警进行路由分派、抑制、去重、静默、合并等操作,然后发送给通知(行动)管理系统。
  • 通知(行动)管理:支持通过行动策略将告警动态分派给特定的通知渠道,再通知给目标用户、用户组或值班组。
  • 开放告警:支持通过Webhook方式接收外部监控系统中的告警消息(例如Grafana告警、Prometheus告警),并完成告警管理、告警通知等操作。
告警架构

更多信息,请参见告警概述

日志审计

日志审计服务在继承现有日志服务所有功能基础上还支持自动化采集、对接其他生态产品等功能。具体说明如下:

  • 支持实时自动化、中心化采集多账号下的云产品日志并进行审计。
  • 覆盖基础(ActionTrail、容器服务Kubernetes版)、存储(OSS、NAS)、网络(SLB、API网关)、数据库(关系型数据库RDS、云原生分布式数据库PolarDB-X、PolarDB MySQL云原生数据库)、安全(WAF、DDoS防护、云防火墙、云安全中心)等云产品。
  • 支持自由对接其他生态产品或自有SOC中心。
  • 内置百种告警规则,支持一键式开启,覆盖账户安全、权限管理、存储、主机、数据库、网络、日志等各个方面的合规监控。
日志审计

更多信息,请参见日志审计概述