什么是日志服务

日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。

日志服务可以做什么

日志管理场景

  • 提供客户端、服务端、云产品等完整渠道的数据采集能力。

  • 支持冷热分层存储,适应不同生命周期数据的需求。

  • 每天支持 PB 级查询和分析处理,快速响应业务需求。

动画

统一的数据管道/数据湖

  • 支持数十种采集方式,实现海量数据统一实时采集。

  • 用于加工清洗、实时消费与分发,适配业务分析、大数据分析等。

  • 作为企业数据管道与数据总线。

image

业务分析监控平台

  • 打通系统数据与业务数据,提供实时洞察。

  • 支持预防系统风险、调整业务策略,相比BI系统的T+1展示,实现实时或分钟级延迟的数据分析。

image

全链路可观测运维平台

  • 支持 Log/Metric/Trace 等可观测数据的统一存储与联合分析。

  • 集成智能巡检、智能预测及根因分析等AIOps工具,实现异常检测和自动告警,提升系统稳定性和用户体验。

动画

日志安全分析、操作审计与等保合规

  • 构建多账号、多地域统一采集的日志安全审计方案。

  • 自动采集新实例日志,中心化存储以支持审计所需功能。

  • 内置审计规则并可对接第三方 SIEM 系统。

image

为什么选择日志服务

  • 提供全面统一的数据接入方案:具备Log、Metric、Trace数据的接入能力,全面覆盖IoT、移动端和服务端。支持接入云产品日志、开源系统日志、多云环境日志、本地服务器日志。采集效率高,资源消耗少,稳定可靠,数据不丢不错。

  • 提供一站式平台服务:涵盖数据采集、分析、加工、可视化、投递、告警等全生命周期管理。

  • 统一存储中台:解决后端存储异构问题,支持对接流计算平台。

  • 具备智能、高效的数据分析能力:秒级分析百亿级数据,集成 AIOps 工具,具备智能异常检测与根因分析能力。

  • 问题排查告警:支持基础设施监控,智能降噪消除告警风暴,提高定位效率。

  • 提供弹性、低成本的云服务:每天支持 PB 级弹性伸缩,按量付费,TCO 降低 50% 以上。

  • 提供开箱即用的应用:如 CloudLens 可观测性、FinOps 成本分析等,支持开放生态,兼容多种开源引擎。

功能特性

数据采集

支持统一采集客户端日志、物联网设备、服务器与应用日志、标准协议、阿里云产品日志等多种来源的可观测数据(Log/Metric/Trace),同时支持内网、公网、全球加速传输等多种网络传输方式。完整打通跨账号、跨云、云上云下等场景下数据,同时通过断点续传,弹性伸缩等能力保障采集过程稳定可靠。

数据处理加工

日志服务为数据提供了开箱即用、全托管、水平拓展、实时的加工功能,用于数据的规整、富化、流转、脱敏和过滤,内置丰富的加工函数,文本处理算子,具备流式大吞吐能力。可在数据采集时写入时写入后分别进行实时处理,秒级可见结果。

数据存储

日志服务为数据提供统一的存储平台,打破数据孤岛,支持管理智能存储分层,通过生命周期管理将热数据自动转换为可查询的冷数据,降低长期存储的成本,通过存储冗余保障数据持久性与稳定性,同时保证日志的查询、分析、可视化、告警、投递和加工等能力不受影响。支持基于场景化的规格选型,针对纯查询场景,提供性价比更高的查询型存储规格。

查询与分析

日志服务支持基于数据索引秒级查询百亿级别的日志并分析,也支持基于扫描模式的轻量级查询分析能力,日志引擎内置近百种查询分析函数并可以通过AI智能生成查询语句。同时支持巡检,异常检测,根因分析等智能机器学习算法,并支持定时SQL查询高性能精确查询(SQL独享)。也可以关联外部数据源查询或者使用第三方工具查询

可视化

日志服务内置丰富仪表盘,支持查询与分析结果可视化,提供10多种统计图表,包括表格、线图、柱状图、地图等,并支持基于统计图表自定义仪表盘(支持控制台嵌入与下钻分析),支持对接三方可视化系统(Grafana,QuickBI等)。

告警

提供一站式告警功能,包括告警监控、告警管理、通知(行动)管理等,支持多源多账号多条件统一告警,支持智能降噪,消除告警风暴,发挥告警的真正价值。支持电话、短信、钉钉、微信、飞书、webhook等多种通知方式。

数据输出与集成

日志服务最大程度的保有了对上下游数据源的开放和兼容,与几十种开源或自研大数据系统无缝集成。支持数据消费与订阅,如Spark Streaming消费、Flume消费、Flink消费等场景;支持数据实时投递,如将数据投递至OSS、MaxCompute、TSDB等云产品。

日志审计

在继承现有日志服务所有功能基础上,还支持多账户下实时自动化、中心化采集云产品日志并进行审计,以及支持审计所需的存储、查询及信息汇总。

如何计费

日志服务支持按量付费,即按照您的实际使用量收费。相较于自建ELK,使用日志服务,总成本预计可以下降50%。关于日志服务的计量项和计费项,请参见按使用功能计费模式计费项按写入数据量计费模式计费项。若需要停止计费可以参考停止计费

从这里开始

建议您按如下使用路径开始日志服务的使用:

使用前准备

开始数据接入

接入后数据应用

说明

了解日志服务相关概念,能够协助您更好的使用日志服务。

将数据传输到日志服务中,以供后续对数据进行应用。

日志服务中数据的经典应用场景。

基础步骤

  1. 开通日志服务,单击日志服务控制台立即前往开通页面。

  2. 了解Project资源

  3. 了解Store资源

  4. 了解数据采集方式

  1. 创建Project。

  2. 选择期望类型的Store进行创建。

    1. Logstore

    2. MetricStore

    3. EventStore

  3. 选择相应数据类型接入。

    1. 日志:日志数据采集(Log)

    2. 指标:指标数据采集(Metric)

    3. 链路:链路数据采集(Trace)

    4. 事件:事件数据采集(Event)

  1. 数据查询分析

    1. 索引模式查询与分析

    2. 扫描模式查询与分析(Scan)

    3. 通过AI智能生成查询与分析语句(Copilot)

  2. 数据监控

    1. 使用仪表盘可视化数据

    2. 快速设置日志告警

可选/进阶步骤

  1. 了解存储资源层级关系说明并规划(资源周期,量级,流控等)。

  2. RAM与访问权限控制:日志服务RAM访问控制权限配置

  1. 了解不同数据处理器的差异说明并对数据进行处理(格式化解析,过滤,加密,脱敏)。

  2. 存储策略:通过管理智能存储分层设置存储生命周期,进行存储策略优化。

  1. 不同日志库数据查询可使用跨域查询与分析(数据集Storeview)

  2. 大数据量查询使用高性能完全精确查询与分析(SQL独享版)保证结果精确。

  3. 可通过数据加工来实现数据流转数据富化

  4. 数据与第三方交互可通过数据消费与订阅数据投递

使用方式

您可以通过以下任意一种方式使用日志服务。

方式

说明

控制台

日志服务提供Web服务页面管理您的日志服务资源。日志服务控制台

SDK

日志服务提供各种语言的SDK开发包,方便您快速进行二次开发。更多信息,请参见SDK概述

API

日志服务提供API管理您的日志服务资源。该方式需要您手动签名验证。更多信息,请参见API概览

说明

推荐您使用SDK,以免除手动签名验证环节。

CLI

日志服务提供CLI管理您的日志服务资源。更多信息,请参见CLI概述

常见问题

阿里云会使用我在日志服务上存储的数据吗?

就用户业务数据,阿里云除执行您的服务要求或者法律法规要求外,不进行任何未获授权的使用及披露。更多信息,请参见服务条款

阿里云是否会将自己的数据存储在日志服务上?

是的。日志服务是阿里巴巴内部自用的日志及监控平台,经历多次双十一的考验。阿里云内部的开发人员也在很多项目中使用日志服务。

如果数据量突然激增,日志服务如何保证服务不受影响?

日志服务提供弹性伸缩、灵活适配的数据基础框架,具备每天PB级别的弹性伸缩能力。无论是流量高峰还是业务增长都能轻松应对。

日志服务有哪些降低使用成本的方式?

请参考费用优化

如何关闭日志服务/停止计费

请参考停止计费

日志服务中的数据可以保存多久?

您可以设置数据永久保存或者仅保存到规定的时间,超过规定保存时间的数据将会自动删除。您也可以开启智能存储分层,将超过特定时间的数据转存为低频或归档数据,以降低数据存储费用。

如何联系?

如果您有日志服务相关的需求,可通过工单联系日志服务团队。