一站式可观测数据采集处理存储分析-日志服务-阿里云

日志服务SLS作为云原生数据应用平台，为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。借助一站式数据采集、处理加工、存储、查询与分析、监控、输出与集成等功能，提升开发、运维、运营、安全等场景数字化能力。

典型应用场景

日志管理

提供客户端、服务端、云产品等完整渠道的数据采集能力。
支持冷热分层存储，适应不同生命周期数据的需求。
每天支持 PB 级查询和分析处理，快速响应业务需求。

统一的数据管道/数据湖

支持数十种采集方式，实现海量数据统一实时采集。
用于加工清洗、实时消费与分发，适配业务分析、大数据分析等。
每天支持 PB 级查询和分析处理，快速响应业务需求。

日志安全与合规审计

构建多账号、多地域统一采集的日志安全审计方案。
自动采集新实例日志，中心化存储以支持审计所需功能。
内置审计规则并可对接第三方 SIEM 系统。

全链路可观测运维

支持 Log/Metric/Trace 等可观测数据的统一存储与联合分析。
集成智能巡检、智能预测及根因分析等AIOps工具，实现异常检测和自动告警，提升系统稳定性和用户体验。

业务分析监控

打通系统数据与业务数据，提供实时洞察。
支持预防系统风险、调整业务策略，相比BI系统的T+1展示，实现实时或分钟级延迟的数据分析。

为什么选择日志服务

SLS 不仅是一个日志系统，更是企业级统一数据中台与智能运维平台的核心组件。相比自建方案（如 ELK），SLS 具备以下核心优势：

统一接入：支持Log、Metric、Trace多类型数据，覆盖客户端、服务端、IoT、移动端、云产品、开源系统、多云及本地服务器。
高效处理：提供采集时、写入时、写入后多阶段实时数据加工能力，内置丰富函数与流式处理引擎。
统一存储：打破数据孤岛，支持热/冷分层存储，生命周期自动管理。
智能分析：秒级查询百亿级数据，内置近百种分析函数，支持AI 助手自动生成查询语句（Copilot）。
全链路可观测：统一存储与联合分析 Log/Metric/Trace，集成 AIOps 智能异常检测、根因分析。
成本可控：按量付费，TCO 降低 50% 以上，每天支持PB级弹性伸缩应对流量洪峰。
开箱即用：内置CloudLens（可观测性）、FinOps（成本分析）等企业级应用，支持开放生态，兼容多种开源引擎。

核心功能

数据采集

多源接入：支持客户端日志（Web、App、IoT），服务器与应用日志，阿里云产品日志（RDS、SLB、OSS等），标准协议（Syslog、SNMP、HTTP等），开源系统日志（Nginx、MySQL、Kafka等）。打通跨账号、跨云、云上云下等场景数据。
多种采集方式：支持自研采集器LoongCollector（Logtail 升级版）、WebTracking前端采集、SDK&API 等。
高可靠性保障：断点续传、弹性伸缩、多路径传输（公网、内网、全球加速），自动发现新实例并采集日志。

数据处理

SLS 提供全链路数据处理加工能力，支持在采集时、写入时、写入后进行实时处理。可进行数据规整、清洗过滤、格式化、脱敏、加密、流转、富化。内置文本处理、JSON解析、正则提取、字段映射、数据转换等多种函数，具备流式大吞吐能力，延迟低。支持SPL加工语句。

数据存储

日志服务提供智能的数据存储方案，保障功能正常使用的前提下优化存储成本，通过冗余保障数据持久性和可用性。

统一存储平台：打破数据孤岛，支持Log/Metric/Trace 统一存储。
智能生命周期管理：对于热数据：支持高频访问，毫秒级响应；对于冷数据：提供低频访问，自动转为低频/归档存储，降低存储成本。
高可用与持久性：多副本冗余存储，保障数据不丢失。存储类型可选：标准型、查询型。

查询与分析

高性能查询引擎：支持索引模式（秒级响应百亿数据）、扫描模式（轻量级分析）。内置近百种查询与分析函数（统计、聚合、字符串、时间等），支持跨日志库联合查询（StoreView），SQL 独享版（高精度分析）。
智能生成：支持通过AI智能生成查询与分析语句（Copilot）。
智能运维能力：集成 AIOps，提供异常检测、根因分析、智能巡检能力。支持定时SQL查询，用于报表生成。
兼容多种产品：支持关联外部数据源查询，将MySQL、PostgreSQL、OSS、CSV等数据作为外部存储，并进行查询分析。支持第三方工具查询与分析，可对接Elasticsearch、Azure等第三方工具。

数据监控（可视化与告警）

可视化：提供仪表盘功能，内置10+图表类型（表格、线图、柱状图、地图等）。且支持自定义仪表盘、控制台嵌入、下钻分析，可对接Grafana，QuickBI等第三方系统。
智能告警：提供一站式告警能力，包括告警监控，告警管理，通知（行动）管理等。支持多源、多账号、多条件统一告警。自动智能降噪，消除“告警风暴”。支持电话、短信、钉钉、微信、飞书、webhook等多渠道通知。

数据输出与集成

日志服务支持将日志下载到本地，或将日志投递到其他云产品。也可以借助日志服务平台对日志进行实时消费。

数据消费：支持Spark Streaming、Flume、Flink等实时消费。
数据投递：实时投递至OSS、MaxCompute、TSDB等云产品。

开始使用

为了帮助您快速、高效地使用日志服务，建议遵循以下三个核心阶段。每个阶段都包含基础步骤（建议所有用户完成）和可选/进阶操作（供需要更深入使用的用户参考）。

	使用前准备	数据接入	数据应用
核心目标	了解核心概念，完成基础设置，为数据接入做好准备。	将日志、指标、链路等各类数据安全、高效地传输到日志服务中。	发掘数据价值，通过查询分析、监控告警和数据洞察来驱动业务。
基础步骤	开通日志服务。了解核心资源：Project（项目）与Store（存储库）。创建一个Project。	熟悉数据采集方式，了解可采集范围。创建Store（根据数据模型选择）：Logstore，MetricStore（指标），EventStore（事件）。选择采集方式接入数据：日志采集(Log)，指标采集(Metric)，链路采集(Trace)，事件采集(Event)。	查询分析索引模式：毫秒级快速查询与分析。扫描模式：对原始数据进行全面扫描分析。 AI辅助：使用 `Copilot` 智能生成查询与分析语句。监控与可视化仪表盘：使用仪表盘将数据可视化。告警：设置数据告警规则与策略。
可选/进阶步骤	通过快速入门：采集ECS文本日志体验日志服务。资源规划：预先规划资源层级与生命周期，了解基础资源限制以及资源流控策略。权限管理：通过配置RAM权限进行访问控制或通过限制访问IP控制访问权限。	了解数据存储方式，通过智能存储分层配置存储策略。日志服务在采集时、写入时、写入后等多阶段提供了不同的数据处理器，可根据不同数据处理器的差异说明进行选择，配置数据处理加工规则（脱敏、过滤、富化）。	查询分析 Storeview：支持跨Project，跨存储库数据关联查询。定时SQL查询：设置定时SQL执行，帮助报表生成。 SQL独享版：大数据量时进行高精度分析。关联外部数据源：连接外部数据作为外部存储，进行查询分析。监控与可视化添加过滤器：通过增加过滤条件修改仪表盘展示数据。告警中心大盘：告警信息会记录到默认名为internal-alert-center-log的Logstore中，可进行自定义分析告警日志。对接函数计算实现告警自动处理：支持通过对接函数计算接收告警通知并自动处理告警事件。输出与集成下载日志或向外部进行数据投递。数据实时消费。

如何计费

计费方式

按量付费：适用于业务用量经常变化的场景。
资源包：适用于业务用量相对稳定的场景。

计费模式与计费项

按使用功能计费模式计费项：精细化计费。使用的每一项功能独立收费，适合功能使用明确、可精细化控制成本的场景。
按写入数据量计费模式计费项：简化计费。核心费用是按写入的原始数据量计费，适合查询分析频繁、希望成本模型简单的场景。

常见问题

阿里云会使用我在日志服务上存储的数据吗？

就用户业务数据，阿里云除执行您的服务要求或者法律法规要求外，不进行任何未获授权的使用及披露。更多信息，请参见服务条款。

阿里云内部是否会使用日志服务存储数据？

是的。日志服务是阿里巴巴内部自用的日志及监控平台，经历多次双十一的考验。阿里云内部的开发人员也在很多项目中使用日志服务。

如果数据量突然激增，日志服务如何保证服务不受影响？

日志服务提供弹性伸缩、灵活适配的数据基础框架，具备每天PB级别的弹性伸缩能力。无论是流量高峰还是业务增长都能轻松应对。

如何合理规划日志服务的使用成本

日志服务的使用成本主要可以分为读写，存储两部分。可以针对这两部分进行使用成本的规划。

读写：从Shard分区数量，单次读写流量大小，索引使用等方面进行规划。
存储：从存储周期与存储类型等方面进行规划。

具体请参考费用优化。

如何关闭日志服务/停止计费

若需终止日志服务的计费，需从数据采集和资源存储两方面操作：

关闭日志采集：停止采集后，采集器将不再传输新日志。
清理存储资源：删除日志服务中对应的Project 和 Logstore，确保删除所有关联资源，避免因存储空间占用产生费用。

具体请参考停止计费。

日志服务中的数据可以保存多久？

您可以设置数据永久保存或者仅保存到规定的时间，超过规定保存时间的数据将会自动删除。您也可以开启智能存储分层，将超过特定时间的数据转存为低频或归档数据，以降低数据存储费用。