普通消费概述

日志服务提供数据实时消费功能,支持通过SDK实时消费数据。本文介绍实时消费功能的概念、功能优势、应用场景、计费规则、消费目标等信息。

实时消费

实时消费是指第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的数据。实时消费是对全量数据的顺序读写,类似于消息中间件Kafka的功能。实时消费支持传入日志服务数据处理SPL语句,服务端返回处理结果,详情请参见基于规则消费日志

image

说明

实时消费和查询与分析都是读取数据。关于两者的区别,请参见日志消费与查询区别

应用场景

实时消费适用于流计算、实时计算等场景。实时消费的实时性较强,通常为秒级。您可以自定义存储时间。

功能优势

实时消费具有以下优势:

  • 数据集中

    日志服务已完成不同机器上的数据集中化,您只需通过SDK实时消费采集到的日志服务数据。

  • 分类管理

    您可以利用日志服务的数据分类管理功能,实现不同的应用和产品实时消费不同项目、不同类型的数据。

计费规则

  • 若涉及的Logstore的计费模式为按写入数据量计费模式,实时消费将不产生费用,仅从日志服务公网域名所在接口拉取数据时,会产生外网读取流量(按照压缩后的数据量计算)。具体内容,可参见按写入数据量计费模式计费项。Logstore的计费模式的查看步骤,请参见管理Logstore

  • 若涉及的Logstore的计费模式为按功能付费模式,实时消费涉及多个计费项,包括读写流量、请求费用等。更多信息,请参见按使用功能计费模式计费项

消费目标

日志服务支持的实时消费目标如下表所示。

类型

目标

说明

第三方软件

Splunk

您可以通过Splunk实时消费日志服务的数据。具体操作,请参见阿里云日志服务Splunk Add-on

Flume

您可以通过Flume实时消费日志服务的数据。具体操作,请参见Flume消费

Logstash

您可以通过Logstash实时消费日志服务的数据。具体操作,请参见Logstash消费

QRadar

QRadar等安全信息与事件管理系统可以通过HTTPS协议或Syslog协议实时消费日志服务的数据。具体操作,请参见通过HTTPS投递日志到SIEM通过Syslog投递日志到SIEM

多语言应用

多语言应用(SLS消费协议)

Java、Python、Go等语言的应用作为消费者或消费组消费日志服务的数据。具体操作,请参见通过API消费通过消费组消费数据

云产品

函数计算

您可以通过函数计算实时消费日志服务的数据。具体操作,请参见通过函数计算消费日志数据

Blink

您可以通过实时计算实时消费日志服务的数据。具体操作,请参见实时计算(Flink)消费

云监控

您可以通过云监控实时消费日志服务的数据。具体操作,请参见云监控消费

流式计算

Flink

您可以通过流式计算框架Flink实时消费日志服务的数据。具体操作,请参见Flink消费

Spark

您可以通过流式计算框架Spark实时消费日志服务的数据。具体操作,请参见Spark Streaming消费