消费-通过消费组实现高可靠消费

日志处理是一个很大范畴,其中包括实时计算、数据仓库、离线计算等众多点。这篇文章主要介绍在实时计算场景中,如何能做到日志处理保序、不丢失、不重复,并且在上下游业务系统不可靠(存在故障)、业务流量剧烈波动情况下,如何保持这三点...

成本优势

成本优势 日志服务产品在日志处理的三种场景下具有以下成本优势:LogHub:与购买云主机+云磁盘搭建 Kafka 相比,对于 98%场景下用户价格有优势。对小型网站而言,成本为 kafka 的30%以下。提供 RESTful API,可以直接针对移动设备提供数据...

字段值映射处理

日志处理方法 当映射后的字段在原始日志中已存在时的处理方式。overwrite(默认值):覆写原字段。fill:不覆写原字段。JSON配置方式 配置 type 为 processor_dict_map,detail 说明如下表所示。参数 类型 是否必选 说明 SourceKey ...

使用前须知

功能优势 简单:将开发、运维人员从日志处理的繁琐耗时中解放出来,将更多的精力集中到业务开发和技术探索上去。海量:访问日志与CLB实例请求PV成正比,数据规模很大,处理访问日志需要考虑性能和成本问题。日志服务可以1秒钟分析一亿日志...

概述

使用限制 性能限制 使用Logtail扩展插件进行日志处理时,Logtail会消耗更多的资源(以CPU为主),请根据实际情况调整Logtail的参数配置。更多信息,请参见 设置Logtail启动参数。当原始数据量的生成速度超过5 MB/s时,不建议您使用过于复杂...

消费-计量计费日志

将计量日志处理并行化 LogHub下每个日志库可以分配不同Shard(分区),我们可以分配3个分区,3个计量消费程序。为了保证一个用户计量数据总是由一个消费程序处理,我们可以根据用户ID Hash到固定Shard中。例如杭州市西湖区用户写在1号Shard...

采集主机文本日志

日志样例可协助您配置日志处理相关参数,降低配置难度。支持添加多条样例,总长度不超过1500个字符。[2023-10-01T10:30:01,000][INFO]java.lang.Exception:exception happened at TestPrintStackTrace.f(TestPrintStackTrace.java:3)at ...

使用前须知

功能优势 简单:一站式开通、中心化使用,无需关心日志收集、存储、计算、可视化等问题,将开发、运维人员从日志处理的繁琐耗时中解放出来,将更多的精力集中到业务开发和技术探索上去。海量:访问日志与Ingress请求PV成正比,数据规模很大...

使用前须知

功能优势 简单:一站式开通、中心化使用,无需关心日志收集、存储、计算、可视化等问题,将开发、运维人员从日志处理的繁琐耗时中解放出来,将更多的精力集中到业务开发和技术探索上去。海量:访问日志数据规模很大,处理访问日志需要考虑...

Logtail

性能 限制项 限制说明 日志处理吞吐能力 原始日志流量默认限制为20 MB/s(数据被编码压缩后上传,一般压缩率为5~10倍)。超过该日志流量则有可能丢失日志,您可启动参数 max_bytes_per_sec 进行调整。具体操作,请参见 设置Logtail启动参数...

日志采集Agent对比

中心化的日志处理方案有效地解决了在完整生命周期内对日志的消费需求,而日志从设备采集上云是始于足下的第一步。三款日志采集工具 Logstash 开源界ELK stack中的”L”,社区活跃,生态圈提供大量插件支持。Logstash基于JRuby实现,可以跨...

Logtail限制说明

性能 限制项 限制说明 日志处理吞吐能力 原始日志流量默认限制为20 MB/s(数据被编码压缩后上传,一般压缩率为5~10倍)。超过该日志流量则有可能丢失日志,您可启动参数 max_bytes_per_sec 进行调整。具体操作,请参见 设置Logtail启动参数...

使用前须知

功能优势 简单:一站式开通、中心化使用,无需关心日志收集、存储、计算、可视化等问题,将开发、运维人员从日志处理的繁琐耗时中解放出来,将更多的精力集中到业务开发和技术探索上玉me。海量:访问日志与ALB实例请求PV成正比,数据规模很...

通过消费组读取文本日志进行模板发现

日志模板发现 用于对日志数据进行离线、智能的分析,提取和管理日志中的常见模板,帮助您快速了解日志数据。本文介绍通过消费组拉取文本日志进行文本发现的操作步骤。前提条件 已采集日志到源Logstore或Metricstore。具体操作,请参见 数据...

通过消费组读取文本日志进行模板匹配

日志模板匹配通过在线匹配日志和模板,监控日志模板的统计信息,例如数量变化。本文介绍通过读取日志文本进行模板匹配的操作步骤。前提条件 已采集日志到源Logstore或Metricstore。具体操作,请参见 数据采集、接入时序数据。重要 本文中所...

使用Kafka协议上传日志

示例八:Vector配置Kafka协议上传 Vector 是一款轻量级、高性能的日志处理软件,它支持Kafka协议的方式上报日志。下面是Vector通过Kafka兼容模式写入SLS的配置方法。配置示例[sinks.aliyun_sls]type="kafka"inputs=["file_logs"]#定义...

使用前须知

功能优势 简单:一站式开通、中心化使用,无需关心日志收集、存储、计算、可视化等问题,将开发、运维人员从日志处理的繁琐耗时中解放出来,将更多的精力集中到业务开发和技术探索上去。海量:访问日志与CLB实例请求PV成正比,数据规模很大...

Lua脚本规范与常见报错

r=MyRedis(host="r-*.redis.rds.aliyuncs.com",password="*:*",port=6379,decode_responses=True)print(r.prepend_inLua("k","v"))print(r.get("k"))处理Lua脚本超时 现象:由于Lua脚本在 Tair 中是原子执行的,Lua慢请求可能会导致 Tair ...

Lua脚本规范与常见报错

r=MyRedis(host="r-*.redis.rds.aliyuncs.com",password="*:*",port=6379,decode_responses=True)print(r.prepend_inLua("k","v"))print(r.get("k"))处理Lua脚本超时 现象:由于Lua脚本在 Tair 中是原子执行的,Lua慢请求可能会导致 Tair ...

Logtail基本问题

Logtail采集原理包括监听文件、读取文件、处理日志、过滤日志、聚合日志和发送数据等过程。更多信息,请参见 Logtail采集原理。Logtail是否支持日志文件轮转?Logtail支持日志文件轮转。例如app.LOG文件通过日志文件轮转生成app.LOG.1、app...

什么是Logtail

Logtail是日志服务提供的日志采集Agent,用于采集阿里云ECS、自建IDC、其他云厂商等服务器上的日志。本文介绍Logtail的功能、优势、使用限制及配置流程等信息。Logtail多年来一直承载着阿里巴巴集团重要服务的数据采集。每天采集数百万...

分隔符模式解析

功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件。具体操作,请参见 概述。配置说明 参数 描述 原始字段 解析日志前,用于存放日志内容的原始字段,默认值为content。分隔符 请根据您的日志内容...

过滤日志

192.168.*.*""method":"POST""browser":"ali-sls-ilogtail"Logtail插件处理配置 处理结果 日志 是否采集 原因 日志1 不采集 browser 字段的值匹配 丢弃日志 中的正则表达式。日志2 采集 符合条件。日志3 不采集 ip 字段的值不匹配 采集...

过滤处理

Logtail过滤处理插件支持根据日志字段值来进行日志过滤。功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件。具体操作,请参见 概述。配置说明 参数名称 说明 原始字段 解析日志前,用于存放日志...

通过DaemonSet方式采集容器文本日志

如果需要只使用一个Logtail实例收集Kubernetes节点上所有容器的日志,可以使用DaemonSet方式在Kubernetes集群上部署Logtail。本文介绍DaemonSet方式采集容器文本日志的工作原理、使用限制、前提条件、操作步骤等信息。工作原理 DaemonSet...

丢弃字段

配置示例 丢弃日志中的 aaa1 字段和 aaa2 字段,配置示例如下:原始日志"aaa1":"value1""aaa2":"value2""aaa3":"value3"Logtail插件处理配置 处理结果"aaa3":"value3"JSON配置方式 参数说明 配置 type 为 processor_drop,detail 说明如下...

脱敏处理

Logtail脱敏处理插件,用于脱敏日志。功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件。具体操作,请参见 概述。配置说明 参数名称 说明 原始字段 解析日志前,用于存放日志内容的原始字段。脱敏...

添加字段

配置示例 添加 aaa2 字段和 aaa3 字段,配置示例如下:原始日志"aaa1":"value1"Logtail插件处理配置 处理结果"aaa1":"value1""aaa2":"value2""aaa3":"value3"JSON配置方式 参数说明 配置 type 为 processor_add_fields,detail 说明如下表...

正则解析

功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件。具体操作,请参见 概述。配置说明 参数名称 说明 原始字段 解析日志前,用于存放日志内容的原始字段,默认值为content。正则表达式 用于匹配日志...

打包字段

配置示例 将指定的 a 字段和 b 字段打包成JSON字段 d_key,配置示例如下:原始日志"a":"1""b":"2"Logtail插件处理配置 处理结果"a":"1""b":"2""d_key":"{\"a\":\"1\",\"b\":\"2\"}"JSON配置方式 参数说明 配置 type 为 processor_packjson...

JSON解析

功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件。具体操作,请参见 概述。配置说明 参数名称 说明 原始字段 解析日志前,用于存放日志内容的原始字段,默认值为content。解析失败时保留原始字段 ...

重命名字段

配置示例 将 aaa1 字段重命名为 bbb1,将 aaa2 字段重命名 bbb2,配置示例如下:原始日志"aaa1":"value1""aaa2":"value2""aaa3":"value3"Logtail插件处理配置 处理结果"bbb1":"value1""bbb2":"value2""aaa3":"value3"JSON配置方式 参数配置...

Nginx模式解析

功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件。具体操作,请参见 概述。配置说明 参数名称 说明 NGINX日志配置 Nginx配置文件中的日志配置部分,以 log_format 开头。例如:log_format main '$...

字段加密

功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件配置。具体操作,请参见 概述。配置说明 表单配置方式 配置 处理器类型 为 字段加密,相关参数说明如下表所示。参数 说明 原始字段 指定需要加密的...

IIS模式解析

功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件。具体操作,请参见 概述。配置说明 参数名称 说明 日志格式 选择您的IIS服务器日志采用的日志格式,具体说明如下:IIS:Microsoft IIS日志文件...

Apache模式解析

Apache日志简介 Apache服务器会根据Apache日志配置文件中指定的日志打印格式、日志文件路径和名称输出Apache日志。例如 CustomLog"/var/log/apache2/access_log"combined,表示日志打印时使用combined格式,日志文件路径为/var/log/apache2...

数据编码与解码

功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件配置。具体操作,请参见 概述。BASE64编码 您可以通过processor_base64_encoding插件对字段值进行编码。表单配置方式 配置 处理器类型 为 BASE64...

数据脱敏

您在使用Logtail采集日志时,可以使用processor_desensitize插件,将日志中的敏感数据替换为指定字符串或MD5值。本文介绍processor_desensitize插件的参数说明和配置示例。重要 表单配置方式:采集文本日志和容器标准输出时可用。JSON配置...

时间解析

Logtail时间解析处理插件用于解析日志的时间字段,并将解析结果设置为日志的_time_字段。功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件。具体操作,请参见 概述。配置说明 参数名称 说明 原始...

转换IP地址

配置示例 将日志中的IP地址转换成对应的地理位置,示例如下:原始日志"source_ip":"*.*.*.*"Logtail插件处理配置 处理结果"source_ip":"*.*.*.*""source_ip_province_":"浙江省""source_ip_city_":"杭州""source_ip_province_code_":"ZJ"...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
日志服务 云消息队列 Kafka 版 媒体处理 对象存储 视频点播 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用