离线采集IDC资源（Windows）
主流的类Windows 系统，详情请参考文档：支持列表 运行环境准备 Windows IDC资源采集工具（简称 win-scanner）需要安装和运行在工具服务器上，最佳的工具服务器应该是传统运维系统中的跳板机，工具服务器与其他被采集服务器需要在同一网络...
如何通过完整正则模式采集多种格式日志
如果文件中的日志需要被采集多份，请参见 如何实现文件中的日志被采集多份。Schema-On-Read：使用它们共同的正则表达式来采集。例如采用多行日志采集，将时间和日志等级作为行首正则，剩余部分为message。如果希望进一步分析message，可以...
远程配置
埋点配置模块是远程配置应用端采集行为的模块...日志发送限制 在APP端默认日志发送间隔为3s，该值可以进行调整，调整范围为3s-90s 黑名单用户配置 填写设备ID（utdid），则该设备的日志不会被采集和上报。utdid可在用户洞察的个人细查中获取。
数据采集
日志数据采集 内部的各类日志会被采集并发送到SLS日志服务系统中进行统一的存储和加工，日志数据主要包括：审计日志：用于记录用户的所有的操作行为，例如DDL操作和DML操作等。查询详情日志：用于记录一条查询在执行过程中的详细信息，包括...
日志主题（Topic）
当日志被采集到的同一个Logstore中后，您可通过Topic进行区分。如果不需要区分Logstore中的日志，则在采集日志时设置Topic为 空-不生成Topic 即可。空字符串是一个有效的Topic，即Topic的值为空字符串。Logstore、Topic、Shard之间的关系...
离线采集IDC资源（Linux）
操作视频 准备工作 重要 目前被调研机器仅支持类Unix 系统，详情请参考文档：支持列表 运行环境准备 服务器选择 IDC资源采集工具（简称idc-scanner）需要安装和运行在工具服务器上，工具服务器与其他被采集服务器需要 SSH 互通，最佳的工具...
ECI日志采集对接Kafka
本文介绍如何将ECI实例的日志采集到Kafka中。前提条件 ECI实例和Kafka之间...结果验证 配置完成后，您可以看到ECI日志已经被采集到Kafka。例如：如果使用的是阿里云 云消息队列 Kafka 版，可以在 消息查询 页面查询到ECI的日志，如下图所示。
Logtail常见问题
如何实现文件中的日志被采集多份 使用CloudLens排查文件、目录数超限问题（STAT_LIMIT_ALARM、DIR_EXCEED_LIMIT_ALARM）使用CloudLens排查iLogtail文件重复配置问题（MULTI_CONFIG_MATCH_ALARM）使用CloudLens排查iLogtail采集配置错误问题...
如何实现文件中的日志被采集多份
本文介绍如何实现文件日志被采集多份。背景信息 当多个Logtail采集配置匹配同一个文件时，会导致多倍的CPU、内存、磁盘IO和网络IO资源占用，将影响同一台服务器部署的其他服务性能，因此默认情况下，一个文件只能匹配一个Logtail采集配置。...
Logtail采集日志失败的排查思路
如果文件中的日志需要被采集多份，请参见 如何实现文件中的日志被采集多份。确认Logtail采集配置是否已应用到机器组。在 机器组配置 页面，查看是否已将Logtail采集配置应用到机器组。更多信息，请参见 管理机器组。如果未应用到机器组，请...
采集客户端数据的高可用方案
重要 您需要在Logtail启动参数中设置"accept_multi_config":true 或在创建Logtail配置时，在 扩展配置 中添加 {"force_multiconfig":true}，使得文件中的日志可被采集多份。具体操作，请参见 如何实现文件中的日志被采集多份。后续进行修改...
过滤日志
说明 日志字段的值完全匹配 采集日志 中的正则表达式，且不匹配 丢弃日志 中的正则表达式时，日志才会被采集，否则直接丢弃。参数 说明 采集日志 输入日志字段名和该字段值匹配的正则表达式。如果原始日志中的目标字段值符合对应的正则表达...
采集主机文本日志
本文介绍如何使用Logtail采集主机文本日志。前提条件 已创建Logtail机器组并添加相应服务器...如果同一份日志需要被采集多份，请参见 如何实现文件中的日志被采集多份。将企业内网服务器日志采集到日志服务，请参见 采集企业内网服务器日志。
Logtail
如果文件中的日志需要被采集多份，请参见 如何实现文件中的日志被采集多份。重要 采集多份时，文件读取的IO、计算资源和网络IO都会线性增加。文件打开行为 Logtail会保持被采集的文件和轮转队列中待采集的文件处于打开状态，以保证采集数据...
Logtail限制说明
如果文件中的日志需要被采集多份，请参见 如何实现文件中的日志被采集多份。重要 采集多份时，文件读取的IO、计算资源和网络IO都会线性增加。文件打开行为 Logtail会保持被采集的文件和轮转队列中待采集的文件处于打开状态，以保证采集数据...
小程序 SDK
用于设置采集的项的黑白名单，可以在黑名单和白名单中选择其一，如果选择白名单的方式，那么只有符合标准的页面会被采集，如果选择的是黑名单的方式，那么符合标准的页面不会被采集。此项非必须参数，用于判断是否过滤日志，包含如下属性。...
开启数据采集功能
性能指标是中心化存储，当前阿里云账号下的所有PolarDB MySQL集群的性能指标都会被采集到一个Metricstore中。您需要在首次开启性能指标的采集功能时，需选择一个目标地域。更多信息，请参见 资产说明。相关操作 开启CloudLens for PolarDB...
快速入门
如果文件中的日志需要被采集多份，请参见 如何实现文件中的日志被采集多份。在 创建成功 对话框中，单击 数据接入向导。在 快速数据接入 对话框的 自建开源/商业软件 页签下，单击 单行-文本日志 对应的 立即接入。创建机器组。使用场景 ...
Web SDK
如果选择的是黑名单的方式，那么符合标准的页面不会被采集 此项非必须参数，用于根据页面地址判断是否过滤日志，包含如下属性 属性 含义 默认 类型 mode 匹配模式 当值为ignore，表示黑名单模式，命中规则的不上报、当值为match，表示白...
调用链采样配置最佳实践
调整采样是目前解决这类问题最高效且主流的方式，但具体配置什么样的采样策略，能够在可控的资源开销和费用成本内，最大程度保证错、慢、异常等链路被采集，从而最大限度保障性能监控和问题排查的使用需求。本文将重点围绕不同业务场景下...
使用Logtail采集日志治理本地日志
查询分析配置：在右侧 预览数据 区域，可以查看被采集的日志，单击 自动生成索引 并单击 确认。您可以根据自身需求选择关闭部分字段的 开启统计 开关，然后单击 下一步 完成配置。不推荐更改自动生成索引。详细配置，请参见 创建索引。步骤...
使用日志服务采集数据平面的AccessLog
步骤三：查看日志 完成配置后，Envoy Access Log将被采集并存储到日志服务您指定的LogProject和LogStore中。您可以通过以下步骤来查看日志。登录 ASM控制台，在左侧导航栏，选择 服务网格>网格管理。在 网格管理 页面，单击目标实例名称，...
使用日志服务采集数据平面的AccessLog
步骤三：查看日志 完成配置后，Envoy Access Log将被采集并存储到日志服务您指定的LogProject和LogStore中。您可以通过以下步骤来查看日志。登录 ASM控制台，在左侧导航栏，选择 服务网格>网格管理。在 网格管理 页面，单击目标实例名称，...
ECI日志采集对接Kafka
plugin:flushers:type:flusher_kafka#flusher类型为Kafka detail:Brokers:192.XX.XX.XX:9092#配置Kafka Broker地址-192.XX.XX.XX:9092-192.XX.XX.XX:9092 Topic:log 结果验证 配置完成后，您可以看到ECI日志已经被采集到Kafka。例如：如果...
Logtail采集详情
只有符合过滤器配置的日志被采集。聚合日志 为降低网络请求次数，在日志处理、过滤完毕后，会在Logtail内部缓存一段时间后进行聚合打包，再发送到日志服务。缓存数据后，触发打包日志发送到日志服务的条件如下：日志聚合时间超过3秒。日志...
开启实时日志投递
DCDN实时日志被采集后将投递到日志服务的指定地域进行存储，对应表如下：（DCDN）采集区域 SLS投递区域 中国内地 华东1（杭州）华东2（上海）华北1（青岛）华北2（北京）华北3（张家口）华南1（深圳）欧洲 德国（法兰克福）美国 美国（硅谷...
采集Job任务的日志
但是对于在虚拟节点的ECI上运行的Job任务，由于ECI不支持DaemonSet，当Job任务运行结束后，Pod会立即退出，此时日志可能还未被采集完成。针对上述场景，您可以采用以下方式来采集ECI上运行的Job任务的日志：为Job挂载NAS文件系统，将输出的...
附录：数据地图权限管控能力总览
默认情况下，所有MaxCompute项目下的元数据会被采集并在数据地图展示。在 数据地图 页面，鼠标悬停至左侧导航栏的 图标，选择 配置管理>项目管理配置，即可进入工作空间管理页面，配置数据地图需展示的项目元数据，详情请参见 项目管理配置...
通过Logtail跨阿里云账号采集日志
更多信息，请参见 如何实现文件中的日志被采集多份。此处创建Logtail采集配置成功后，请删除阿里云账号B下的原有Logtail采集配置，避免重复采集日志。如何删除，请参见 删除Logtail采集配置。预览数据及设置索引，单击 下一步。日志服务...
实时日志投递
日志被采集后将仅能投递到SLS的指定区域进行存储，对应表如下：（DCDN）采集区域 SLS投递区域 中国内地 华东1（杭州）华东2（上海）华北1（青岛）华北2（北京）华北3（张家口）华南1（深圳）欧洲 德国（法兰克福）美国 美国（硅谷）印度 ...
通过Logtail跨阿里云账号采集容器日志
更多信息，请参见 如何实现文件中的日志被采集多份。此处创建Logtail采集配置成功后，请删除阿里云账号B下的原有Logtail采集配置，避免重复采集日志。如何删除，请参见 删除Logtail采集配置。预览数据及设置索引，单击 下一步。日志服务...
采集MySQL Binlog（计划弃用）
如果某个表名称不符合 包含的表 中的任一条件，则该表中的数据不会被采集。忽略的表 忽略的表名称（包括数据库名称，例如test_db.test_table），支持正则表达式。如果需要完全匹配，请加上前缀^，加上后缀$，例如^test_db\\.test_table$。...
埋点开发
页面编码：控件所在的页面编码，默认值如下，提供了API可以进行修改 android：默认为activity iOS：默认为classname 小程序：默认为页面path web：默认为页面url（不带参数）页面名称：页面编码在QT后台被管理赋予的页面名称，若没有被管理...
自定义配置ECI日志采集
project','Container.1.EnvironmentVar.6.Key':'aliyun_logs_file-test_machinegroup','Container.1.EnvironmentVar.6.Value':'eci-test-mg',创建ECI实例时，按上述配置开启日志采集并传入环境变量后，该ECI实例的日志能被采集到对应项目的...
ACK容器下Java应用接入Profiling
在微服务架构中，OpenTelemetry提供了一个强大的跟踪框架，能够捕捉到在分布式系统中服务之间...这里指定了service.name为payment的Span将会被采集-name:"profiling with span name"type:SPAN_NAME attributes:pattern:"Get*"#支持正则表达式
Elastic Agent采集自定义日志数据
在 Custom log file 区域，输入被采集日志在ECS中的路径（Log file path），例如/var/log/a2.log。单击 高级选项，自定义数据集名称（Dataset name）。说明 数据集名称将决定数据在Elasticsearch中的索引名称。定义新的数据集名称，数据将...
配置日志收集
通常日志服务默认查询最近15分钟内的查询结果，并且在配置SLS收集前产生的文件内容不会被采集到SLS中。如果日志服务无数据显示，建议使用Webshell查看您的应用是否有文件日志信息。如果没有，请检查您的应用。EDAS容器服务K8s和Serverless ...
通过Sidecar方式采集Kubernetes容器文本日志
（推荐）通过CRD 管理Logtail采集配置 通过CRD可以自定义Kubernetes资源，为了便于通过云原生方式管理Logtail采集配置，日志服务定义了 AliyunLogConfig 这种CRD，它基本等价于Logtail采集配置。用户可以向kube-apiserver提交YAML配置文件...
如何使用Logtail自动诊断工具
机器组心跳成功，但日志文件没有被采集时，请选择此项。机器组心跳异常检查 选择机器组心跳异常检查后，Logtail自动诊断工具将执行下述一系列的检查。检查基础环境是否正常。是否安装Logtail。是否运行Logtail。SSL状态是否正常。与日志...
通过DaemonSet方式采集Kubernetes容器文本日志
日志文件采集停止：docker：当容器被停止时，Logtail会立刻释放容器文件句柄，容器可正常退出。如果在容器停止前，出现因网络延迟、资源占用多等原因导致的采集延时，可能会丢失容器停止前的部分日志。containerd：当容器被停止时，Logtail...
- 产品推荐
- 这些文档可能帮助您