读取CDN日志数据
您可以在DMS页面编写SQL创建OSS Schema、创建日志文件表以及读取日志文件数据，也可以通过MySQL客户端或者MySQL命令行工具连接DLA，然后编写SQL创建OSS Schema、创建日志文件表以及读取日志文件数据。CREATE SCHEMA cdn_log_schema with ...
通过消费组读取文本日志进行模板匹配
本文介绍通过读取日志文本进行模板匹配的操作步骤。前提条件 已采集日志到源Logstore或Metricstore。具体操作，请参见 数据采集、接入时序数据。重要 本文中所涉及的Logstore为Standard Logstore。更多信息，请参见 管理Logstore。已创建...
通过消费组读取文本日志进行模板发现
日志模板发现 用于对日志数据进行离线、智能的分析，提取和管理日志中的常见模板，帮助您快速了解日志数据。本文介绍通过消费组拉取文本日志进行文本发现的操作步骤。前提条件 已采集日志到源Logstore或Metricstore。具体操作，请参见 数据...
GetCloudMetricLogs-读取性能指标日志
调用GetCloudMetricLogs读取EHPC性能指标（CloudMetrics）日志。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，...
在控制台上查询和分析日志是否会产生外网读取流量？
从日志服务公网域名所在接口拉取数据时，会产生外网读取流量（按照压缩后的数据量计算）。日志服务仅支持外网程序通过SDK消费日志服务中的数据，所以您在控制台上的所有操作（例如查询和分析日志、加工、投递等），都属于内网访问，不会...
Linux实例启动后网卡无法成功配置或无法正确读取和...
本文介绍Linux实例启动后网卡无法成功配置或无法正确读取和显示，查看系统日志提示"virtio_net: probe of virtio2 failed with error -16"错误时的问题原因及解决方案。问题现象 Linux实例启动后，网卡无法成功配置或无法正确读取和显示，...
对接JDBC
本文以实际案例演示如何使用JDBC连接日志服务、读取日志数据，及使用MySQL协议和SQL语法来计算日志。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_...
日志组（LogGroup）
日志组（LogGroup）是一组日志的集合，是写入与读取日志的基本单元。一个日志组中的数据包含相同Meta（IP地址、Source等信息）。写入日志到日志服务或从日志服务读取日志时，多条日志被打包为一个日志组，以日志组为单元进行写入与读取。该...
数据投递仪表盘
投递成功行数总计：从源Logstore的各个Shard中读取日志后，投递到目标云产品成功的日志条数。投递失败行数总计：从源Logstore的各个Shard中读取日志后，投递到目标云产品失败的日志条数。每秒投递行数 统计每分钟窗口内，数据投递任务处理...
Logtail采集详情
本文介绍Logtail的采集过程，包括监听日志、读取日志、处理日志、过滤日志、聚合日志和发送日志。采集过程 Logtail采集数据的过程如下：监听日志 读取日志 处理日志 过滤日志 聚合日志 发送日志 说明 更多关于Logtail采集原理的介绍，请...
数据加工仪表盘
投递日志数总计：从源Logstore的各个shard中读取日志并成功写入到目标Logstore的日志条数总计。失败日志数总计：从源Logstore的各个shard中读取日志并在加工过程中发生失败的日志条数总计。投递日志数占比：成功投递到目标Logstore的日志条...
日志消费与查询区别
可以从指定Shard中，按照日志写入Shard的顺序批量读取日志。根据接收日志的时间，设置批量读取Shard日志的起始位置（cursor）。日志查询（LogSearch）提供海量日志查询和分析功能，根据条件进行日志查询与统计。通过查询条件查找符合要求的...
数据加工概述
适用场景 数据规整（一对一）：从源Logstore中读取日志数据，进行加工后输出到目标Logstore中。数据分派（一对多）：从源Logstore中读取日志数据，进行加工后分别输出到不同的目标Logstore中。数据融合（多对一）：分别从不同的源Logstore...
错误码
请您优化读取日志请求，减少读取日志数量。更多信息，请参见 使用限制。403 MetaOperationQpsLimitExceeded Qps limit for the meta operation is exceeded.超出默认设置的QPS阈值。请您优化资源操作请求，减少资源操作次数。建议您延迟几...
简介
为了读取日志数据，需要您授权日志服务账号访问日志数据。更多信息，请参见 创建可信实体为阿里云服务的RAM角色及授权。授权用户角色操作日志服务 RAM用户角色是一种虚拟用户，它没有确定的身份认证密钥，且需要被一个受信的实体用户（比如...
普通消费
SDK消费 本示例中，创建一个PullLogsDemo.java文件，并调用接口读取日志数据，完成普通消费的演示。示例如下所示。关于日志服务SDK的更多信息，请参见 日志服务SDK参考。import com.aliyun.openservices.log.Client;import ...
常见问题
例如执行SQL分析的权限，读取日志库数据的权限。确保已提供足够的计算资源。资源限制说明请参见 查询与分析的使用限制。避免使用逻辑过于复杂的SQL语句以及SQL时间窗口设置过大，否则将导致计算超时（服务端超时时间为10分钟）。通过定时...
什么是日志服务
日志组（LogGroup）日志组是一组日志的集合，是写入与读取日志的基本单位。一个日志组中的日志包含相同Meta信息（IP地址、Source等信息）。更多信息，请参见 日志组（LogGroup）。时序数据（Metric）时序数据是指时间序列数据。更多信息，...
快速入门
更多信息，请参见 读取日志。背景信息 本示例中待采集的日志路径为/var/log/nginx/access.log，日志样例为 127.0.0.1-[10/Jun/2022:12:36:49+0800]"GET/index.html HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Macintosh;Intel Mac OS X 10_13_6)...
术语表
日志组（LogGroup）日志组是一组日志的集合，是写入与读取日志的基本单位。一个日志组中的日志包含相同Meta信息（IP地址、Source等信息）。更多信息，请参见 日志组（LogGroup）。时序数据（Metric）时序数据是指时间序列数据。更多信息，...
Storm消费
为了降低Storm消费的代价，日志服务提供了LogHub Storm Spout来实时读取日志数据。基本结构和流程 图 1.基本结构和流程 上图中红色虚线框中是LogHub Storm Spout，每个Storm Topology会有一组Spout，同组内的Spout共同负责读取Logstore中...
采集主机文本日志
更多信息，请参见 读取日志。操作步骤 登录 日志服务控制台。在 接入数据 区域中，根据需要选择包含 文本日志 后缀的入口。本文以采集主机中的多行文本日志为例。在 选择日志空间 页面，按照选择目标Project和Logstore，单击 下一步。在 ...
日志类型
12 read_avg_delay 时间窗口内平均每次读取日志数据时，当前偏移量与文件大小差值的平均值。65 read_count 时间窗口内日志读取次数。10 read_offset 当前读取到文件偏移位置，单位：字节。12345 regex_match_failures 正则表达式匹配失败...
产品架构
为了同步正在进行的数据变更，DTS使用两个处理事务日志的模块：事务日志读取模块：日志读取模块从源实例读取原始数据，经过解析、过滤及标准格式化，最终将数据在本地持久化。日志读取模块通过数据库协议连接并读取源实例的增量日志。如果...
Postgres CDC（公测中）
如果下游算子或存储支持幂等性，可以启用 scan.incremental.snapshot.backfill.skip=true 以跳过全量阶段的日志读取，这样做的缺点是仅能提供至少一次（At-Least Once）的语义保证。如果SQL要做聚合、关联等操作，不建议跳过全量阶段日志的...
通过Sidecar-控制台方式采集容器文本日志
更多信息，请参见 读取日志。背景信息 通过Sidecar模式采集日志，依赖于Logtail容器和业务容器共享的日志目录。业务容器将日志写入到共享目录中，Logtail通过监控共享目录中日志文件的变化并采集日志。更多信息，请参见 Sidecar日志采集...
如何使用Logtail自动诊断工具
更多信息，请参见 读取日志。诊断流程 下载及运行诊断工具 登录Linux服务器。下载诊断工具脚本。wget http://logtail-release.oss-cn-hangzhou.aliyuncs.com/linux64/checkingtool.sh -O checkingtool.sh 安装curl工具。Logtail自动诊断...
使用IIS配置模式采集日志
更多信息，请参见 读取日志。背景信息 服务器会根据您所选择的日志格式（IIS、NCSA和W3C）生成IIS日志。在IIS配置模式下，Logtail会将日志内容结构化。日志格式#Fields:date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-...
PolarDB PostgreSQL版架构介绍
主节点切换到只读节点时，只读节点接管数据更新时，存储中的页面可能是旧的，需要读取日志重新对脏页的恢复。对于第一个问题，我们需要有页面多版本能力；对于第二个问题，我们需要主库控制脏页的刷脏速度。HTAP架构概述 读写分离后，单个...
插件配置概述
logstash-input-oss插件使用说明 logstash-input-sls 从阿里云日志服务SLS读取日志。logstash-input-sls插件使用说明 output logstash-output-datahub 传输数据至阿里云流式数据服务DataHub。logstash-output-datahub插件使用说明 logstash...
新功能发布记录
本文介绍通过读取日志文本进行模板匹配的操作步骤。全部地域 通过消费组读取文本日志进行模板匹配 CloudLens for SLS CloudLens for SLS控制台界面更新。CloudLens for SLS支持的地域 使用前须知 开启日志采集功能 数据导入流程优化 日志...
使用分隔符模式采集日志
更多信息，请参见 读取日志。背景信息 Logtail分隔符模式支持通过分隔符将一条日志分割成多个Value，您需要为Value指定对应的Key。分隔符模式只适用于采集单行日志。如果您要采集多行日志，建议您使用 极简多行模式 或 完整正则模式。原始...
通过DaemonSet-CRD方式采集容器日志
更多信息，请参见 读取日志。功能特点 Logtail支持将容器产生的文本日志、标准输出和容器相关的元数据信息一起上传到日志服务。Logtail具备以下功能特点。采集文本日志时，只需配置容器内的日志文件路径，无需关心该路径到宿主机的映射。...
通过Sidecar-CRD方式采集容器文本日志
更多信息，请参见 读取日志。背景信息 通过Sidecar模式采集日志，依赖于Logtail容器和业务容器共享的日志目录。业务容器将日志写入到共享目录中，Logtail通过监控共享目录中日志文件的变化并采集日志。更多信息，请参见 Sidecar日志采集...
通过DaemonSet方式采集容器文本日志
更多信息，请参见 读取日志。对于不同容器引擎，必须确认对应的UNIX域套接字存在，而且确保Logtail有相应UNIX域套接字的访问权限。Docker：/run/docker.sock。Containerd：/run/containerd/containerd.sock。创建Logtail采集配置 警告 通过...
日志采集Agent对比
功能对比 功能项 Logstash Fluentd Logtail 日志读取 轮询 轮询 事件触发 文件轮转 支持 支持 支持 Failover处理（本地checkpoint）支持 支持 支持 通用日志解析 支持grok（基于正则表达式）解析 支持正则表达式解析 支持正则表达式解析 ...
查看日志
通过SQL命令查看错误日志 SQL Server 2016及以下版本的实例仅支持通过存储过程 sp_rds_read_error_logs 读取错误日志，使用方法与 sp_readerrorlog 相同。示例1：EXEC sp_rds_read_error_logs 示例2：EXEC sp_rds_read_error_logs 0,1,'...
复制和分发数据
授权方式 授予日志服务读取源日志库中数据的权限。以默认角色为例，选择 默认角色。配置target-a存储目标。参数 说明 目标名称 存储目标名称。输入 target-a。目标Region 目标Project所在地域。选择 华东1（杭州）。目标Project target-a...
消费-计量计费日志
app-myapplication ProjectId:573 LogStore:perf UserAgent:ali-sls-logtail APIVersion:0.5.0 RequestId:56DFF2D58B3D939D691323C7 计量计费程序读取原始日志，根据规则生成用户在各维度使用数据（包括流量、使用次数、出流量等）：典型...
什么是Logtail
说明 Logtail不支持采集历史日志，对于一条日志，读取该日志的时间减去日志中记录的时间，差值超过12小时会被丢弃。如果您要采集历史日志文件，请参见 导入历史日志文件。自动处理日志轮转 很多应用会按照文件大小或者日期对日志文件进行...
- 产品推荐
- 这些文档可能帮助您