矩形树图
本文介绍矩形树图操作步骤及案例。简介 矩形树图，即矩形式树状结构图（Treemap），用...示例 分析NGINX日志中的host分布。select host,count(1)as count group by host order by count desc limit 1000 设置 分类 为 host，数值列 为 count。
通过Logtail跨阿里云账号采集日志
现公司业务调整，计划将两个应用的日志集中采集到阿里云账号A（12*456）下的日志服务中，即将两个应用的日志分别采集到同一个日志服务Project下的不同Logstore中。因此您需要新增一个Logtail采集配置、机器组和Logstore，用于采集和存储...
Logtail采集详情
本文介绍Logtail的采集过程，包括监听日志、读取日志、处理日志、过滤日志、聚合日志和发送日志。采集过程 Logtail采集数据的过程如下：监听日志 读取日志 处理日志 过滤日志 聚合日志 发送日志 说明 更多关于Logtail采集原理的介绍，请...
Logtail采集日志失败的排查思路
如果文件中的日志需要被采集多份，请参见 如何实现文件中的日志被采集多份。确认Logtail采集配置是否已应用到机器组。在 机器组配置 页面，查看是否已将Logtail采集配置应用到机器组。更多信息，请参见 管理机器组。如果未应用到机器组，请...
时间字段转换示例
在查询分析中，往往需要对日志中的时间字段进行处理，例如将时间戳转换成指定格式等，本文档介绍时间字段的常用转换示例。日志中可能有多个记录时间的字段，例如：_time_：用API/SDK写入日志数据时指定的日志时间，该字段可用于日志投递、...
如何调试正则表达式
在配置Logtail采集文本日志时，如果选择完整正则模式解析和采集日志，需要根据您的日志样例配置正则表达式。本文主要介绍在配置正则表达式过程中如何进行调试。重要 本文档可能包含第三方产品信息，该信息仅供参考。阿里云对第三方产品的...
概述
在进行日志数据查询分析时，日志中的部分信息需要和外部存储（ExternalStore）的信息进行关联查询，从而进一步丰富日志服务中的日志数据。外部存储简介 外部存储和Logstore的区别 项目 外部存储（ExternalStore）Logstore 数据存储 日志...
消费组监控与告警
您可以通过日志服务控制台查看日志消费的状态并设置告警。前提条件 已开通服务日志中的 重要日志。具体操作，请参见 开通服务日志。背景信息 一个消费组包含多个消费者，每个消费者消费Logstore中的一部分Shard。同一个消费组下面的消费者...
开启日志采集功能
CloudLens for SLS 支持一键开启日志采集功能，用于采集 全局日志（审计日志、错误日志、监控指标）和 运行日志。本文介绍开启日志采集功能的操作步骤及相关操作。开启 CloudLens for SLS 重要 本操作只需执行一次。开启CloudLens for SLS...
查看Trace实例详情
接入Trace数据后，您可以在Trace实例详情页面，进行查看Trace数据详情、Trace拓扑、入口事务指标、慢Trace，查询和分析日志数据，管理Logstore和Metricstore等操作。前提条件 已接入Trace数据。具体操作，请参见 接入trace数据。进入 Trace...
使用Syslog协议上传日志
您可以使用Rsyslog、Syslog-ng采集日志并通过Syslog协议上传到日志服务。本文介绍通过Syslog协议将日志上传到日志服务的操作步骤。相关限制 Syslog协议必须为标准的 RFC5424 协议。每条日志最大支持64 KB。为保证数据传输安全性，数据传输...
使用CloudLens for SLS对日志服务进行全面观测
开启CloudLens for SLS后，日志服务默认采集 全局日志（审计日志、错误日志、监控指标）以及 运行日志（原实例日志中的重要日志和作业运行日志），以上日志均免费。新开通CloudLens for SLS，全局日志 存储在名称为 log-service-{阿里云主...
API概览
DeletePublicIpAddressPoolCidrBlock 将IP地址段从IP地址池中删除 调用DeletePublicIpAddressPoolCidrBlock接口将IP地址网段从IP地址池中删除。ModifyEipAddressAttribute 修改EIP属性 调用ModifyEipAddressAttribute接口修改指定EIP的名称...
日志字段详情
本文介绍弹性公网IP日志的字段详情。字段 含义_topic_日志主题，固定为 eip type 标明秒级峰值数据属性信息 tid 发送的ID标识 time 发送时间 gw_ip 网关IP地址 eip 弹性公网IP地址 in_Bps 入方向字节速率，单位：Bytes/s out_Bps 出方向...
日志主题（Topic）
日志主题（Topic）是日志服务的基础管理单元。您可在采集日志时指定Topic，用于区分日志。Topic可用于区分不同服务、用户、实例等产生的日志。例如系统A由前端HTTP请求处理模块、缓存模块、逻辑处理模块和存储模块组成，您可设置前端HTTP...
创建和管理IP地址池
您可以先创建IP地址池并为IP地址池添加需要使用的特定网段，在创建 EIP 时可以指定预先创建的IP地址池，EIP 实例的IP地址将从该IP地址池的网段中分配。使用限制 IP地址池功能目前仅对通过权益配额申请的用户开放。如需使用，请在配额中心...
API概览
本文罗列了 日志服务 API。项目（Project）API名称 API说明 CreateProject 创建一个Project。DeleteProject 删除目标Project。UpdateProject 更新某个指定Project的描述信息。GetProject 获取某个指定Project的详细信息。ListProject 列出...
常见问题
本文介绍日志服务CLI工具使用过程中的常见问题。安装时报TLSV1_ALERT_PROTOCOL_VERSION错误 请执行以下命令升级pip后重试。pip3 install pip-U 如何查看CLI使用过程中的日志？生成的警告和错误信息默认保存在~/aliyunlogcli.log 文件。您...
分析Apache日志
apache_Apache访问日志仪表盘包括如下图表：来源IP分布 图展示访问IP地址的来源情况，所关联的查询分析语句如下所示：*|select ip_to_province(remote_addr)as address,count(1)as c group by ip_to_province(remote_addr)limit 100 请求...
数据编码与解码
您使用Logtail采集日志时，可以使用processor_base64_encoding、processor_base64_decoding或processor_md5插件对字段值进行编解码。本文介绍各个插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON...
管理定时SQL任务
SQL结果行数：该执行实例在执行SQL分析后，分析结果中对应的日志行数。写入目标库（Logstore、MetricStore）的数据量。SQL处理数据量：该执行实例在SQL时间窗口内读取到的日志字节数。参与计算的数据量。写目标库行数：该实例将SQL分析结果...
日志分层存储与分析
本视频介绍通过数据加工和数据投递功能实现日志分层存储、分析的解决方案。
GetContextLogs
调用GetContextLogs接口查询指定日志前（上文）后（下文）的若干条日志。接口说明 上下文查询的时间范围为起始日志的前后一天。Host由Project名称和日志服务Endpoint构成，您需要在Host中指定Project。已创建并获取AccessKey。更多信息，请...
自定义分析数据
本文介绍如何在日志服务Logstore中自定义分析ARMS RUM所采集的监控数据。背景信息 ARMS RUM已内置前端监控实时大屏、页面访问速度、会话追踪、JS错误诊断、API请求、API详情等仪表盘，帮助您快速完成前端性能分析、错误定位等。但在真实的...
打包字段
您在使用Logtail采集日志时，可以使用processor_packjson插件将一个或多个字段打包为JSON Object格式的字段。本文介绍processor_packjson插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON配置方式：...
事件配置
示例 将访问日志采集到名为accesslog的日志库中并创建1个快速查询（IP地址和method的PV分布）实现下钻分析。在原始日志中，为 remote_addr 字段设置高级事件为打开快速查询。设置完成后，您在原始日志中单击 remote_addr 即可跳转到快速...
提取日志时间
在使用Logtail采集日志时，可以使用 processor_gotime 插件或 processor_strptime 插件解析原始日志中的时间字段。本文介绍两种插件的参数说明和配置示例。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail采集配置...
电话号码函数
示例 电商公司A通过访问日志中的 mobile 字段和 client_ip 字段，分析哪些客户的电话号码所在地和其访问公司网站的IP地址所在地不同。字段样例 mobile:1881111*client_ip:192.168.2.0 查询和分析语句*|SELECT mobile,client_ip,count(*)as ...
使用前须知
云原生分布式关系型数据库PolarDB-X 1.0联合日志服务推出SQL审计与分析功能，将SQL审计日志投递到日志服务中，实现日志的实时查询、可视化分析、告警、投递、加工等操作。本文介绍PolarDB-X 1.0 SQL审计日志相关的资产详情、费用说明、使用...
使用前须知
日志服务联合原生分布式关系型数据库推出SQL审计与分析功能，将原生分布式关系型数据库中的PolarDB-X 2.0 SQL审计日志投递到日志服务中，实现日志的实时查询、可视化分析、告警、投递、加工等操作。本文介绍PolarDB-X 2.0 SQL审计日志相关...
如何分析非索引字段？
如果您要分析日志（SELECT语句），需要为目标字段创建字段索引且打开对应字段的 开启统计 开关。如果您要分析日志但未提前创建索引或无法创建索引，可通过本文方法解决。创建或重建索引 如果是分析新写入的日志，则直接为目标字段创建索引...
实时计算（Blink）消费
阿里云实时计算通过创建日志服务源表的方式，可以直接消费日志服务中的数据。本文介绍了如何为实时计算创建日志服务源表以及创建过程涉及到的属性字段提取和类型映射。创建日志服务源表 日志服务是实时数据存储，实时计算能将其作为流式...
使用前须知
阿里云弹性公网（Elastic IP Address，简称EIP）联合日志服务推出高精度秒级监控功能，以日志形式将高精度网络带宽监控数据推送到日志服务，帮助您实时监控互联网业务流量变化，及时调整弹性公网IP的带宽峰值。本文介绍弹性公网IP日志相关...
创建IP地址机器组
如果需要采集服务器日志，必须创建机器组并添加相应服务器。日志服务 支持使用服务器IP地址定义机器组，本文介绍创建IP地址机器组的操作步骤。前提条件 已创建Project和Logstore。更多信息，请参见 创建项目Project 和 创建Logstore。已...
Java GC日志分析
Java GC日志分析 Java的自动内存管理和垃圾回收（Garbage Collection，GC）机制大大提高了业务的开发效率，但是在开发过程中因为垃圾回收而导致的长暂停等问题屡见不鲜，GC日志是我们排查GC相关问题时最重要的日志。GC日志冗长，格式多变，...
通过STS实现跨账号访问日志服务资源
在 创建权限策略 页面的 脚本编辑 页签中，将配置框中的原有脚本替换为如下内容。此处配置的权限策略为云账号A授予云账号B的权限内容。如果仅需要写数据，具体权限如下：{"Version":"1","Statement":[{"Action":"log:PostLogStoreLogs",...
OSS访问日志分析
您可以通过日志服务SLS存储和分析OSS日志数据，也可以将OSS日志数据导出并存储到指定的OSS目录长期保存，然后通过数据湖分析服务对长期保存的OSS日志数据进行分析。通过数据湖分析服务（Data Lake Analytics，DLA）分析OSS日志数据前，您...
告警日志字段
设置告警规则后，日志服务自动创建Logstore，以日志方式记录告警的执行与通知信息。本文档介绍告警日志的字段。告警执行历史日志字段 字段名称 说明 示例 AlertDisplayName 告警规则显示名称。告警规则测试 AlertID 每次执行的唯一ID。0fdd...
快速使用WAF日志服务
Web应用防火墙（Web Application Firewall，简称WAF）日志服务通过阿里云日志服务实时地采集已接入WAF防护的网站业务的全量日志，并对采集到的日志数据进行查询与分析，以丰富的仪表盘形式展示查询结果，满足等保合规要求和网站业务的防护...
最佳实践
分析Nginx访问日志 分析Apache日志 分析IIS日志 分析Log4j日志 分析网站日志 查询分析程序日志 分析负载均衡7层访问日志 分页显示查询分析结果 分析行车轨迹日志 分析销售系统日志 数据加工 调用函数清洗数据 事件判断 处理日期时间 数据...
- 产品推荐
- 这些文档可能帮助您