增加日志盘容量
为您介绍增加日志盘容量进行扩容的适用场景及操作注意事项，日志盘扩容为白名单功能，如需使用请联系云数据库 OceanBase 技术支持人员。背景信息 OceanBase 数据库使用独立的日志盘来存储事务日志（OceanBase Commit Log，简称 clog 日志）...
VPC防火墙增加日志字段源目的网络实例ID索引
帮助用户更方便将VPC防火墙日志对接统一分析平台 适用客户 需要将VPC防火墙日志对接统一分析平台的企业机构 新增功能/规格 1)支持获取VPC防火墙日志字段src_network_instance_id用于统一分析 2)支持获取字VPC防火墙日志段dst_network_...
公告：投递到日志服务SLS的事件中增加新字段
操作审计将于2021年07月06日00:00:00起，在投递到日志服务SLS的事件中增加一个新字段requestParameterJson（requestParameters的JSON格式）。此次变更将帮助您更好地分析投递到SLS的事件，而且不会影响您对已有事件的分析。变更说明 操作...
开通日志分析功能
扩容 当前日志存储容量过小时，您可以在 日志分析 页面，单击 扩容，增加日志存储容量。清空日志 如果您不希望已存储的日志继续占用您的日志存储空间，可以在 日志分析 页面，单击 清空。警告 清空日志后，您当前已存储的所有日志数据将被...
开通全量日志分析功能
升级日志存储容量 您可以在 全量日志分析 页面，单击 升级，增加日志存储容量。具体操作，请参见 管理日志存储空间。降配日志存储容量 您可以在 全量日志分析 页面，单击 降配，减小日志存储容量。具体操作，请参见 管理日志存储空间。后续...
成本优化指南
如果您的原始日志存储周期为60天，可以通过数据加工将只关心的20%的日志存储60天，其他日志存储7天即可，这样可以节约12%的成本，并对关心的日志增加1倍存储时间。优化存储内容 如果您持续采集某应用的日志，每天的写入量为100 GB，存储30...
日志聚类
本文介绍日志聚类功能及其操作，包括开启日志聚类、查看聚类结果和原始日志、对比不同时间段的聚类日志数量等。前提条件 已创建Standard Logstore。具体操作，请参见 创建Logstore。已采集日志。具体操作，请参见 数据采集。已配置索引。...
保留字段
若当前Logstore的计费模式为按使用功能计费时，日志服务为日志数据增加的字段按照按使用功能计费方式正常收费，为其开启索引时也会产生少量索引流量及存储费用。更多信息，请参见 按使用功能计费。保留字段 数据格式 索引与统计设置 说明_...
复制和分发数据
您可以看到原始日志已增加tags标签，并且tags为target-a的数据将被分发到target-a，tags为target-b的数据将被分发到target-b。单击 保存数据加工。在 创建数据加工任务 面板，配置如下参数。配置基本信息。参数 说明 任务名称 数据加工任务...
语法简介
条件判断：条件判断e_if：某些日志可以增加条件判断，不满足条件的日志就会跳过本次操作，相当于一个 if 的逻辑。例如 e_if(e_match("status","200"),e_regex("data","ret:\d+","result"))，会首先判断字段 status 是否为 200，如果条件...
调用函数清洗数据
原始日志 data_len:1024 加工规则 e_set("data_len",op_len(v("data",default="")))加工结果 data:0 data_len:0 场景6：判断日志并增加字段（e_if函数与e_switch函数）推荐使用 e_if 函数或 e_switch 函数进行日志判断。更多信息，请参见 ...
快速入门
自动分裂Shard 开启自动分裂功能后，如果您写入的数据量超过已有Shard服务能力，日志服务会自动根据数据量增加Shard数量。如果您确保配置的Shard数量已满足业务需求，可关闭 自动分裂Shard 开关。步骤三：采集日志 创建Logstore成功后，...
管理Logstore
自动分裂Shard 打开 自动分裂Shard 开关后，如果您写入的数据量超过已有Shard服务能力，日志服务会自动根据数据量增加Shard数量。更多信息，请参见 管理Shard。最大分裂数 打开 自动分裂shard 开关后，最多支持自动分裂至256个readwrite...
创建MaxCompute投递任务（新版）
如果整数位超过指定长度，系统会将整条日志作为脏数据丢弃，并增加错误计数。投递过程中，默认丢弃脏数据。对于日志中不存在的值，投递到MaxCompute后，可能为默认值或Null。如果创建MaxCompute表时指定了默认值，那么投递到MaxCompute后，...
管理Shard
您可以通过分裂、合并操作控制活跃的Shard数量来调整日志服务Logstore可以提供的最大读写能力。分裂Shard可以自动触发，但合并Shard必须手动执行。本文为您介绍如何分裂、合并、删除Shard以及设置自动分裂Shard。基本概念 日志服务中的数据...
管理MetricStore
自动分裂Shard 打开 自动分裂Shard 开关后，如果您写入的数据量超过已有Shard服务能力，日志服务会自动根据数据量增加Shard数量。更多信息，请参见 管理Shard。最大分裂数 打开 自动分裂shard 开关后，最多支持自动分裂至256个readwrite...
转换Log为Metric
自动分裂Shard 打开 自动分裂Shard 开关后，如果您写入的数据量超过已有Shard服务能力，日志服务会自动根据数据量增加Shard数量。更多信息，请参见 管理Shard。最大分裂数 打开 自动分裂shard 开关后，最多支持自动分裂至256个readwrite...
管理EventStore
自动分裂Shard 打开 自动分裂Shard 开关后，如果您写入的数据量超过已有Shard服务能力，日志服务会自动根据数据量增加Shard数量。更多信息，请参见 管理Shard。最大分裂数 打开 自动分裂Shard 开关后，最多支持自动分裂至256个readwrite...
字段分析
当日志数目超过了1亿条，会进行采样分析（采样规则是将采样后的数据控制在1亿条左右），如果要避免这种采样，建议您可以缩小时间范围或者增加过滤条件。查看字段分析 登录 日志服务控制台。在Project列表区域，单击目标Project。在控制台...
使用函数计算(FC)通过Syslog协议投递日志到SIEM平台
输入 名称 后，高级选项 配置 服务角色，管理日志服务的角色需要为新建角色增加消费Logstore的权限，其他均保持默认。更多信息，请参见 授予函数计算访问其他云服务的权限 和 指定Logstore的消费权限。创建服务完成后，在 函数管理 页面，...
查询和分析日志
创建索引后，您可以在查询和分析页面对采集到的日志进行实时查询和分析。前提条件 已 创建索引。如果您要分析日志，则需创建 字段索引 并 开启统计。操作视频 您可以参见如下视频完成查询和分析操作。步骤一：输入查询和分析语句 登录 日志...
如何降低索引流量费用？
关闭日志聚类 开启日志聚类功能后，索引总流量增加10%，示例如下表所示：原始日志大小 索引比例 日志聚类功能产生的索引量 索引总流量 100 GB 20%（20 GB）100 GB×10%30 GB 100 GB 40%（40 GB）100 GB×10%50 GB 100 GB 100%（100 GB）100...
日志服务采集数据常见的错误类型
本文介绍日志服务采集数据常见的错误类型及对应的解决方法。如果您遇到其他问题，请提交 工单 处理。错误类型 错误说明 解决方法 LOG_GROUP_WAIT_TOO_LONG_ALARM 数据包从产生到发送的过程中等待的时间较长。检查发送是否正常，或者是否...
开启SQL独享版
当您使用SQL分析时，如果数据量较大，SQL普通版无法在一次查询中完整扫描指定时间段内的所有日志，返回的结果可能不包括所有匹配的数据，增加Shard可以提升读写能力，但只对新写入的数据生效。您可以通过开启SQL独享版，增加计算资源，提升...
服务入口
本文介绍日志服务不同网络类型的服务入口。查看服务入口 服务入口（Endpoint）表示日志服务对外服务的访问域名。日志服务提供私网域名和公网域名，不同网络的接入方式请参见 使用Logtail收集各网络日志数据。在Project列表区域，单击目标...
分区（Shard）
日志服务使用Shard控制Logstore或MetricStore的读写数据的能力，数据必定保存在某一个Shard中。Shard范围 每个Shard均有范围，为MD5左闭右开区间[BeginKey,EndKey)。每个Shard范围不会相互覆盖，且属于整个MD5范围内...
使用资源函数增量获取数据
使用增量拉取模式获取数据时，日志服务每次只拉取新增或更新的数据，效率高。本文介绍如何使用res_rds_mysql函数增量获取RDS MySQL数据库中的数据。前提条件 日志服务 已上传数据到日志服务源Logstore中。具体操作，请参见 数据采集。已...
查看全局数据
日志量整体趋势、产品日志量趋势 过去30天的日志量趋势 当天的统计有一小时延迟 OSS全局数据 仪表盘 描述 总日志量、小时日志量、天日志量 OSS日志全局统计 访问日志总日志量、小时日志量、天日志量 访问日志统计 计量日志总日志量、小时...
算法说明
文本分析中的算法采用LogParser和异常检测技术，提供日志分析报表帮助您了解日志的全局信息和可能存在的异常情况，包括：通过日志报表快速定位可能出现异常的日志类别（例如新出现的日志类别，异常分数Top5的日志类别等），缩小人工排查的...
快速使用WAF日志服务
Web应用防火墙（Web Application Firewall，简称WAF）日志服务通过阿里云日志服务实时地采集已接入WAF防护的网站业务的全量日志，并对采集到的日志数据进行查询与分析，以丰富的仪表盘形式展示查询结果，满足等保合规要求和网站业务的防护...
开启或关闭日志服务
Web应用防火墙（Web Application Firewall，简称WAF）默认关闭日志服务功能。如果您需要存储防护对象的日志数据，并对日志数据进行查询与分析，您需要先开启WAF日志服务。如果您不再需要使用日志服务，您可以降配日志存储容量（包年包月...
过滤日志
您在使用Logtail采集日志时，您可以使用processor_filter_regex插件或processor_filter_key_regex插件过滤日志。本文介绍各个插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON配置方式：采集文本日志...
日志索引表
云产品分类 CloudLens应用 日志类型 存储 CloudLens for SLS 重要日志（消费组延迟日志、Logtail告警日志、Logtail采集日志、Logtail状态日志）详细日志 任务运行日志（定时SQL任务运行日志、数据导入、投递等任务的运行日志）错误日志 ...
日志设置与日志容量管理
开通日志服务后，您可以根据业务防护及分析需要，设置日志字段和存储类型，开启或关闭防护对象日志采集功能，修改日志存储时长，更有效地利用日志容量。您也可以实时查看日志容量，及时升级容量，避免日志数据无法写入专属日志库。本文介绍...
日志（Log）
日志服务采用半结构化的数据模式定义一条日志，包含日志主题、日志时间、日志内容、日志来源和日志标签五个数据域。日志服务对各个数据域的格式要求不同，详细说明如下表所示。数据域 说明 格式 日志主题 日志服务保留字段（_topic_）用于...
管理服务日志
背景信息 开启服务日志功能时，您可以选择服务日志的类型，包括 详细日志、重要日志、任务运行日志，日志类型的说明请参见 日志类型。详细日志：详细日志会在您选择的Project创建名称为 internal-operation_log 的LogStore，在当前Project...
通过消费组读取文本日志进行模板匹配
日志模板匹配通过在线匹配日志和模板，监控日志模板的统计信息，例如数量变化。本文介绍通过读取日志文本进行模板匹配的操作步骤。前提条件 已采集日志到源Logstore或Metricstore。具体操作，请参见 数据采集、接入时序数据。重要 本文中所...
Logtail采集详情
本文介绍Logtail的采集过程，包括监听日志、读取日志、处理日志、过滤日志、聚合日志和发送日志。采集过程 Logtail采集数据的过程如下：监听日志 读取日志 处理日志 过滤日志 聚合日志 发送日志 说明 更多关于Logtail采集原理的介绍，请...
开通日志分析功能
云防火墙联合日志服务推出了日志分析功能，可以实现对防护资产流量日志的实时采集、查询、分析、加工和消费等一站式服务，帮助您有效监控和保护网络资产安全，满足等保合规要求。本文介绍如何在云防火墙控制台上开通日志分析功能，从而将...
常见问题
如何采集K8s集群的容器日志 SLB访问日志采集不到 日志采集Agent对比 Windows系统的ECS安装Logtail服务日志提示异常信息 如何配置日志服务的时间转换格式 数据存储常见问题 日志服务如何存储、管理用户的日志？删除日志库，日志数据是否丢失...
- 产品推荐
- 这些文档可能帮助您