配置通用数据库审计
您可以在数据库服务器或应用服务器上安装Logtail和抓包工具，采集数据库的所有活动记录，实现数据库审计。本文介绍配置通用数据库审计的操作步骤。前提条件 已有可用的数据库。已创建Project。具体操作，请参见 创建Project。操作步骤 登录...
使用RDS内网地址访问RDS MySQL数据库
当您的数据分散存储在日志服务Logstore和RDS MySQL数据库中时，您可以通过日志服务数据加工功能从对应数据库获取数据，实现数据富化。本文介绍如何配置数据加工规则及高级参数，实现通过RDS内网地址访问RDS MySQL数据库获取数据。背景信息 ...
CreateStoreView-创建数据集
my_storeview storeType string 是 数据集类型，支持两种类型，当创建时序库数据集时 storeType 指定为 metricstore，当创建日志库数据集时，storeType 指定为 logstore。logstore stores array 是 日志库或者时序库列表。StoreViewStore ...
pull_log_dump
调用CLI命令并发下载大量日志数据到本地文件。请求语法 aliyunlog log pull_log_dump-project_name=<value>-logstore_name=<value>-from_time=<value>-to_time=<value>-file_path=[-batch_size=][-compress=][-encodings=][-shard_list=][-...
get_log_all
该命令适用于获取大量日志数据的场景。请求语法 aliyunlog log get_log_all-project=<value>-logstore=<value>-from_time=<value>-to_time=[-topic=][-query=][-reverse=][-offset=][-access-id=][-access-key=][-sts-token=][-region-...
日志字段详情
字段 说明_topic_日志主题 redis_audit_log：DB节点的审计日志 redis_proxy_audit_log：Proxy节点的审计日志 account 数据库账号名称 command 执行的Redis命令 db 数据库名称 extend_information 附加信息 instanceid Redis实例ID ip IP...
导入Kafka数据
本文介绍导入Kafka数据到日志服务所涉及的使用限制。采集限制 限制项 说明 压缩格式 Kafka Producer采用的压缩格式需被限制为gzip、zstd、lz4或snappy。其他压缩格式的Kafka数据会被丢弃。数据处理流量观测 仪表盘中的写失败条数代表被丢弃...
高级管理
说明 由于相同地域 PolarDB-X 1.0 数据库的SQL审计日志存储在同一Logstore中，如果修改了Logstore的审计日志存储时间，该修改会对该地域下所有 PolarDB-X 1.0 数据库生效。即仅支持修改同一地域所有数据库的日志保存时间，不支持修改某一...
备份大小
备份大小=数据备份的大小+日志备份的大小 查看备份大小 登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在左侧导航栏中，选择 实例列表>MySQL。找到目标实例，单击 操作 列的 详情。在 基本信息 页面右下角，查看备份大小。...
通知内容常见问题
由于告警消息体存在长度限制，当触发告警的原始日志太多时，告警通知中只采样展示部分数据。例如在内容模板中引用了 fire_results 变量，而 fire_results 变量值超过2KB，并且查询结果字段内容的长度超过1KB时，超出部分会被截断。如果您想...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
检查和修改 Oracle 实例的系统配置 您需要进行下述操作：在源端 Oracle 数据库开启归档模式 在源端 Oracle 数据库开启补偿日志（可选）设置 Oracle 数据库的系统参数 在源端 Oracle 数据库开启归档模式 SELECT log_mode FROM v$database;...
PostLogStoreLogs
调用PostLogStoreLogs接口向指定的Logstore中写入日志数据。接口说明 已创建并获取AccessKey。更多信息，请参见 访问密钥。阿里云账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运维。RAM...
查看数据报表
CloudLens for Redis提供丰富的可视化图表，用于展示云数据库Redis日志的分析结果。前提条件 已开启日志采集功能。具体操作，请参见 开启日志采集功能。功能入口 登录 日志服务控制台。在 日志应用 区域的 云产品Lens 页签中，单击 ...
通过JDBC协议分析日志
日志服务支持您在数据库（例如MySQL）中使用JDBC协议连接日志服务，并通过标准的SQL92语法查询和分析日志。前提条件 已创建阿里云账号或RAM用户的AccessKey。具体操作，请参见 访问密钥。如果使用RAM用户的AccessKey，则RAM用户必须是当前...
使用前须知
结合日志服务强大的大数据计算能力，秒级分析处理实时产生的日志。弹性：可任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长需求。智能：基于达摩院智能AIOps算法，提供各类指标自动巡检功能，有助于更快、更准确地发现并定位...
Logtail
日志上传策略 Logtail会将同一文件的日志自动聚合上传，聚合条件为日志超过4000条、日志总大小超过512 KB或者日志采集时间超过3秒。任一条件满足则触发上传行为 错误处理 限制项 限制说明 网络错误处理 在出现网络异常时会主动重试并自动...
成本优化指南
数据加工主要解决您规整数据的痛点以及帮助您进一步挖掘数据的价值，降低时间与人力成本。合理配置可以节约一定的成本，本文档介绍如何以较优的成本方式使用数据加工功能。典型配置 根据 加工原理 和 性能指南，推荐您简化采集方案，使用...
Logtail限制说明
本文简介Logtail采集数据时在运行环境、文件采集、容器采集、CheckPoint管理、Logtail采集配置、机器组、性能、错误处理等方面的限制。运行环境 限制项 限制说明 体系结构 Linux Logtail版本支持x86_64和arm64。Windows Logtail版本支持x86...
使用前须知
资产说明 通用数据库审计应用资产都在您选择的Project下，详细说明如下：Logstore 创建采集任务后，自动生成一个名为general-db-logstore的Logstore，用于存储数据库日志。该Logstore已配置索引。Logtail配置 创建采集任务后，自动生成一个...
Spark Streaming消费
日志服务采集到日志数据后，您可以通过运行Spark Streaming任务消费日志数据。日志服务提供的Spark SDK实现了Receiver模式和Direct模式两种消费模式。Maven依赖如下：<dependency><groupId>...
使用云监控监测日志服务的使用情况
在 日志存储>日志库 页签中，选择目标Logstore右侧的>监控。查看日志服务的监控指标。云监控指标含义 云监控指标 含义 写入流量 Logstore每分钟写入数据的实时大小。原始数据大小 Logstore每分钟写入数据原始大小，即压缩前的大小。总体QPS...
日志聚类
本文介绍日志聚类功能及其操作，包括开启日志聚类、查看聚类结果和原始日志、对比不同时间段的聚类日志数量等。前提条件 已创建Standard Logstore。具体操作，请参见 创建Logstore。已采集日志。具体操作，请参见 数据采集。已配置索引。...
PolarDB云原生数据库
本文介绍PolarDB云原生数据库审计日志、慢日志、错误日志和性能日志的字段详情。审计日志 日志字段 说明_topic_日志主题，固定为polardb_audit_log。owner_id 阿里云账号ID region PolarDB MySQL集群所在地域 cluster_id PolarDB MySQL集群...
上下文查询
开发人员无需登录服务器，在大量日志中通过关键字检索日志，日志服务支持通过控制台查看指定日志在原始文件中的上下文信息。前提条件 已通过Logtail采集到日志。具体操作，请参见 通过Logtail采集日志。重要 如果您使用了Logtail插件处理...
如何降低索引流量费用？
关闭日志聚类 开启日志聚类功能后，索引总流量增加10%，示例如下表所示：原始日志大小 索引比例 日志聚类功能产生的索引量 索引总流量 100 GB 20%（20 GB）100 GB×10%30 GB 100 GB 40%（40 GB）100 GB×10%50 GB 100 GB 100%（100 GB）100...
使用前须知
负载均衡结合日志服务强大的大数据计算能力，秒级分析处理实时产生的日志。重要 99.9%情况下，日志延迟不超过3分钟。弹性：您可按ALB实例级别开通或关闭访问日志功能，可任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长需求。...
使用前须知
海量：访问日志数据规模很大，处理访问日志需要考虑性能和成本问题。日志中心可自定配置预聚和功能，实时计算聚合指标，计算后的聚合结果可降低几个数量级，使查询速度大大提升。实时：秒级分析处理实时产生的日志。弹性：可任意设置日志...
创建索引
倒排索引是一种数据存储结构，由关键词和指向实际数据的逻辑指针组成，记录了特定文本内容出现在哪些日志中，用于快速根据关键词定位到具体数据行，类似于数据的目录。创建索引后，您才能对日志数据进行查询和分析。本文为您介绍日志服务...
使用前须知
阿里云负载均衡结合日志服务强大的大数据计算能力，秒级分析处理实时产生的日志。弹性：您可按照CLB实例级别开通或关闭访问日志功能，任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长需求。智能：基于达摩院智能AIOps算法，提供...
常见问题
删除日志库，日志数据是否丢失？日志服务日志保存多长时间？可否修改这个保存时限？希望把日志最终存储到OSS，怎样节省在日志服务上的花费？如何删除日志？删除Project时提示“操作拒绝，权限不足”查询与分析常见问题 日志查询常见问题 ...
Logtail采集日志失败的排查思路
使用Logtail采集日志后，如果预览页面为空或查询页面无数据，您可以根据本文步骤进行排查。操作步骤 确认日志文件是否有更新。Logtail只采集增量的日志。更多信息，请参见 读取文件。如果下发Logtail配置后，日志文件无更新，则Logtail不会...
开启日志投递
使用限制 本文操作仅适用于新版数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务（DataServing）和数据湖（Hadoop）场景的集群。支持日志投递的服务有hdfs、yarn、yarn_application、hive、spark、jindodata、tez...
使用Aliyun Log Java Producer写入日志数据
背景信息 Aliyun Log Java Producer是为运行在大数据、高并发场景下的Java应用量身打造的高性能类库。相对于原始的API或SDK，使用该类库写日志数据能为您带来诸多优势，包括高性能、计算与I/O逻辑分离、资源可控制等。特点 线程安全：...
Data Explorer案例
示例4 在RDS数据库审计日志中，统计执行频率Top 10的SQL语句及其执行次数，并统计每个SQL语句同比昨天的执行次数的变化情况。Data Explorer配置 查询和分析语句|select"sql",diff[1]as current_value,diff[2]as previous_value,(diff[1]-...
使用Syslog协议上传日志
您可以使用Rsyslog、Syslog-ng采集日志并通过Syslog协议上传到日志服务。本文介绍通过Syslog协议将日志上传到日志服务的操作步骤。相关限制 Syslog协议必须为标准的 RFC5424 协议。每条日志最大支持64 KB。为保证数据传输安全性，数据传输...
API简介
日志库 Logstore 日志库（Logstore）是日志服务中日志数据的采集、存储和查询单元。每个Logstore隶属于一个Project，每个Project中可创建多个Logstore。分区 Shard 日志服务使用Shard控制Logstore或MetricStore的读写数据的能力，数据必定...
GetLogsV2-查询Logstore中的日志数据
查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志（返回结果压缩后传输）。接口说明 日志服务 SDK 目前仅支持 Go、Java、Python 三种语言，OpenAPI 全部已支持。使用过程中注意指定压缩方法，不同语言...
GetLogsV2
查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志。（返回结果压缩后传输）。日志服务SDK目前仅支持Go、Java、Python三种语言，OpenAPI全部已支持。使用过程中注意指定压缩方法，不同语言实现的压缩...
通过DaemonSet-控制台方式采集Kubernetes容器标准输出
例如提取字段、提取日志时间、脱敏数据、过滤日志等。更多信息，请参见 使用Logtail插件处理数据。{"inputs":[{"type":"service_docker_stdout","detail":{"Stdout":true,"Stderr":true,"IncludeContainerLabel":{"LabelKey":"LabelValue"}...
get_log
该命令适用于获取指定数量日志数据的场景。请求语法 aliyunlog log get_log-project=<value>-logstore=<value>-from_time=<value>-to_time=[-topic=][-query=][-reverse=][-offset=][-size=][-power_sql=][-access-id=][-access-key=][-sts...
- 产品推荐
- 这些文档可能帮助您