搜索(审计)

数据库自治服务DAS提供搜索(审计)功能,查询并导出SQL语句对应的各种信息,本文介绍如何在SQL洞察和审计中使用搜索功能。

重要

如果您开通了DAS企业版 V3,搜索功能将更名为审计功能。

前提条件

注意事项

  • 日志列表中SQL语句的状态成功时,只表示该条SQL执行成功且没有异常。例如,发生事务回滚时,事务中的单条SQL执行成功且没有异常,那么日志列表中该条SQL的状态会标识为成功

  • 对于RDS MySQLPolarDB MySQL版实例,由于连接可能会被复用,所以日志列表中显示的IP地址和端口,可能会与客户端实际的IP地址和端口不一致。详情请参见RDS MySQL连接池PolarDB MySQL版连接池

  • SQL日志中记录的SQL语句最大长度为8192字节,超过部分不再记录。其中RDS MySQLPolarDB MySQL版实例记录的SQL语句最大长度受参数控制:

    • 当参数取值小于等于8192字节时,SQL语句最大长度为参数设定值,超过部分不再记录。由于信息采集处理时会增加前缀标注,实际记录的SQL语句最大长度略小于参数设定值。

    • 当参数取值大于8192字节时,SQL语句最大长度为8192字节,超过部分不再记录。由于信息采集处理时会增加前缀标注,实际记录的SQL语句最大长度略小于8192字节。

    说明
    • RDS MySQLPolarDB MySQL版的5.6、5.7版本由loose_rds_audit_max_sql_size参数控制记录长度。

    • RDS MySQLPolarDB MySQL版的8.0版本由loose_rds_audit_log_event_buffer_size参数控制记录长度。

  • 开启高级查询时,当数据库实例的版本满足如下要求时,支持使用事务ID进行查询。

    • RDS MySQL的大版本为8.0且小版本大于等于20210311,并且查询前需将loose_rds_audit_log_version参数值设为MYSQL_V3。详见RDS MySQL 8.0开放参数一览表

    • PolarDB MySQL版的版本大于等于8.0.1.1.15。

操作步骤

  1. 登录DAS控制台

  2. 在左侧导航栏中,单击实例监控

  3. 找到目标实例,单击实例ID,进入目标实例详情页。

  4. 在左侧导航栏单击SQL洞察和审计,然后在右侧打开的页面单击搜索,设置如下参数作为查询条件。

    如果您开通了DAS企业版 V3,请在右侧打开的页面单击审计

    参数

    说明

    时间范围

    根据实际需要选择查询的时间范围。

    在线查询时间范围最多为24小时,您可以在数据库实例SQL数据存储时长范围内设置任意的查询开始时间,查看最多24小时的数据。这是因为SQL洞察记录所有数据库行为,会记录大量SQL语句,在线查询选择时间范围过大,会导致长时间没有返回查询结果,甚至查询超时。

    说明
    • 只能查询开启DAS企业版后且在SQL数据存储时长范围内的数据。

    • 如果需要查询更大时间范围的SQL记录,请您导出后进行查询。导出功能会异步导出日志,适合大时间范围内的查询。

    • 当SQL洞察和审计的数据采用冷热混合存储时,当前只支持查询和导出最多24小时的数据。

    关键字

    可多字段组合查询,不支持模糊查询,字段间以空格分隔。

    说明

    查询的关键字至少包含4个字符。

    用户

    用户名,可组合查询,如:user1 user2 user3。

    数据库

    可组合查询,如:DB1 DB2 DB3。

    操作类型

    选择需要查询的操作类型,可多选。

    说明

    您可开启高级查询输入更多信息以缩小搜索范围。

  5. 单击查询,即可看到日志列表SQL语句的具体信息。

    您可单击导出,勾选需要的导出字段导出SQL记录。通过设置导出时间范围来导出更大时间范围的SQL记录。

    对于采用冷热混合存储的SQL洞察和审计,导出数据时,请选择SQL日志中不包含的CSV分隔符,并参见设置并打开导出的CSV文件,使导出数据可以分列显示。

    重要
    • 单次最多可导出1000万条数据。

    • 对于采用冷热混合存储的SQL洞察和审计,查询或导出冷存储的数据时,系统会创建对应的查询或导出任务,您可以在任务列表页面,查看任务进度及历史任务。

    • 对于企业版 V0 和V1,DAS将保存最近2天内的导出记录;而对于企业版 V2 和V3,DAS将保存最近7天内的导出记录。

    s

设置并打开导出的CSV文件

当导出的SQL日志包含数据分隔符时,使用Excel等工具打开CSV文件时可能会出现数据没有分列显示的现象。为了避免该问题,采用冷热混合存储的搜索功能在导出CSV文件时,增加了可供选择的CSV分隔符。本文以Windows系统下的Excel 2019版为例,介绍如何设置CSV文件,使导出数据可以分列显示。

  1. 创建导出任务时,在提示界面,选择SQL日志中不包含的分隔符,例如$

    image..png

  2. 使用Excel工具打开导出的CSV文件。

  3. 选中需要分列显示的数据,在Excel工具栏中选择数据 > 分列

  4. 文本分列向导原始数据类型区域,选择分隔符号,单击下一步

  5. 分隔符号区域,选择其他并输入$,单击下一步

    数据预览区域,可预览分列的效果。

  6. 列数据格式区域,选择常规,单击完成

常见问题

Q:为什么RDS MySQLPolarDB MySQL版数据库实例搜索功能的日志列表中,有些SQL语句实际有数据返回,但扫描行数显示为0?

A:数据库实例开启了query_cache_type。日志列表中,SQL语句的扫描行数统计的是在InnoDB引擎层扫描的行数,开启query_cache_type后,MySQL会尝试将查询结果缓存起来,如果后续有相同的查询请求到来,且查询缓存命中,则不会再到InnoDB层进行查询,直接返回缓存结果。因此,实际有数据返回,但日志列表中统计的扫描行数为0。

Q:为什么无法查询到RDS PostgreSQL实例中执行失败的SQL?

A:对于RDS PostgreSQL实例,执行失败的SQL会被记录在实例的错误日志中,而不会被记录在审计日志中。查询实例的错误日志请参见查看日志

Q:为什么日志列表中展示的数据库名称和SQL语句中的不一致?

A:日志列表中所展示的数据库名称是从会话中获取的,而SQL语句中的数据库名称则由用户指定,取决于用户的输入或查询的设计,例如跨数据库查询、动态SQL等场景。两者之间可能存在不一致的情况。

相关API

对于RDS MySQL、RDS PostgreSQL和RDS SQL Server数据库实例,可以使用如下API接口查询SQL日志:

API

描述

DescribeSQLLogRecords

查询RDS实例的SQL洞察(SQL审计)日志。

DescribeSQLLogFiles

查询SQL洞察(SQL审计)导出文件列表。