获取实例的流量文件

进行性能评估前,您需要根据本文的操作,下载 RDS MySQL 实例、PolarDB MySQL 实例或 PolarDB-X 1.0 实例的流量文件。

背景信息

日志审计服务支持快速开启日志采集功能。开启审计日志采集功能后,会自动开启符合条件的 PolarDB MySQL 集群或 RDS 实例的 SQL 洞察(SQL 审计)功能。

日志审计服务支持采集存储、网络、数据库等云产品日志。采集完成后,会自动存储至对应的 Logstore 或 Metricstore 中。

前提条件

  • 已注册阿里云账号。

    建议您使用阿里云 RAM 用户,并为 RAM 用户授予全部管理权限(AliyunLogFullAccessAliyunRAMFullAccess)。您也可以根据实际情况进行自定义授权,详情请参见 授予 RAM 用户操作日志审计服务的权限

  • 已创建 RDS 实例、PolarDB 实例或 PolarDB-X 1.0 实例。

首次配置

重要
  • 该操作仅需要执行一次。

  • 执行该操作的账号需要具备 AliyunRAMFullAccess 权限。

  1. 登录 日志服务控制台

  2. 日志应用 > 审计与安全 页签下,单击 日志审计服务

    image.png

  3. 根据页面提示完成授权。

    完成授权后,日志审计服务将使用服务关联角色 AliyunServiceRoleForSLSAudit 采集云产品的日志。

开启日志采集功能

  1. 开启 SQL 审计日志采集功能。

    1. 进入 日志审计服务 页面。

    2. 在左侧导航栏,单击 云产品接入 > 全局配置

    3. 全局配置 页面,单击右上角的 修改

      image

    4. 中心项目 Project 所在区域 下拉列表中,选择日志中心化存储的目标地域。

      image

    5. 在云产品列表中,请根据业务需求,单击 RDS 的 SQL 审计日志、PolarDB 的 审计日志 或 PolarDB-X 1.0 SQL 审计日志 开关。

      image

    6. 确认 提示 对话框中的内容后,单击 进入采集策略

  2. 采集策略配置 对话框,配置采集策略。

    日志服务支持通过 默认采集策略高级编辑模式 配置采集策略。详情请参见 采集策略

    重要

    如果您配置的是 默认采集策略,将默认采集所有地域下的全部实例,可能会造成预期外的费用。建议您通过 高级编辑模式,配置开启特定实例的审计。

    1. 在 待添加策略 区域,选择属性为 实例 ID,操作符为 完全匹配,在右侧文本框中输入需要采集日志的 RDS MySQL 实例 ID、PolarDB MySQL 实例 ID 或 PolarDB-X 1.0 实例 ID。

      此处的属性配置仅为示例,您可以根据实际情况进行修改。

      image

      云产品

      采集对象

      参数

      描述

      RDS

      RDS 实例

      账号:account.id

      RDS 实例所在的阿里云账号 ID。

      地域:region

      RDS 实例所属的地域,例如,cn-hangzhou。

      实例 ID:instance.id

      RDS 实例的 ID。

      实例名:instance.name

      RDS 实例的名称。

      DB 类型:instance.db_type

      数据库的类型。

      DB 版本号:instance.db_version

      数据库的版本号,例如,8.0。

      标签:tag.*

      用户自定义的标签名。您可以将 tag.* 中的星号(*)替换为自定义的标签名称。

      PolarDB

      PolarDB 集群

      账号:account.id

      PolarDB 集群所在的阿里云账号 ID。

      地域:region

      PolarDB 集群所属的地域。例如,cn-hangzhou。

      集群 ID:cluster.id

      PolarDB 集群的 ID。

      集群名:cluster.name

      PolarDB 集群的名称。

      集群兼容的 DB 类型:cluster.db_type

      PolarDB 集群兼容的数据库类型,目前只支持 MySQL。

      集群兼容的 DB 版本:cluster.db_version

      数据库的版本号,可选值为 8.0、5.7 和 5.6。

      标签:tag.*

      用户自定义的标签名。您可以将 tag.* 中的星号(*)替换为自定义的标签名称。

      PolarDB-X 1.0

      PolarDB-X 1.0 实例

      账号:account.id

      PolarDB-X 1.0 实例所属的阿里云账号 ID。

      地域:region

      PolarDB-X 1.0 实例所属的地域。例如,cn-shanghai。

      实例 ID:instance.id

      PolarDB-X 1.0 实例的 ID。

      实例名:instance.name

      PolarDB-X 1.0 实例的名称。

    2. 单击对话框右下方的 添加策略

    3. 确认配置无误后,单击 确定

  3. 返回 全局配置 页面,单击右上角的 确定,等待配置修改完成。

获取实例的流量文件

您可以通过保存日志服务 SLS 中的流量文件至 OSS 和下载 SQL 审计日志至本地两种方式获取目标实例的流量文件,对应新建性能评估任务时,在 流量解析配置 页面选择的 流量采集方式(包括 OSS 导入和上传文件)。

image

  • 如果您将日志服务 SLS 中的流量文件保存至 OSS,请选择 OSS 导入 的方式,导入流量文件进行评估。

  • 如果您将 SQL 审计日志下载至本地,请选择 上传文件 的方式,导入流量文件进行评估。

将 SLS 中的流量文件保存至 OSS

重要

迁移评估仅支持实时投递的流量文件,不支持从 SLS 中补投递的流量文件。例如,您在开启 SLS 日志监控的 2 小时后才开启 OSS 投递,则迁移评估不接收 2 小时之前的流量文件。

  1. 返回 日志服务控制台

  2. Project 列表 区域,单击目标 Project 的名称,进入 日志库 页面。

    创建 Project 的详情请参见 管理 Project

    image

  3. 在左侧导航栏,依次展开目标 Logstore 下的 数据处理 > 导出,将鼠标悬停至 OSS(对象存储),单击显示的 + 图标。

    image

  4. 创建投递任务 对话框,选择 OSS 导出,单击 确认

  5. OSS 投递功能 对话框,配置各项参数,将日志导出至 OSS。详情请参见 创建 OSS 投递作业(新版)

    重要

    OSS 投递功能 对话框进行配置时,请遵循以下规则:

    • 文件投递目录:必须填写。

    • 分区格式:%Y/%m/%d/%H/%M。

    • 存储格式:仅支持选择 json 格式。

    • 是否压缩:仅支持选择 压缩(snappy)

  6. 配置完成后,单击 确定

下载 SQL 审计日志

  1. 返回 日志服务控制台

  2. Project 列表 区域,单击目标 Project 的名称,进入 日志库 页面。

    创建 Project 的详情请参见 管理 Project

    image

  3. 在左侧导航栏,单击目标 Logstore 的名称,打开日志详情页面。

    创建 Logstore 的详情请参见 管理 Logstore

  4. 原始日志 页签,单击下载图标,选择 下载日志

    image

    您也可以选择需要查询的时间,查看日志和统计信息。

    image

  5. 下载日志 对话框,选择 离线下载,配合各项参数。

  6. 配置完成后,单击 确定

  7. 待任务成功后,在弹出的 下载任务 对话框,单击 下载

    image