实时OSS日志查询

访问对象存储OSS的过程中会产生大量的访问日志。实时日志查询功能将OSS与日志服务SLS相结合,允许您在OSS控制台直接查询OSS的访问日志,帮助您完成OSS访问的操作审计、访问统计、异常事件回溯和问题定位等工作,提升您的工作效率并更好地帮助您基于数据进行决策。

前提条件

  • 已为OSS Bucket开通实时日志查询。具体操作,请参见开通实时日志查询

  • 已授权日志服务访问OSS。如果您还未授权日志服务访问OSS,请单击云资源访问授权,按照提示完成授权操作。

功能特性

  • 3分钟内将日志实时推送到日志服务实例中,支持在OSS控制台直接查看实时日志。

  • 提供日志分析服务,定制了常用的分析报表,使数据查询更方便。

  • 支持实时查询和分析原始日志,并按照Bucket名称、Object名称、API操作、时间等条件过滤日志。

注意事项

无地域属性的Bucket不支持实时日志查询。

计费说明

  • 当Logstore的计费模式为按使用功能计费时,如果OSS日志存储时间不超过7天,且当天写入流量(压缩后)或索引流量不超过900 GB(如果一条访问日志为1 KB,约为9亿条),则日志服务不收取相关费用。当OSS日志存储时间超过7天,或7天内写入流量(压缩后)或索引流量超过900 GB,将由日志服务收取日志存储及索引流量费用。具体信息,请参见按使用功能计费模式计费项

  • 在任意时间内对专属Logstore的读取流量、外网流量、数据加工、数据投递等按照标准收费,由日志服务单独收费。

  • 当Logstore的计费模式为按使用功能计费时,OSS日志实时查询功能免费提供的Shard额度为16*31个*天/月,超出部分由日志服务单独收费。具体信息,请参见按使用功能计费模式计费项

操作步骤

  1. 登录OSS管理控制台

  2. 单击Bucket 列表,然后单击目标Bucket名称。

  3. 在左侧导航栏,选择日志管理 > 实时查询

  4. 实时查询页签下,根据查询语法分析语法,输入查询和分析语句,对OSS日志进行分析。

    例如,您可以通过OSS访问日志的operation字段分析存储空间examplebucket在过去七天内发生的GetObject操作次数。

    查询和分析语句示例如下:

    * and __topic__: oss_access_log AND bucket:examplebucket AND operation:GetObject | select
      count(*) AS GetObjectCount

    查询和分析返回示例如下:

    getobjectcount.png

    更多查询和分析示例,请参见实时日志查询常见示例

相关操作

开通实时日志查询

您可以通过以下两种方式开通实时日志查询。

创建Bucket时开通实时日志查询

  1. 登录OSS管理控制台

  2. 单击Bucket 列表,然后单击创建Bucket

  3. 创建Bucket面板的实时日志查询区域,打开实时日志查询开关,然后配置其他参数。

    关于其他参数的配置,请参见创建存储空间

  4. 单击完成创建

为已创建的Bucket开通实时日志查询

  1. 登录OSS管理控制台

  2. 单击Bucket 列表,然后单击目标Bucket名称。

  3. 在左侧导航栏,选择日志管理 > 实时查询

  4. 单击立即开通

修改日志保存时间

开通实时日志查询后,OSS免费提供最近7天内的日志查询。您可以单击日志页面右上角的设置日志保存时间,修改日志的保存时间。

重置日志索引字段

查询实时日志时,可能会出现字段变动(例如新增字段或者将某个字段变为索引等),但实时日志分析页面配置并非自动同步。您需要通过以下两种方式手动刷新实时日志索引字段。

重要

以下两种方式会将索引恢复到内置索引的最新版本,自定义索引会丢失。请确认自定义索引丢失是否对您的业务场景造成影响。如无影响,请按以下操作流程指引完成相关操作。如有影响,请手动添加缺失的索引。具体操作,请参见创建索引

使用OSS控制台

关闭实时日志查询功能后,再开启实时日志查询。

使用日志服务控制台

  1. 登录日志服务控制台
  2. 日志应用区域的云产品Lens页签中,单击CloudLens for OSS

  3. 接入管理目标存储库页签中,单击目标LogStore右侧索引重置列的重置

  4. 在弹出的对话框中,单击确定

    说明

    索引重置后约1分钟内生效。

使用日志聚类

  1. 登录OSS管理控制台

  2. 单击Bucket 列表,然后单击目标Bucket名称。

  3. 在左侧导航栏,选择日志管理 > 实时查询

  4. 单击日志聚类,然后单击开启日志聚类

  5. 在弹出的对话框,单击确认

    关于日志聚类的更多信息,请参见日志聚类

关闭实时日志查询

当您确认不再需要保留日志数据,请按如下步骤关闭实时日志查询。

  1. 登录OSS管理控制台

  2. 单击Bucket 列表,然后单击目标Bucket名称。

  3. 在左侧导航栏,选择日志管理 > 实时查询

  4. 单击右上角关闭关联日志

    重要

    开通实时日志查询时,会自动创建日志服务Project。但关闭实时日志查询时不会自动删除Project。因此,当您关闭实时日志查询后,为避免后续产生不必要的费用,请前往日志服务控制台删除开通实时日志查询时自动创建的Project。具体操作,请参见删除项目Project