访问OSS的过程中会产生大量的访问日志。您可以通过日志转存功能将这些日志按照固定命名规则,以小时为单位生成日志文件写入您指定的云盒Bucket。对于已存储的日志,您可以通过阿里云日志服务或搭建Spark集群等方式进行分析。
前提条件
仅华东1(杭州)、华东2(上海)、华南1(深圳)、华南2(河源)、华北2(北京)、西南1(成都)地域支持使用OSS ON云盒服务。
已购买云盒。
已在云盒内创建专有网络VPC和交换机。
已联系技术支持申请创建云盒VPC内网SingleTunnel网络类型。
注意事项
-
如果生成日志的源Bucket有地域属性,则存储日志的目标Bucket与源Bucket可以相同也可以不同,但是必须属于同一账号下的相同地域。
为源Bucket配置日志转存时,日志推送操作本身也会生成新的日志。如果源Bucket和目标Bucket是同一个,这些新生成的日志还会被日志功能再次记录并推送,导致日志不断循环产生。建议将日志转存的源Bucket和存储日志的目标Bucket配置为不同的Bucket。
-
如果生成日志的源Bucket无地域属性,则存储日志的目标Bucket必须与源Bucket为同一个Bucket。
-
日志文件预计会在48小时内生成。某个时段的日志文件可能不会记录该时段的所有请求,部分请求可能会出现在上一时段或下一时段的日志文件中。因此,某个时段的日志文件不能确保该时段日志记录的完整性和即时性。
-
在您关闭日志转存功能前,OSS的日志文件会每隔1小时生成一次。请及时清理不再需要的日志文件,以减少您的存储费用。
您可以通过生命周期规则定期删除日志文件。更多信息,请参见基于最后一次修改时间的生命周期规则。
-
为避免影响OSS-HDFS服务的正常使用或者引发数据污染的风险,在开通了OSS-HDFS服务的Bucket中设置日志转存规则时,禁止将日志前缀填写为
.dlsdata/。 -
OSS会根据需求在日志的尾部添加一些字段,请您在开发日志处理工具时考虑兼容性的问题。从 2025 年 9 月 17 日起,日志内容新增 Bucket ARN 字段。
-
不建议将日志投递到已开启对象级别保留策略(ObjectWorm)的Bucket。日志文件会持续产生,开启ObjectWorm后保留期内的日志文件无法被删除或清理,可能导致存储成本持续增长。
日志文件命名规则
转存后的日志文件命名规则如下:
<TargetPrefix><SourceBucket>YYYY-mm-DD-HH-MM-SS-UniqueString
|
字段 |
说明 |
|
TargetPrefix |
日志文件的文件名前缀。 |
|
SourceBucket |
产生访问日志的源Bucket名称。 |
|
YYYY-mm-DD-HH-MM-SS |
日志的时间分区。从左到右分别表示:年、月、日、小时、分钟和秒。当前转存的日志是以小时粒度存放,例如:HH 为 01 时,代表为 01 点 00 分 00 秒 - 01 点 59 分 59 秒之间的日志信息,同时 MM、SS 均会推送 00。 |
|
UniqueString |
系统生成的字符串,是日志文件的唯一标识。 |