日志转存

更新时间:
复制 MD 格式

访问OSS的过程中会产生大量的访问日志。您可以通过日志转存功能将这些日志按照固定命名规则,以小时为单位生成日志文件写入您指定的云盒Bucket。对于已存储的日志,您可以通过阿里云日志服务或搭建Spark集群等方式进行分析。

前提条件

  • 华东1(杭州)、华东2(上海)、华南1(深圳)、华南2(河源)、华北2(北京)、西南1(成都)地域支持使用OSS ON云盒服务。

  • 购买云盒

  • 已在云盒内创建专有网络VPC和交换机

  • 已联系技术支持申请创建云盒VPC内网SingleTunnel网络类型。

注意事项

  • 如果生成日志的源Bucket有地域属性,则存储日志的目标Bucket与源Bucket可以相同也可以不同,但是必须属于同一账号下的相同地域。

    为源Bucket配置日志转存时,日志推送操作本身也会生成新的日志。如果源Bucket和目标Bucket是同一个,这些新生成的日志还会被日志功能再次记录并推送,导致日志不断循环产生。建议将日志转存的源Bucket和存储日志的目标Bucket配置为不同的Bucket。

  • 如果生成日志的源Bucket无地域属性,则存储日志的目标Bucket必须与源Bucket为同一个Bucket。

  • 日志文件预计会在48小时内生成。某个时段的日志文件可能不会记录该时段的所有请求,部分请求可能会出现在上一时段或下一时段的日志文件中。因此,某个时段的日志文件不能确保该时段日志记录的完整性和即时性。

  • 在您关闭日志转存功能前,OSS的日志文件会每隔1小时生成一次。请及时清理不再需要的日志文件,以减少您的存储费用。

    您可以通过生命周期规则定期删除日志文件。更多信息,请参见基于最后一次修改时间的生命周期规则

  • 为避免影响OSS-HDFS服务的正常使用或者引发数据污染的风险,在开通了OSS-HDFS服务的Bucket中设置日志转存规则时,禁止将日志前缀填写为.dlsdata/

  • OSS会根据需求在日志的尾部添加一些字段,请您在开发日志处理工具时考虑兼容性的问题。从 2025 年 9 月 17 日起,日志内容新增 Bucket ARN 字段。

  • 不建议将日志投递到已开启对象级别保留策略(ObjectWorm)Bucket。日志文件会持续产生,开启ObjectWorm后保留期内的日志文件无法被删除或清理,可能导致存储成本持续增长。

日志文件命名规则

转存后的日志文件命名规则如下:

<TargetPrefix><SourceBucket>YYYY-mm-DD-HH-MM-SS-UniqueString

字段

说明

TargetPrefix

日志文件的文件名前缀。

SourceBucket

产生访问日志的源Bucket名称。

YYYY-mm-DD-HH-MM-SS

日志的时间分区。从左到右分别表示:年、月、日、小时、分钟和秒。当前转存的日志是以小时粒度存放,例如:HH 为 01 时,代表为 01 点 00 分 00 秒 - 01 点 59 分 59 秒之间的日志信息,同时 MM、SS 均会推送 00。

UniqueString

系统生成的字符串,是日志文件的唯一标识。

操作步骤

使用OSS控制台

  1. 登录OSS管理控制台

  2. 在左侧导航栏,选择数据服务 > 云盒Bucket,然后在Bucket列表中单击目标Bucket。

  3. 在左侧导航栏,选择日志管理 > 日志转存
  4. 开启日志存储,然后设置日志存储位置及日志前缀。

    • 日志存储位置:下拉选择存储日志记录的Bucket名称,只能选择同一账号下相同地域的Bucket。

    • 日志前缀:日志文件存储的目录。如果指定此项,则日志文件将保存在目标Bucket的指定目录下。如果不指定此项,则日志文件将保存在目标Bucket的根目录下。例如,日志前缀指定为log/,则日志文件将被记录在log/目录下。

  5. 单击保存

使用阿里云SDK

支持通过Java、Python、Go SDK设置日志转存(Java SDK要求3.15.0及以上版本,Python SDK V2要求1.1.1及以上版本,Go SDK V2要求v1.2.1及以上版本)。云盒场景下,Python、Go SDK的操作调用方式与公共云OSS一致,创建客户端的方式请参见SDK支持

import com.aliyun.oss.ClientException;
import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.OSSException;
import com.aliyun.oss.model.SetBucketLoggingRequest;
import com.aliyun.oss.common.auth.DefaultCredentialProvider;
import com.aliyun.oss.common.comm.SignVersion;
import com.aliyun.oss.ClientBuilderConfiguration;
import com.aliyun.oss.common.auth.CredentialsProviderFactory;
import com.aliyun.oss.common.auth.EnvironmentVariableCredentialsProvider;

public class Demo {

    public static void main(String[] args) throws Exception {
        // 填写云盒Bucket的数据域名。
        String endpoint = "https://cb-f8z7yvzgwfkl9q0h****.cn-hangzhou.oss-cloudbox.aliyuncs.com";
        // 从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
        EnvironmentVariableCredentialsProvider credentialsProvider = CredentialsProviderFactory.newEnvironmentVariableCredentialsProvider();
        // 填写待开启日志转存功能的云盒Bucket名称,例如examplebucket。
        String bucketName = "examplebucket";
        // 填写存放日志文件的目标云盒Bucket名称。targetBucketName与bucketName可以为相同或不同的Bucket。
        String targetBucketName = "destbucket";
        // 设置日志文件存储的目录为log/。如果指定此项,则日志文件将保存在目标Bucket的指定目录下。如果不指定此项,则日志文件将保存在目标Bucket的根目录下。
        String targetPrefix = "log/";
        // 填写云盒Bucket所在地域。
        String region = "cn-hangzhou";
        // 填写云盒ID。
        String cloudBoxId = "cb-f8z7yvzgwfkl9q0h****";

        // 创建OSSClient实例。
        // 当OSSClient实例不再使用时,调用shutdown方法以释放资源。
        ClientBuilderConfiguration conf = new ClientBuilderConfiguration();
        conf.setSignatureVersion(SignVersion.V4);
        OSS ossClient = OSSClientBuilder.create()
                .endpoint(endpoint)
                .credentialsProvider(new DefaultCredentialProvider(credentialsProvider.getCredentials()))
                .clientConfiguration(conf)
                .region(region)
                .cloudBoxId(cloudBoxId)
                .build();

        try {
            SetBucketLoggingRequest request = new SetBucketLoggingRequest(bucketName);
            request.setTargetBucket(targetBucketName);
            request.setTargetPrefix(targetPrefix);
            ossClient.setBucketLogging(request);
        } catch (OSSException oe) {
            System.out.println("Caught an OSSException, which means your request made it to OSS, "
                    + "but was rejected with an error response for some reason.");
            System.out.println("Error Message:" + oe.getErrorMessage());
            System.out.println("Error Code:" + oe.getErrorCode());
            System.out.println("Request ID:" + oe.getRequestId());
            System.out.println("Host ID:" + oe.getHostId());
        } catch (ClientException ce) {
            System.out.println("Caught an ClientException, which means the client encountered "
                    + "a serious internal problem while trying to communicate with OSS, "
                    + "such as not being able to access the network.");
            System.out.println("Error Message:" + ce.getMessage());
        } finally {
            if (ossClient != null) {
                ossClient.shutdown();
            }
        }
    }
}
import alibabacloud_oss_v2 as oss

# 从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
credentials_provider = oss.credentials.EnvironmentVariableCredentialsProvider()
# 使用SDK的默认配置。
cfg = oss.config.load_default()
cfg.credentials_provider = credentials_provider
# 填写云盒Bucket所在地域,例如cn-hangzhou。
cfg.region = "cn-hangzhou"
# 填写云盒ID。设置云盒ID后,SDK会自动将签名产品切换为oss-cloudbox。
cfg.cloud_box_id = "cb-f8z7yvzgwfkl9q0h****"
# 填写云盒Bucket的数据域名,格式为CloudboxId.Region.oss-cloudbox.aliyuncs.com。
cfg.endpoint = "cb-f8z7yvzgwfkl9q0h****.cn-hangzhou.oss-cloudbox.aliyuncs.com"
# 创建OSS客户端。
client = oss.Client(cfg)

# 设置日志转存:将访问日志保存到目标云盒Bucket(destbucket)的log/目录下。
result = client.put_bucket_logging(oss.PutBucketLoggingRequest(
    bucket="examplebucket",
    bucket_logging_status=oss.BucketLoggingStatus(
        logging_enabled=oss.LoggingEnabled(
            target_bucket="destbucket",
            target_prefix="log/",
        ),
    ),
))
print(f'status code: {result.status_code}, request id: {result.request_id}')
package main

import (
	"context"
	"log"

	"github.com/aliyun/alibabacloud-oss-go-sdk-v2/oss"
	"github.com/aliyun/alibabacloud-oss-go-sdk-v2/oss/credentials"
)

func main() {
	// 使用SDK的默认配置,并从环境变量中获取访问凭证。
	// 运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
	cfg := oss.LoadDefaultConfig().
		WithCredentialsProvider(credentials.NewEnvironmentVariableCredentialsProvider()).
		// 填写云盒Bucket所在地域,例如cn-hangzhou。
		WithRegion("cn-hangzhou").
		// 填写云盒Bucket的数据域名,格式为CloudboxId.Region.oss-cloudbox.aliyuncs.com。
		WithEndpoint("cb-f8z7yvzgwfkl9q0h****.cn-hangzhou.oss-cloudbox.aliyuncs.com").
		// 填写云盒ID。设置云盒ID后,SDK会自动将签名产品切换为oss-cloudbox。
		WithCloudBoxId("cb-f8z7yvzgwfkl9q0h****")

	// 创建OSS客户端。
	client := oss.NewClient(cfg)

	// 设置日志转存:将访问日志保存到目标云盒Bucket(destbucket)的log/目录下。
	request := &oss.PutBucketLoggingRequest{
		Bucket: oss.Ptr("examplebucket"),
		BucketLoggingStatus: &oss.BucketLoggingStatus{
			LoggingEnabled: &oss.LoggingEnabled{
				TargetBucket: oss.Ptr("destbucket"),
				TargetPrefix: oss.Ptr("log/"),
			},
		},
	}
	result, err := client.PutBucketLogging(context.TODO(), request)
	if err != nil {
		log.Fatalf("failed to put bucket logging %v", err)
	}
	log.Printf("put bucket logging result:%#v\n", result)
}

使用命令行工具ossutil

关于使用ossutil设置日志转存的具体操作, 请参见put-bucket-logging

使用REST API

如果您的程序自定义要求较高,您可以直接发起REST API请求。直接发起REST API请求需要手动编写代码计算签名。更多信息,请参见PutBucketLogging