文档

日志转存

更新时间:

访问OSS的过程中会产生大量的访问日志。您可以通过日志转存功能将这些日志按照固定命名规则,以小时为单位生成日志文件写入您指定的云盒Bucket。对于已存储的日志,您可以通过阿里云日志服务或搭建Spark集群等方式进行分析。

前提条件

  • 华东1(杭州)、华南1(深圳)、华南2(河源)、华北2(北京)、西南1(成都)地域支持使用OSS ON云盒服务。

  • 已购买云盒。具体操作,请参见购买云盒

注意事项

  • 如果生成日志的源Bucket有地域属性,则存储日志的目标Bucket与源Bucket可以相同也可以不同,但是必须属于同一账号下的相同地域。

  • 如果生成日志的源Bucket无地域属性,则存储日志的目标Bucket必须与源Bucket为同一个Bucket。

  • 日志文件预计会在数小时内生成。某个时段的日志文件可能不会记录该时段的所有请求,部分请求可能会出现在上一时段或下一时段的日志文件中。因此,某个时段的日志文件不能确保该时段日志记录的完整性和即时性。

  • 在您关闭日志转存功能前,OSS的日志文件会每隔1小时生成一次。请及时清理不再需要的日志文件,以减少您的存储费用。

    您可以通过生命周期规则定期删除日志文件。更多信息,请参见基于最后一次修改时间的生命周期规则

  • 为避免影响OSS-HDFS服务的正常使用或者引发数据污染的风险,在开通了OSS-HDFS服务的Bucket中设置日志转存规则时,禁止将日志前缀填写为.dlsdata/

  • OSS会根据需求在日志的尾部添加一些字段,请您在开发日志处理工具时考虑兼容性的问题。

日志文件命名规则

转存后的日志文件命名规则如下:

<TargetPrefix><SourceBucket>YYYY-mm-DD-HH-MM-SS-UniqueString

字段

说明

TargetPrefix

日志文件的文件名前缀。

SourceBucket

产生访问日志的源Bucket名称。

YYYY-mm-DD-HH-MM-SS

日志文件被创建的时间。从左到右分别表示:年、月、日、小时、分钟和秒。

UniqueString

系统生成的字符串,是日志文件的唯一标识。

操作步骤

使用OSS控制台

  1. 登录OSS管理控制台

  2. 在左侧导航栏,选择数据服务 > 云盒Bucket,然后在Bucket列表中单击目标Bucket。

  3. 在左侧导航栏,选择日志管理 > 日志转存
  4. 开启日志存储,然后设置日志存储位置及日志前缀。

    • 日志存储位置:下拉选择存储日志记录的Bucket名称,只能选择同一账号下相同地域的Bucket。

    • 日志前缀:日志文件存储的目录。如果指定此项,则日志文件将保存在目标Bucket的指定目录下。如果不指定此项,则日志文件将保存在目标Bucket的根目录下。例如,日志前缀指定为log/,则日志文件将被记录在log/目录下。

  5. 单击保存

使用阿里云SDK

仅支持通过Java SDK设置日志转存,Java SDK要求3.15.0及以上版本。

import com.aliyun.oss.ClientException;
import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.OSSException;
import com.aliyun.oss.model.SetBucketLoggingRequest;
import com.aliyun.oss.common.auth.DefaultCredentialProvider;
import com.aliyun.oss.common.comm.SignVersion;
import com.aliyun.oss.ClientBuilderConfiguration;
import com.aliyun.oss.common.auth.CredentialsProviderFactory;
import com.aliyun.oss.common.auth.EnvironmentVariableCredentialsProvider;

public class Demo {

    public static void main(String[] args) throws Exception {
        // 填写云盒Bucket的数据域名。
        String endpoint = "https://cb-f8z7yvzgwfkl9q0h****.cn-hangzhou.oss-cloudbox.aliyuncs.com";
        // 从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
        EnvironmentVariableCredentialsProvider credentialsProvider = CredentialsProviderFactory.newEnvironmentVariableCredentialsProvider();
        // 填写待开启日志转存功能的云盒Bucket名称,例如examplebucket。
        String bucketName = "examplebucket";
        // 填写存放日志文件的目标云盒Bucket名称。targetBucketName与bucketName可以为相同或不同的Bucket。
        String targetBucketName = "destbucket";
        // 设置日志文件存储的目录为log/。如果指定此项,则日志文件将保存在目标Bucket的指定目录下。如果不指定此项,则日志文件将保存在目标Bucket的根目录下。
        String targetPrefix = "log/";
        // 填写云盒Bucket所在地域。
        String region = "cn-hangzhou";
        // 填写云盒ID。
        String cloudBoxId = "cb-f8z7yvzgwfkl9q0h****";

        // 创建OSSClient实例。
        ClientBuilderConfiguration conf = new ClientBuilderConfiguration();
        conf.setSignatureVersion(SignVersion.V4);
        OSS ossClient = OSSClientBuilder.create()
                .endpoint(endpoint)
                .credentialsProvider(new DefaultCredentialProvider(credentialsProvider.getCredentials()))
                .clientConfiguration(conf)
                .region(region)
                .cloudBoxId(cloudBoxId)
                .build();

        try {
            SetBucketLoggingRequest request = new SetBucketLoggingRequest(bucketName);
            request.setTargetBucket(targetBucketName);
            request.setTargetPrefix(targetPrefix);
            ossClient.setBucketLogging(request);
        } catch (OSSException oe) {
            System.out.println("Caught an OSSException, which means your request made it to OSS, "
                    + "but was rejected with an error response for some reason.");
            System.out.println("Error Message:" + oe.getErrorMessage());
            System.out.println("Error Code:" + oe.getErrorCode());
            System.out.println("Request ID:" + oe.getRequestId());
            System.out.println("Host ID:" + oe.getHostId());
        } catch (ClientException ce) {
            System.out.println("Caught an ClientException, which means the client encountered "
                    + "a serious internal problem while trying to communicate with OSS, "
                    + "such as not being able to access the network.");
            System.out.println("Error Message:" + ce.getMessage());
        } finally {
            if (ossClient != null) {
                ossClient.shutdown();
            }
        }
    }
}

使用命令行工具ossutil

关于使用ossutil设置日志转存的具体操作, 请参见logging(日志转存)

使用REST API

如果您的程序自定义要求较高,您可以直接发起REST API请求。直接发起REST API请求需要手动编写代码计算签名。更多信息,请参见PutBucketLogging

  • 本页导读 (1)
文档反馈