注意事项
如果生成日志的源Bucket有地域属性,则存储日志的目标Bucket与源Bucket可以相同也可以不同,但是必须属于同一账号下的相同地域。
如果生成日志的源Bucket无地域属性,则存储日志的目标Bucket必须与源Bucket为同一个Bucket。
日志文件预计会在数小时内生成。某个时段的日志文件可能不会记录该时段的所有请求,部分请求可能会出现在上一时段或下一时段的日志文件中。因此,某个时段的日志文件不能确保该时段日志记录的完整性和即时性。
在您关闭日志转存功能前,OSS的日志文件会每隔1小时生成一次。请及时清理不再需要的日志文件,以减少您的存储费用。
您可以通过生命周期规则定期删除日志文件。更多信息,请参见基于最后一次修改时间的生命周期规则。
为避免影响OSS-HDFS服务的正常使用或者引发数据污染的风险,在开通了OSS-HDFS服务的Bucket中设置日志转存规则时,禁止将日志前缀填写为.dlsdata/
。
OSS会根据需求在日志的尾部添加一些字段,请您在开发日志处理工具时考虑兼容性的问题。
日志文件命名规则
转存后的日志文件命名规则如下:
<TargetPrefix><SourceBucket>YYYY-mm-DD-HH-MM-SS-UniqueString
字段 | 说明 |
TargetPrefix | 日志文件的文件名前缀。 |
SourceBucket | 产生访问日志的源Bucket名称。 |
YYYY-mm-DD-HH-MM-SS | 日志文件被创建的时间。从左到右分别表示:年、月、日、小时、分钟和秒。 |
UniqueString | 系统生成的字符串,是日志文件的唯一标识。 |
操作步骤
使用OSS控制台
登录OSS管理控制台。
在左侧导航栏,选择,然后在Bucket列表中单击目标Bucket。
- 在左侧导航栏,选择。
开启日志存储,然后设置日志存储位置及日志前缀。
- 单击保存。
使用阿里云SDK
仅支持通过Java SDK设置日志转存,Java SDK要求3.15.0及以上版本。
import com.aliyun.oss.ClientException;
import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.OSSException;
import com.aliyun.oss.model.SetBucketLoggingRequest;
import com.aliyun.oss.common.auth.DefaultCredentialProvider;
import com.aliyun.oss.common.comm.SignVersion;
import com.aliyun.oss.ClientBuilderConfiguration;
import com.aliyun.oss.common.auth.CredentialsProviderFactory;
import com.aliyun.oss.common.auth.EnvironmentVariableCredentialsProvider;
public class Demo {
public static void main(String[] args) throws Exception {
// 填写云盒Bucket的数据域名。
String endpoint = "https://cb-f8z7yvzgwfkl9q0h****.cn-hangzhou.oss-cloudbox.aliyuncs.com";
// 从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
EnvironmentVariableCredentialsProvider credentialsProvider = CredentialsProviderFactory.newEnvironmentVariableCredentialsProvider();
// 填写待开启日志转存功能的云盒Bucket名称,例如examplebucket。
String bucketName = "examplebucket";
// 填写存放日志文件的目标云盒Bucket名称。targetBucketName与bucketName可以为相同或不同的Bucket。
String targetBucketName = "destbucket";
// 设置日志文件存储的目录为log/。如果指定此项,则日志文件将保存在目标Bucket的指定目录下。如果不指定此项,则日志文件将保存在目标Bucket的根目录下。
String targetPrefix = "log/";
// 填写云盒Bucket所在地域。
String region = "cn-hangzhou";
// 填写云盒ID。
String cloudBoxId = "cb-f8z7yvzgwfkl9q0h****";
// 创建OSSClient实例。
ClientBuilderConfiguration conf = new ClientBuilderConfiguration();
conf.setSignatureVersion(SignVersion.V4);
OSS ossClient = OSSClientBuilder.create()
.endpoint(endpoint)
.credentialsProvider(new DefaultCredentialProvider(credentialsProvider.getCredentials()))
.clientConfiguration(conf)
.region(region)
.cloudBoxId(cloudBoxId)
.build();
try {
SetBucketLoggingRequest request = new SetBucketLoggingRequest(bucketName);
request.setTargetBucket(targetBucketName);
request.setTargetPrefix(targetPrefix);
ossClient.setBucketLogging(request);
} catch (OSSException oe) {
System.out.println("Caught an OSSException, which means your request made it to OSS, "
+ "but was rejected with an error response for some reason.");
System.out.println("Error Message:" + oe.getErrorMessage());
System.out.println("Error Code:" + oe.getErrorCode());
System.out.println("Request ID:" + oe.getRequestId());
System.out.println("Host ID:" + oe.getHostId());
} catch (ClientException ce) {
System.out.println("Caught an ClientException, which means the client encountered "
+ "a serious internal problem while trying to communicate with OSS, "
+ "such as not being able to access the network.");
System.out.println("Error Message:" + ce.getMessage());
} finally {
if (ossClient != null) {
ossClient.shutdown();
}
}
}
}
使用REST API
如果您的程序自定义要求较高,您可以直接发起REST API请求。直接发起REST API请求需要手动编写代码计算签名。更多信息,请参见PutBucketLogging。