OSS日志数据结构字段释义-日志服务-阿里云

本文介绍OSS日志类型及相关的日志字段详情。

OSS日志类型

日志类型	说明
访问明细日志	需要手动开通，开通步骤请参见开启日志采集功能。实时采集相关OSS Bucket的所有访问日志、批量删除日志时的删除信息。说明当您调用DeleteObjects接口时，访问日志中会有一条请求记录。 `oss-log-store`可能同时包含访问明细日志与每小时计量日志（不同于下面的计量日志），`_topic_:oss_access_log`代表访问明细日志，`_topic_:oss_metering_log`代表每小时计量日志。
计量日志	默认免费开通。记录特定OSS Bucket每小时累计的计量数据。日志采集时间比实际产生时间延迟几小时，用于辅助分析。
时序监控数据	默认免费开通。记录10秒粒度的请求、延迟、流量等指标及5分钟粒度的请求、流量等指标。

OSS自带日志和OSS访问记录日志

OSS访问日志实时查询分析功能由日志服务提供，包括OSS访问数据、批量删除数据和每小时计量数据的日志记录、采集、存储和分析等系列功能。OSS自带日志是OSS产品自带的访问数据的日志记录和存储功能，同样记录OSS存储空间的访问信息。

日志服务提供的日志包含OSS访问记录日志的全部信息，但是日志字段与OSS自带日志字段不同，如下表所示。更多信息，请参见访问日志。

OSS自带日志字段	日志服务-OSS日志字段
Remote IP	client_ip
Time	time
Request-URI	request-uri
HTTP Status	http_status
SentBytes	response_body_length
RequestTime (ms)	response_time
Referer	referer
User-Agent	user-agent
HostName	host
Request ID	request_id
LoggingFlag	logging_flag
Requester Aliyun ID	requester_id
Operation	operation
Bucket	bucket
Key	object
ObjectSize	object_size
Server Cost Time (ms)	server_cost_time
Error Code	error_code
Request Length	request_length
UserID	owner_id
Delta DataSize	delta_data_size
Sync Request	sync_request

访问日志

字段	说明
__topic__	日志主题，固定为oss_access_log。
time	OSS请求结束时间，例如27/Feb/2018:13:58:45。如果需要时间戳，可以使用__time__字段。
access_id	请求者的AccessKey ID。
owner_id	OSS Bucket拥有者的阿里云账号ID。
user_agent	HTTP的User-Agent头，例如curl/7.15.5。
logging_flag	是否开启定期导出日志到OSS Bucket的功能。其中，true表示开启。
bucket	OSS Bucket名称。
content_length_in	请求头中Content-Length的值，单位：字节。
content_length_out	响应头中Content-Length的值，单位：字节。
object	请求的OSS Object，格式为URL编码。查询时可以使用`select url_decode(object)`解码。
object_size	OSS Object的大小，单位：字节。
operation	访问类型。更多信息，请参见附录：访问类型。
bucket_location	OSS Bucket所在的数据中心，一般格式为`oss-<region ID>`。
request_uri	HTTP请求的URI，包括query-string，格式为URL编码。查询时可以使用`select url_decode(request_uri)`解码。
error_code	OSS返回的错误码。更多信息，请参见错误码。
request_length	HTTP请求的大小，包括header，单位：字节。
client_ip	发起请求的IP地址，即客户端IP地址、其网络防火墙或Proxy IP地址。
response_body_length	HTTP响应中的Body大小，不包括header。
http_method	HTTP请求方法。
referer	请求的HTTP Referer。
requester_id	请求者的ID，如果是匿名访问，则显示为短划线（-）。
request_id	请求ID。
response_time	HTTP响应时间，单位：毫秒。
server_cost_time	OSS服务器处理本次请求所花的时间，单位：毫秒。
http_type	HTTP请求类型，包括HTTP和HTTPS。
sign_type	签名类型。 NotSign：未签名。 NormalSign：一般方式签名。 UriSign：通过URL签名。 AdminSign：管理员账号。 NORMAL_SIGN4：V4签名。。 URI_SIGN4：在URL种包含V4签名。
http_status	HTTP请求返回的状态。
sync_request	同步请求类型。短划线（-）：一般请求。 cdn：CDN回源。 lifecycle：设置生命周期规则。
bucket_storage_type	OSS Object存储类型。 standard：标准存储类型。 archive：归档存储类型。 IA：低频访问存储类型。
host	请求访问域名，例如：bucket123.oss-cn-beijing.aliyuncs.com。
vpc_addr	OSS所在VPC的Havip地址。该地址为整数类型（例如343819108），您可以使用`int_to_ip(cast(vpc_addr as bigint))`，将其转换为IP地址形式。
vpc_id	OSS所在VPC的ID。
delta_data_size	OSS Object大小的变化量，如果没有变化则为0；如果不是上传请求，则为短划线（-）。
ec	详细错误码。根据错误码自助排查的步骤，请参见使用EC错误码自助排查。
acc_access_region	如果是传输加速请求，该字段为请求接入点所在地域名，否则为短划线（-）。
restore_priority	解冻优先级。
extend_information	扩展字段，默认为短划线（-）。如果是通过RAM角色发起的请求，则日志会记录相关的RAM角色信息，拼接规则为`requesterParentId,roleName,roleSessionName,roleOwnerId`，以半角逗号（,）分隔，可能会继续拼接新字段。
user_defined_log_fields	扩展字段，默认为短划线（-）。如果您为该Bucket配置了自定义header和param，则日志会记录与配置中相匹配的header和param的信息，为一个JSON字段进行base64编码后的值。
archive_direct_read_size	请求产生的归档直读计量大小。如果是非归档直读，则为短划线（-），单位：字节。

批量删除日志

当您调用DeleteObjects接口时，访问日志中会有一条请求记录。但因为删除的文件信息存放在请求的HTTP Body中，访问日志中的object字段值为短划线（-）。查看具体的删除文件的列表，需要查看批量删除日志。批量删除日志的字段及说明如下，可以通过request_id字段关联。

字段名称	说明
__topic__	日志主题，固定为oss_batch_delete_log。
bucket	OSS Bucket名称。
bucket_location	OSS Bucket所在的数据中心，格式为oss-<region ID>。
client_ip	发起请求的IP地址，例如客户端IP地址、其网络防火墙或Proxy的IP地址。
delta_data_size	OSS Object大小的变化量，如果没有变化则为0；如果不是上传请求，则为短划线（-）。
error_code	OSS返回的错误码。更多信息，请参见错误码。
host	请求访问域名，例如bucket123.oss-cn-beijing.aliyuncs.com。
http_method	HTTP请求方法，例如POST。
http_status	HTTP请求返回的状态。
logging_flag	是否开启定期导出日志到OSS Bucket的功能，true表示开启。
object	请求的OSS Object，格式为URL编码，查询时可以使用`select url_decode(object)`解码。
object_size	OSS Object的大小，对应请求对象的大小，单位：字节。
operation	访问类型。更多信息，请参见日志字段详情。
owner_id	OSS Bucket拥有者的阿里云账号ID。
response_body_length	HTTP响应Body的大小，不包括header。
request_length	HTTP请求的大小，包括header，单位：字节。
referer	请求的HTTP Referer。
request_id	请求ID。
requester_id	请求者的ID，如果匿名访问则为短划线（-）。
request_uri	请求的URI，包括query-string，格式为URL编码，查询时可以使用`select url_decode(request_uri)`解码。
sync_request	同步请求类型。短划线（-）：一般请求。 cdn：CDN回源。 lifecycle：设置生命周期规则。
server_cost_time	OSS服务器处理本次请求的时间，单位：毫秒。
user_agent	HTTP的User-Agent头，例如curl/7.15.5。

每小时计量日志

记录特定OSS Bucket每个小时累计的计量信息，供辅助分析时参考使用。

字段	说明
__topic__	日志主题，固定为oss_metering_log。
owner_id	OSS Bucket拥有者的阿里云账号ID。
bucket	OSS Bucket名称。
cdn_in	CDN流入量，单位：字节。
cdn_out	CDN流出量，单位：字节。
metering_datasize	非标准存储的计量数据大小。
get_request	GET请求次数。
intranet_in	内网流入量，单位：字节。
intranet_out	内网流出量，单位：字节。
network_in	外网流入量，单位：字节。
network_out	外网流出量，单位：字节。
put_request	PUT请求次数。
storage	OSS Bucket存储量，单位：字节。
storage_type	OSS Bucket存储类型。 standard：标准存储类型。 archive：归档存储类型。 IA：低频访问存储类型。
process_img_size	处理的图像大小，单位：字节。
sync_in	同步流入量，单位：字节。
sync_out	同步流出量，单位：字节。
start_time	计量开始时间戳，单位：秒。
end_time	计量截止时间戳，单位：秒。
region	OSS Bucket所在地域。
process_img	处理图像。
bucket_location	OSS Bucket所在的数据中心，一般格式为oss-<region ID>。

附录：访问类型

访问类型如下表所示。更多信息，请参见API概览。

操作	说明
AbortMultiPartUpload	断点上传-中止。
AppendObject	追加上传文件。
CompleteUploadPart	完成断点上传。
CopyObject	复制文件。
DeleteBucket	删除Bucket。
DeleteLiveChannel	删除LiveChannel。
DeleteObject	删除文件。
DeleteObjects	删除多个文件。
ExpireObject	删除过期Object。
GetBucket	列举文件。
GetBucketAcl	获取Bucket权限。
GetBucketCors	查看Bucket的CORS规则。
GetBucketEventNotification	获取Bucket通知配置。
GetBucketInfo	查看Bucket信息。
GetBucketLifecycle	查看Bucket的Lifecycle配置。
GetBucketLocation	查看Bucket地域。
GetBucketLog	查看Bucket访问日志配置。
GetBucketReferer	查看Bucket防盗链设置。
GetBucketReplication	查看跨地域复制。
GetBucketReplicationProgress	查看跨地域复制进度。
GetBucketStat	获取bucket的相关信息。
GetBucketWebSite	查看Bucket的静态网站托管状态。
get_image_exif	获取图片的exif信息。
get_image_info	获取图片的长宽等信息。
get_image_infoexif	获取图片的长宽以及exif信息。
GetLiveChannelStat	获取LiveChannel状态信息。
GetObject	读取文件。
GetObjectAcl	获取文件访问权限。
GetObjectInfo	获取文件信息。
GetObjectMeta	查看文件信息。
GetObjectSymlink	获取symlink文件的详细信息。
GetPartData	获取断点文件块数据。
GetPartInfo	获取断点文件块信息。
GetProcessConfiguration	获取Bucket图片处理配置。
GetService	列举Bucket。
get_style	获取Bucket样式。
HeadBucket	查看Bucket信息。
HeadObject	查看文件信息。
InitiateMultipartUpload	初始化断点上传文件。
ListMultiPartUploads	列举断点事件。
ListParts	列举断点块状态。
list_style	列举Bucket的样式。
PostObject	表单上传文件。
PostProcessTask	提交相关的数据处理，例如截图等。
PostVodPlaylist	创建LiveChannel点播列表。
ProcessImage	图片处理。
PutBucket	创建Bucket。
PutBucketCors	设置Bucket的CORS规则。
PutBucketLifecycle	设置Bucket的Lifecycle配置。
PutBucketLog	设置Bucket访问日志。
PutBucketWebSite	设置Bucket静态网站托管模式。
PutLiveChannel	创建LiveChannel。
PutLiveChannelStatus	设置LiveChannel状态。
PutObject	上传文件。
PutObjectAcl	修改文件访问权限。
PutObjectSymlink	创建symlink文件。
put_style	创建Bucket样式。
RedirectBucket	bucket endpoint重定向。
RestoreObject	解冻文件。
UploadPart	断点上传文件。
UploadPartCopy	复制文件块。