投递流程

功能优势

通过日志服务投递日志数据到OSS具有如下优势：

• 操作简单：仅需在控制台上做简单配置即可将日志服务Logstore的数据投递到OSS。
• 效率提升：日志服务的日志收集过程已经完成不同机器上的日志集中化，无需在不同机器上重复收集日志导入OSS。
• 便于管理：投递日志到OSS可以充分复用日志服务内的日志分类管理功能。用户可让日志服务不同项目（Project）、不同类型（Logstore）的日志自动投递到不同的OSS Bucket目录，方便管理日志数据。

注意事项

• 日志服务Project和OSS的Bucket必须位于相同Region，不支持跨Region投递数据。
• 创建或修改投递任务后，您需要通过如下操作确认投递规则是否符合预期结果。
  1. 检查新生成的投递任务的执行状态是否正常。
  2. 检查新生成的投递任务投递到目标存储的数据内容是否符合预期。

操作步骤

1. 访问控制（RAM）授权。
   开启投递任务之前，您需要为日志服务授权，允许日志数据写入OSS。

   单击快捷授权，在弹出页面中单击同意授权。成功授权后，日志服务具备OSS的数据写入权限。

   说明

   • 修改授权策略、跨阿里云账号配置投递任务，请参见RAM授权。
   • 不涉及跨阿里云账号时，子账号配置投递任务请参见授权RAM用户，为子账号授予权限。
2. 配置OSS投递规则。
   1. 登录日志服务控制台，单击Project名称。
   2. 单击依次展开Lostore名称 > 数据处理 > 导出。
   3. 单击OSS（对象存储），打开OSS投递管理页面。
   4. 单击开启投递，设置OSS投递配置并单击确认。
      请参考下表设置OSS投递配置。

      配置项	说明	取值范围
      OSS投递名称	您所创建的投递的名称。	只能包含小写字母，数字，连字符（-）和下划线（_），必须以小写字母和数字开头和结尾，且名称长度为3~63字节。
      OSS Bucket	OSS Bucket名称。	必须是已存在的Bucket名称，且需要保证OSS的Bucket与日志服务Project位于相同Region。
      OSS Prefix	OSS前缀，从日志服务同步到OSS的数据将存放到Bucket的该目录下。	必须是已存在的OSS Prefix名称。
      分区格式	将投递任务创建时间使用%Y、%m、%d、%H、%M等格式化生成分区字符串，以此来定义写到OSS的Object文件所在的目录层次结构，其中斜线/表示一级OSS目录。如下表举例说明OSS Prefix和分区格式如何定义OSS目标文件路径。	格式化参考strptime API。
      RAM角色	RAM角色ARN及角色名称，用于访问权限控制，OSS Bucket拥有者创建角色的标识，如何获得ARN请参见图 2。	如acs:ram::45643:role/aliyunlogdefaultrole。
      投递大小	自动控制投递任务创建间隔并设置OSS的一个Object大小（以未压缩计算）上限。	取值范围为5~256，单位为MB。
      存储格式	日志数据投递OSS的存储格式。	支持JSON/Parquet/CSV三种格式，配置细节请单击查看：JSON格式、Parquet格式、CSV格式。
      是否压缩	OSS数据存储的压缩方式。	不压缩：表示原始数据不压缩。 压缩（snappy）：表示使用snappy算法对数据做压缩，可以减少 OSS Bucket存储空间使用量。
      是否投递tag	选择是否投递日志的标签。	选择是或者否。
      投递时间	投递任务的间隔时长。	取值范围为300~900，默认值300。单位为秒。

      

      

      说明 日志服务在后端并发执行数据投递，对写入每个shard的数据单独进行服务。每一个Shard都会根据投递大小、投递时间决定任务生成的频率，当任一条件满足时，即会创建投递任务。

分区格式

使用Hive、MaxCompute等大数据平台或阿里云DLA产品分析OSS数据时，如果希望使用Partition信息，可以设置每一层目录上为key=value格式（Hive-style partition）。

例如：oss://test-bucket/log_ship_oss_example/year=2017/mon=01/day=20/log_195043_1484913043351525351_2850008.parquet可以设置三层分区列，分别为：year、mon、day。

日志投递任务管理

在启动OSS投递功能后，日志服务后台会定期启动投递任务。您可以在控制台OSS投递管理界面上看到投递任务的状态。

OSS 数据存储

可以通过控制台、API/SDK或其它方式访问OSS数据。

如使用Web管理控制台访问，进入OSS服务，选择Bucket，单击 文件管理即可看到有日志服务投递过来的数据。

更多OSS使用步骤请参见OSS文档。

oss:// OSS-BUCKET/OSS-PREFIX/PARTITION-FORMAT_RANDOM-ID