日志服务采集到数据后,支持将数据投递至OSS进行存储与分析。本文介绍投递的操作步骤。
前提条件
- 已创建Project和Logstore。具体操作,请参见创建Project和Logstore。
- 已采集到数据。具体操作,请参见数据采集。
- 已在日志服务Project所在的地域创建Bucket。具体操作,请参见创建存储空间。
- 已完成云资源访问授权。
如果您要跨阿里云账号或使用RAM用户配置投递规则,请参见RAM授权。
背景信息
- OSS支持自由设置生命周期,可以长期存储数据。
- 您可以通过数据处理平台(例如E-MapReduce和DLA)或自建程序消费OSS数据。
支持的地域说明
投递数据
查看OSS数据
将数据投递到OSS成功后,您可以通过OSS控制台、API、SDK或其它方式访问OSS数据。更多信息,请参见文件管理。
oss://OSS-BUCKET/OSS-PREFIX/PARTITION-FORMAT_RANDOM-ID
分区格式
OSS Bucket | OSS Prefix | 分区格式 | OSS文件路径 |
---|---|---|---|
test-bucket | test-table | %Y/%m/%d/%H/%M | oss://test-bucket/test-table/2017/01/20/19/50_1484913043351525351_2850008 |
test-bucket | log_ship_oss_example | year=%Y/mon=%m/day=%d/log_%H%M%s | oss://test-bucket/log_ship_oss_example/year=2017/mon=01/day=20/log_195043_1484913043351525351_2850008.parquet |
test-bucket | log_ship_oss_example | ds=%Y%m%d/%H | oss://test-bucket/log_ship_oss_example/ds=20170120/19_1484913043351525351_2850008.snappy |
test-bucket | log_ship_oss_example | %Y%m%d/ | oss://test-bucket/log_ship_oss_example/20170120/_1484913043351525351_2850008 说明 此格式会导致Hive等平台无法解析对应的OSS内容,建议您不要使用该格式。
|
test-bucket | log_ship_oss_example | %Y%m%d%H | oss://test-bucket/log_ship_oss_example/2017012019_1484913043351525351_2850008 |
使用Hive、MaxCompute等大数据平台或阿里云DLA产品分析OSS数据时,如果您希望使用Partition信息,可将文件名中的PARTITION-FORMAT设置为key=value格式。例如:oss://test-bucket/log_ship_oss_example/year=2022/mon=01/day=20/log_195043_1484913043351525351_2850008.parquet,设置为三层分区列,分别为:year、mon、day。
相关操作
- 修改投递规则
单击投递配置,修改投递规则,参数详情请参见本文中的投递数据。
- 关闭投递
单击关闭投递,即可关闭投递。
- 查看投递任务状态及错误信息
日志服务支持查看过去两天内的所有投递任务及其投递状态。
- 任务状态
状态 说明 成功 投递任务正常运行。 进行中 投递任务进行中,请稍后查看是否投递成功。 失败 因外部原因而无法重试的错误导致投递任务失败,请根据错误信息进行排查并重试。 - 错误信息
如果投递任务出现错误,控制台上会显示相应的错误信息。
错误信息 错误原因 处理方法 UnAuthorized 没有权限。 请确认以下配置: - OSS Bucket拥有者是否已创建AliyunLogDefaultRole角色。
- 角色描述中配置的阿里云账号ID是否正确。
- AliyunLogDefaultRole角色是否被授予OSS Bucket写权限。
- RAM角色标识是否配置正确。
ConfigNotExist 配置不存在。 一般是由于关闭投递导致的。请在重新开启投递并配置投递规则后,通过重试解决。 InvalidOssBucket OSS Bucket不存在。 请确认以下配置: - OSS Bucket所在地域与日志服务Project所在地域是否相同。
- Bucket名称是否配置正确。
InternalServerError 日志服务内部错误。 通过重试解决。 - 重试任务
日志服务会按照策略默认为您重试,您也可以手动重试。日志服务默认重试最近两天之内所有失败的任务,重试等待的最小间隔是15分钟。当任务执行失败时,第一次失败需要等待15分钟再进行重试,第二次失败需要等待30分钟再进行重试,第三次失败需要等待60分钟再进行重试,以此类推。
如果您需要立即重试失败任务,请单击重试全部失败任务、目标任务右侧的重试或通过API、SDK指定任务进行重试。
- 任务状态