本文为您介绍如何通过数据集成功能同步LogHub数据至MaxCompute。
背景信息
日志服务支持以下数据同步场景:
- 跨地域的LogHub与MaxCompute等数据源的数据同步。
- 不同阿里云账号下的LogHub与MaxCompute等数据源间的数据同步。
- 同一阿里云账号下的LogHub与MaxCompute等数据源间的数据同步。
- 公共云与金融云账号下的LogHub与MaxCompute等数据源间的数据同步。
以B账号进入数据集成配置同步任务,将A账号的LogHub数据同步至B账号的MaxCompute为例,跨阿里云账号的特别说明如下:
- 使用A账号的AccessKey ID和AccessKey Secret创建LogHub数据源。
此时B账号可以同步A账号下所有日志服务项目的数据。
- 使用A账号下的RAM用户A1的AccessKey ID和AccessKey Secret创建LogHub数据源。
- A账号为RAM用户A1赋予日志服务的通用权限,即
AliyunLogFullAccess
和AliyunLogReadOnlyAccess
,详情请参见创建RAM用户及授权。 - A账号给RAM用户A1赋予日志服务的自定义权限。
主账号A进入新建授权策略。
页面,单击根据下述策略进行授权后,B账号通过RAM用户A1只能同步日志服务project_name1以及project_name2的数据。{ "Version": "1", "Statement": [ { "Action": [ "log:Get*", "log:List*", "log:CreateConsumerGroup", "log:UpdateConsumerGroup", "log:DeleteConsumerGroup", "log:ListConsumerGroup", "log:ConsumerGroupUpdateCheckPoint", "log:ConsumerGroupHeartBeat", "log:GetConsumerGroupCheckPoint" ], "Resource": [ "acs:log:*:*:project/project_name1", "acs:log:*:*:project/project_name1/*", "acs:log:*:*:project/project_name2", "acs:log:*:*:project/project_name2/*" ], "Effect": "Allow" } ] }
- A账号为RAM用户A1赋予日志服务的通用权限,即
新建LogHub数据源
新建离线同步节点
- 在数据源页面,单击左上角的图标,选择 。
- 在数据开发页面,鼠标悬停至
图标,单击业务流程。
- 在新建业务流程对话框中,输入业务流程名称和描述,单击新建。
- 展开业务流程,右键单击数据集成,选择 。
- 在新建节点对话框中,输入节点名称,并选择目标文件夹。
- 单击提交,进入离线节点编辑页面。