GraphCompute数据导出MaxCompute表

更新时间:
复制 MD 格式

本文介绍如何将图计算GraphCompute的数据快速导出到MaxCompute项目表。当前我们支持按照节点或者边表数据独立导出,暂不支持全图数据导出。

操作步骤:

步骤一:开启GraphCompute图中需要导出的表:

对于需要导出功能的点/边

1、在数据配置页面需要关闭“索引优化”

2、进行表配置的【保存】和图的【发布】

3、选择该点/边,重新触发一次索引构建,并等待本次数据回流完成后的索引即为可导出到MaxCompute中

参考图:

在数据配置页面中,找到对应点/边表的索引优化开关并将其关闭。

保存和发布按钮位于页面右上角,发布按钮右上角带有红色感叹号提示标记。

右键单击该点或边节点,在弹出的上下文菜单中选择触发索引构建。

在回流日志面板中,确认对应点/边(如 skc_feature)的状态列显示为回流完成 (100%),即表示索引构建回流已完成。

步骤二:选择需要导出的目标MaxCompute表:

情况一:目标导出的表为已存在的MaxComputeTable表;

1、需要将该Table表写入权限添加给Graph Compute的账号;

  add user ALIYUN$openias; 
  grant Describe,Alter,Update,Select on table 输入Table表名 to USER ALIYUN$openias;

2、授权具体操作功能,参考

情况二:需要新建一张MaxCompute Table表;

1、需要新建MaxCompute Table表;

控制台提供建表语句,【图运维 - 右键选中节点 - 数据导出】根据GraphCompute中的表【一键获取建表SQL】获取对应Table表的创建语句。

在数据导出配置页面,导出类型选择MaxCompute,填写指定Project(例如openrec_new)和指定Table(例如test_momet),选择可导出版本,并填写新分区版本(例如ds=2023032302)。

弹出查看建表SQL语句对话框,展示目标表的完整CREATE TABLE语句(含全部字段定义及PARTITIONED BY分区信息),可单击复制图标将SQL复制后在MaxCompute中执行建表。

2、将该Table表写入权限添加给Graph Compute的账号;

  add user ALIYUN$openias; 
  grant Describe,Alter,Update,Select on table 输入Table表名 to USER ALIYUN$openias;

3、授权具体操作功能,参考

步骤三:配置单次导出GraphCompute任务:

【图运维 - 右键选中节点、边 - 数据导出】单次导出GraphCompute任务时,在数据导出配置页面中,需配置导出类型、指定分区等字段,确认后单击导出按钮执行导出操作。导出MaxCompute Table表的数据需要存放在一个已存在的分区。

1、创建table成功后,使用alter方法添加对应分区:

alter table 输入MaxComputeProjec名字.table名字 add partition (ds='2023032302')  

如果该分区已存在历史数据,导出的数据会直接追加入表,不做历史数据的清理;

2、进行导出相关检查,如MaxCompute里的table及分区是否创建完毕、是否完成账号授权操作;

3、填入已有的分区名,并点击“导出”按钮;

4、等待导出任务完成,可通过历史任务进行相关信息查看;

步骤四:配置定时导出GraphCompute任务:

【图运维 - 右键选中节点、边 - 定时导出】定时导出GraphCompute任务,导出MaxCompute Table表的数据会根据设定的分区规则,自动创建对应表的新分区。

1、进行导出相关检查,如MaxCompute里的table及分区是否创建完毕、是否完成账号授权操作;

2、填入新建分区的规则,并点击“导出”按钮:如果按天导出,可以设定【yyyyMMdd】,如果按小时导出,可以设定【yyyyMMddHH】;

3、等待导出任务完成,可通过历史任务进行相关信息查看;

定时导出配置对话框包含导出类型、指定Project、指定Table、分区规则输入框及导出按钮等配置项。