图计算服务iGraph图运维功能介绍。
图运维
图运维页面帮助用户查看当前图的回流信息,支持两种查看视角:
图schema视角,并支持对图进行索引构建、数据写入操作
节点、关系视角,并查看对应的回流日志
图schema视角
以图schema视角查看全局图运维信息,对节点、关系右键可进行对应操作:
触发索引构建:选择对应分区并触发索引构建
增量数据写入:基于数据更新语法
数据导出
定时导出
节点、关系视角
查看当前图对应的回流日志:
回流对象:schema下的节点、关系所对应的表
状态:当前回流页面会读取最新的回流信息,单击刷新进行更新。状态说明参考当前回流
触发时间、完成时间
单击详情查看当前回流对象具体信息
回流详情
基础信息
数据表包含的基础信息,表名 、状态、数据源表等信息。
当前回流
目前回流经过7步骤
未触发:未回流
触发成功:后端接受到触发回流信号,并信息检查成功
等待索引构建:表进入构建等待队列,构建服务会根据表优先级选择表进行构建
进行索引构建:通过build service服务构建索引到hdfs
等待索引切换:索引产出后,会进入切换等待队列,等待切换程序处理,切换程序会根据表优先级从等待队列中选择
索引切换:将索引从hdfs拉取到在线服务物理机,并完成数据切换
回流完成:可以提供查询、更新服务
历史回流
字段结构
图模型中所配置的节点、关系的字段结构
索引导出
总体流程
数据导出
对于需要导出功能的点/边,在数据配置页面关闭“索引优化”选项后提交
修改完表配置后,保存并发布图配置
选择该点/边,重新触发一次索引构建,回流完成后的索引即为可导出版本
选择该点/边,进入“数据导出”页面,填写如下信息:指定project、指定table、新分区版本、选择可导出版本,单击“一键获取建表SQL”。
注意:此时先不要单击“导出”按钮
拿到建表sql后,在max compute里执行创建table
创建table成功后,使用alter方法添加对应分区。
注意:分区名要与第四步填写的保持一致
每次导出,需要在max compute的对应table添加一个新分区,否则可能存在数据重复写入的问题
max compute里的table及分区创建完毕后,进行授权操作,然后在graph compute里的数据导出页面检查填写信息是否正确,无误后单击“导出”按钮,任务创建完成
导出任务相关信息可进入回流日志中对应点/边的“详情”页面查看
定时导出
对于需要导出功能的点/边,在数据配置页面关闭“索引优化”选项后提交
修改完表配置后,保存并发布图配置
选择该点/边,重新触发一次索引构建,回流完成后的索引即为可导出版本
选择该点/边,进入“定时导出”页面,填写如下信息:指定project、指定table、选择新分区版本、定时配置,单击“一键获取建表SQL”。
注意:此时先不要单击“导出”按钮
若是一天内需要导出多次,新分区版本需要选择"yyyyMMddHH"
拿到建表sql后,在max compute里执行创建table
创建table成功后,使用grant方法赋予graph compute账户对该table的操作权限
max compute里的table创建并授权完毕后,在graph compute里的定时导出页面检查填写信息是否正确,无误后单击“导出”按钮,任务创建完成。
注意:每个点/边仅支持一个定时导出任务,若是重复创建则会删除该点/边的前一个定时导出任务。
导出任务相关信息可进入回流日志中对应点/边的“详情”页面查看
操作示例
准备可导出的索引版本
对于需要导出功能的点/边,在数据配置页面关闭“索引优化”选项后提交
修改完表配置后,保存并发布图配置
选择该点/边,重新触发一次索引构建,回流完成后的索引即为可导出版本
获取建表sql,并创建table
graph compute填写导出相关参数,单击“一键获取建表SQL”。此时先不要单击“导出”按钮
在max compute里执行sql语句,创建table
“数据导出”任务中,需要在table下添加对应分区
alter table openrec_new.test_momet add partition (ds='2023032302');
max compute赋予table级权限
max compute里,待导出的table需要给Graph Compute的odps账号赋权
add user ALIYUN$openias;
grant Describe,Alter,Update,Select on table test_momet to USER ALIYUN$openias;
可参考:通过命令管理用户权限