图运维

图计算服务iGraph图运维功能介绍。

图运维

图运维页面帮助用户查看当前图的回流信息,支持两种查看视角:

  • 图schema视角,并支持对图进行索引构建、数据写入操作

  • 节点、关系视角,并查看对应的回流日志

图schema视角

image..png以图schema视角查看全局图运维信息,对节点、关系右键可进行对应操作:

  • 触发索引构建:选择对应分区并触发索引构建

  • 增量数据写入:基于数据更新语法

  • 数据导出

  • 定时导出

节点、关系视角

回流日志查看当前图对应的回流日志:

  • 回流对象:schema下的节点、关系所对应的表

  • 状态:当前回流页面会读取最新的回流信息,单击刷新进行更新。状态说明参考当前回流

  • 触发时间、完成时间

  • 单击详情查看当前回流对象具体信息

回流详情

基础信息

image.png

数据表包含的基础信息,表名 、状态、数据源表等信息。

当前回流

当前回流

  • 目前回流经过7步骤

    • 未触发:未回流

    • 触发成功:后端接受到触发回流信号,并信息检查成功

    • 等待索引构建:表进入构建等待队列,构建服务会根据表优先级选择表进行构建

    • 进行索引构建:通过build service服务构建索引到hdfs

    • 等待索引切换:索引产出后,会进入切换等待队列,等待切换程序处理,切换程序会根据表优先级从等待队列中选择

    • 索引切换:将索引从hdfs拉取到在线服务物理机,并完成数据切换

    • 回流完成:可以提供查询、更新服务

历史回流

历史回流

字段结构

图模型中所配置的节点、关系的字段结构

索引导出

总体流程

数据导出

  1. 对于需要导出功能的点/边,在数据配置页面关闭“索引优化”选项后提交

  2. 修改完表配置后,保存并发布图配置

  3. 选择该点/边,重新触发一次索引构建,回流完成后的索引即为可导出版本

  4. 选择该点/边,进入“数据导出”页面,填写如下信息:指定project、指定table、新分区版本、选择可导出版本,单击“一键获取建表SQL”。

  • 注意:此时先不要单击“导出”按钮

  1. 拿到建表sql后,在max compute里执行创建table

  2. 创建table成功后,使用alter方法添加对应分区。

  • 注意:分区名要与第四步填写的保持一致

  • 每次导出,需要在max compute的对应table添加一个新分区,否则可能存在数据重复写入的问题

  1. max compute里的table及分区创建完毕后,进行授权操作,然后在graph compute里的数据导出页面检查填写信息是否正确,无误后单击“导出”按钮,任务创建完成

  2. 导出任务相关信息可进入回流日志中对应点/边的“详情”页面查看

定时导出

  1. 对于需要导出功能的点/边,在数据配置页面关闭“索引优化”选项后提交

  2. 修改完表配置后,保存并发布图配置

  3. 选择该点/边,重新触发一次索引构建,回流完成后的索引即为可导出版本

  4. 选择该点/边,进入“定时导出”页面,填写如下信息:指定project、指定table、选择新分区版本、定时配置,单击“一键获取建表SQL”。

  • 注意:此时先不要单击“导出”按钮

  • 若是一天内需要导出多次,新分区版本需要选择"yyyyMMddHH"

  1. 拿到建表sql后,在max compute里执行创建table

  2. 创建table成功后,使用grant方法赋予graph compute账户对该table的操作权限

  3. max compute里的table创建并授权完毕后,在graph compute里的定时导出页面检查填写信息是否正确,无误后单击“导出”按钮,任务创建完成。

  • 注意:每个点/边仅支持一个定时导出任务,若是重复创建则会删除该点/边的前一个定时导出任务。

  1. 导出任务相关信息可进入回流日志中对应点/边的“详情”页面查看

操作示例

准备可导出的索引版本

  1. 对于需要导出功能的点/边,在数据配置页面关闭“索引优化”选项后提交

image.png

  1. 修改完表配置后,保存并发布图配置

image.png

image.png

  1. 选择该点/边,重新触发一次索引构建,回流完成后的索引即为可导出版本

image.png

获取建表sql,并创建table

  1. graph compute填写导出相关参数,单击“一键获取建表SQL”。此时先不要单击“导出”按钮

image.png

image.png

  1. 在max compute里执行sql语句,创建table

  2. “数据导出”任务中,需要在table下添加对应分区

alter table openrec_new.test_momet add partition (ds='2023032302');

max compute赋予table级权限

max compute里,待导出的table需要给Graph Compute的odps账号赋权