阿里云首页 图数据库 GDB

数据导入简介

GDB支持从各种数据源导入数据,本文针对不同的数据格式和环境,介绍三种导入服务。

从阿里云云存储对象(OSS)导入数据

GDB服务端集成有数据导入模块,可以拉取用户提供的CSV格式的OSS数据文件,解析成图的点和边数据,再写入GDB实例,以下图例概述了主要过程:从阿里云OSS(CSV)导入数据

主要包含以下步骤:

  1. 将需要导入的点和边数据分别转换成csv格式,上传到阿里云云存储对象(OSS)的Bucket。

  2. 创建对此Bucket具有读取和列表访问权限的RAM角色。

  3. 通过发送HTTP请求到GDB数据库实例来启动GDB加载程序。

  4. GDB加载程序代入RAM角色从Bucket中读取数据并加载到数据库实例。

使用DataWorks数据集成同步数据到GDB

DataWorks是阿里云上的一站式大数据智能云研发平台,其中数据集成服务支持导出数据到GDB,您也可以使用平台完成数据计算、筛选、转换等处理再同步到GDB。

DataWorks的GDB数据源底层由GdbWriter插件提供服务,提供同等的写入能力,参考配置GDB数据源完成同步配置。

使用DataX导入数据到GDB

GDB也提供了DataX插件GdbWriter来导入数据,DataX支持从各种数据源读取数据,您只需要提供相应读取数据源的配置和插件GdbWriter的配置,再启动任务就可以将数据写入GDB,DataX导入简化流程见下图:

DataWorks导入数据流程图DataX插件主要支持以下特性:

  • MySQL、MaxCompute等数据源到GDB的数据同步。

  • 源数据列到GDB的点/边字段映射,也支持多列拼接成GDB的一个字段。

  • 不同的写入模式:插入、更新和跳过。

  • GdbWriter是DataX开源项目的一部分,数据导入详情可参见帮助文档:安装DataX环境 、配置GDB同步任务。

注意

DataX用于数据中转,请确保源数据端、DataX运行环境和GDB实例网络联通,最好能处在同一个VPC以保证较好的网络质量。

首页 图数据库 GDB 数据导入 数据导入简介