全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网
云数据库 MongoDB 版

通过数据集成导入导出MongoDB数据

更新时间:2017-08-18 17:50:06

数据集成(Data Integration)是阿里集团对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台,为20+种数据源提供不同网络环境下的离线(全量/增量)数据进出通道。详细的数据源类型列表请参见支持数据源类型。用户可以通过数据集成(Data Integration)对云产品MongoDB进行数据的导入和导出。

数据导入和导出均有以下两种实现方式:

  • 向导模式:向导模式是可视化界面配置同步任务, 一共涉及到五步,选择来源,选择目标,字段映射,通道控制,预览保存。在每个不同的数据源之间,这几步的界面可能有不同的内容,向导模式可以转换成脚本模式。向导模式不支持创建同步任务。

  • 脚本模式:进入脚本界面你可以选择相应的模板,此模板包含了同步任务的主要参数,然后补全剩余的参数也能创建同步任务。但是脚本模式不能转化成向导模式。

本文主要介绍如何将Table Store中的数据导入到MongoDB中,将MongoDB中的数据导出到Table Store中操作步骤与导入类似,因此本文将不再赘述数据如何导出。

注意:

  • 只有项目管理员角色才能够新建数据源,其他角色的成员仅能查看数据源。

  • 如您想用子账号创建数据集成任务,需赋予子账号相应的权限。具体请参考:开通阿里云主账号设置子账号

操作步骤

  1. 以项目管理员身份进入数加管理控制台,单击项目列表下对应项目操作栏中的进入工作区。如何创建项目请参考创建项目
  1. 进入顶部菜单栏中的数据集成页面,单击左侧导航栏中的数据源

  2. 单击右上角的新增数据源,如下图所示:

    数据源

  3. 在新增数据源对话框中填写相关配置项,针对MongoDB数据源配置项的具体说明如下:

    • 数据源名称: 由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过60个字符 。
    • 数据源描述: 对数据源进行简单描述,不得超过80个字符 。
    • 数据源类型:当前选择的数据源类型MongoDB:阿里云数据库和有公网IP的自建数据库。
    • 访问地址:格式为:host:port 。
    • 添加访问地址:添加访问地址,格式:host:port 。
    • 数据库名:该数据源对应的数据库名 。
    • 用户名/密码:数据库对应的用户名和密码 。
  4. 完成上述信息项的配置后,单击测试连通性。测试通过单击确定

  5. 新建同步任务,单击数据集成下的同步任务,并选择脚本模式,如下图所示:

    10.jpg

  6. 在弹出的导入模板中选择自己需要的来源类型目标类型,如下图所示:

    向导模式

  7. 单击确认后即进入脚本模式配置页面,可根据自身情况进行配置,如有问题可单击右上方的帮助手册进行查看,如下图所示:

    向导配置

  8. 单击运行即可。

如下是一个完整的MongoDBReader脚本案例:

  1. {
  2. "type": "job",
  3. "configuration": {
  4. "setting": {
  5. "speed": {
  6. "concurrent": "1",//并发数
  7. "mbps": "1"//同步能达到的最大数率
  8. },
  9. "errorLimit": {
  10. "record": "0"//错误记录数
  11. }
  12. },
  13. "reader": {
  14. "parameter": {
  15. "column": [
  16. {
  17. "name": "name",
  18. "type": "string"
  19. },
  20. {
  21. "name": "year",
  22. "type": "int"
  23. }
  24. ],
  25. "datasource": "px_mongodb_datasource",//数据源名,建议数据源都先添加数据源后再配置同步任务,此配置项填写的内容必须要与添加的数据源名称保持一致
  26. "collectionName": "px"
  27. },
  28. "plugin": "mongodb"
  29. },
  30. "writer": {
  31. "parameter": {
  32. "writeMode": "insert",//写入模式
  33. "preSql": [],//导入前准备语句
  34. "column": [
  35. "name",
  36. "year"
  37. ],
  38. "table": "person",//
  39. "datasource": "px_mysql",//数据源名,建议数据源都先添加数据源后再配置同步任务,此配置项填写的内容必须要与添加的数据源名称保持一致
  40. "postSql": []
  41. },
  42. "plugin": "mysql"
  43. }
  44. },
  45. "version": "1.0"
  46. }
本文导读目录