全部产品
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件

云上数据集成方案

更新时间:2017-06-07 13:26:11

ODPS数据集成方案

一、本地数据库

1.1 公网环境同步数据库中数据到ODPS

使用工具:大数据开发集成环境(Data IDE)使用方法:

  • 第一步:开通数据开发服务
  • 第二步:创建项目
  • 第三步:新建数据源
  • 第四步:创建数据同步工作流节点
  • 第五步:配置同步任务
  • 第六步:执行或者发布进行数据同步

1.2 非公网环境实现同步数据库中数据到ODPS

使用工具:DataX使用方法:

  • 第一步:下载DataX并解压
  • 第二步:根据模板和将要同步的源端和目的端配置同步json
  • 第三步: 运行DataX执行同步

二、本地文件

2.1 公网环境实现同步本地文件、Hadoop中数据到ODPS

使用工具:大数据开发集成环境(Data IDE)使用方法:

  • 第一步:开通数据开发服务
  • 第二步:创建项目
  • 第三步:新建数据源
  • 第四步:创建数据同步工作流节点
  • 第五步:配置同步任务
  • 第六步:执行或者发布进行数据同步

2.2 非公网实现同步本地文件、Hadoop中数据到ODPS

使用工具:DataX使用方法:

  • 第一步:下载DataX并解压
  • 第二步:根据模板和将要同步的源端和目的端配置同步json
  • 第三步: 运行DataX执行同步

2.3 实现同步日志文件中数据到ODPS

使用工具:Apache Flume ODPS插件Fluentd ODPS插件使用方法:

  • 第一步:在本地部署Flume 或者Fluentd
  • 第二步:在部署的Flume 或者Fluentd中安装相应的ODPS插件
  • 第三步:配置Flume 或者Fluentd源头为日志文件,目的端为ODPS的同步任务。

三、云环境数据库

3.1 实现一次性同步RDS、OSS、OTS、ADS、DRDS中数据到ODPS

使用工具:大数据开发集成环境(Data IDE)使用方法:

  • 第一步:开通数据开发服务
  • 第二步:创建项目
  • 第三步:新建数据源(OTS不用走这个步骤,直接创建向导模式的同步任务)
  • 第四步:创建数据同步工作流节点
  • 第五步:配置同步任务
  • 第六步:执行或者发布进行数据同步

四、云环境文件

3.1 实现一次性同步ECS日志文件中数据到ODPS

使用工具:日志服务(Log Service)Apache Flume ODPS插件Fluentd ODPS插件使用方法:

  • 第一步:在MaxCompute中授予MaxCompute数据投递权限
  • 第二步:创建日志创建投递配置Flume和Fluentd步骤
  • 第一步:在本地部署Flume 或者Fluentd
  • 第二步:在部署的Flume 或者Fluentd中安装相应的ODPS插件
  • 第三步:配置Flume 或者Fluentd源头为日志文件,目的端为ODPS的同步任务。
本文导读目录