数据集成通过部署Agent,可以打通任意网络环境之间的数据传输同步。本文将为您介绍如何在两端数据源均无法连通的情况下,进行数据同步。

背景信息

复杂网络环境主要包含以下两种情况:
  • 数据的来源端和目标端有一端为私网环境:
    • VPC环境(除RDS)<->公网环境
    • 金融云环境<->公网环境
    • 本地自建无公网环境<->公网环境
  • 数据的来源端和目标端均为私网环境:
    • VPC环境(除RDS)<->VPC环境(除RDS)
    • 金融云环境<->金融云环境
    • 本地自建无公网环境<->本地自建无公网环境
    • 本地自建无公网环境<->VPC环境(除RDS)
    • 本地自建无公网环境<->金融云环境

仅一端数据源无法连通的情况请参见(一端不通)数据源网络不通的情况下的数据同步

实现逻辑

针对第二种复杂网络环境,您可以在两端数据源的相同网络环境下,均部署数据集成Agent。来源端Agent负责推送数据至数据集成服务端,目标端Agent负责拉取数据至本地,且数据在传输过程中进行数据的分块、压缩和加密,以保障数据传输的及时性和安全性。实现逻辑

新增数据源

  1. 以开发者身份登录DataWorks控制台,单击相应工作空间后的进入数据集成
  2. 单击左侧导航栏中的数据源,即可跳转至工作空间管理 > 数据源管理页面。
  3. 单击数据源管理页面右上角的新增数据源
  4. 新增数据源对话框中,选择数据源类型为FTP
  5. 新增FTP数据源对话框中,填写各配置项。
    添加源端和目标端的数据源。新增数据源
    参数 描述
    数据源名称 数据源名称必须以字母、数字、下划线组合,且不能以数字和下划线开头。
    数据源描述 对数据源进行简单描述,不得超过80个字符。
    适用环境 您可以选择开发生产环境。
    说明 仅标准模式工作空间会显示该配置。
    Portocol 目前仅支持FTP和SFTP协议。
    Host 对应FTP主机的IP地址。
    Port 如果选择的是FTP协议,则端口默认为21。如果选择的是SFTP协议,则端口默认为22。
    用户名 访问该FTP服务的账号。
    密码 访问该FTP服务的密码。
  6. 单击测试连通性
  7. 测试连通性成功后,单击完成

新建离线同步节点

  1. 数据源页面,单击左上角的图标,选择全部产品 > DataStudio(数据开发)
  2. 数据开发页面,鼠标悬停至新建图标,单击业务流程
  3. 新建业务流程对话框中,输入业务流程名称描述,单击新建
  4. 展开业务流程,右键单击数据集成,选择新建 > 离线同步
  5. 新建节点对话框中,输入节点名称,并选择目标文件夹
  6. 单击提交

导入模板

  1. 成功创建离线同步节点后,单击工具栏中的转换脚本
    转换脚本
  2. 单击提示对话框中的确认,即可进入脚本模式进行开发。
    说明 脚本模式支持更多功能,例如在网络不可达的情况下,编辑同步任务。
  3. 单击工具栏中的导入模板
    导入模板
  4. 导入模板对话框中,选择从来源端的FTP数据源同步至目标端的FTP数据源的导入模板,单击确认
    导入模板
    参数 描述
    来源类型 选择FTP
    数据源 选择新建的来源端的数据源。
    目标类型 选择FTP
    数据源 选择新建的目标端的数据源。
  5. 导入模板后,根据自身需求编辑代码。

运行同步任务

您可以通过以下两种方式运行任务:
  • 在离线同步节点的编辑页面,直接单击运行
  • 调度运行,提交调度的步骤请参见调度配置