在数据集成任务高并发执行且无法错峰运行的情况下,企业需要独享的计算资源来保障数据快速、稳定地传输,此时您可以选择独享数据集成资源。

说明 购买的独享数据集成资源和新增的数据源必须在同地域同购买购可用区,暂不支持跨可用区:
  • 目前购买的独享数据集成资源需要和您的VPC可用区进行绑定,即独享数据集成资源需要和数据源在同一个可用区。
  • 独享数据集成资源和独享调度资源绑定VPC时,选择需要访问的数据源所绑定的交换机。
  • 独享数据集成资源绑定VPC后,独享数据集成资源能够访问您的VPC对应可用区的数据源,暂时不能直接访问您的VPC其他可用区内的数据源。
  • 建议您在购买创建独享数据集成资源时,确认好可用区。
  • 独享数据集成资源无法访问阿里云经典网络。如果您的数据源是经典网络,建议使用默认资源组进行同步任务运行。
  • 目前正在开发独享数据集成资源支持一个VPC多个可用区的网络打通功能。

购买独享数据集成资源

  1. 登录DataWorks控制台,进入资源列表 > 独享资源页面。
  2. 如果您在该地域未购买过独享资源,单击右上角的新增独享资源
    新增独享资源
  3. 单击新增独享资源对话框中订单号后的购买,即可跳转至购买页面。
    购买
  4. 进入购买页面后,请根据实际需要,选择相应的地域独享资源类型独享调度资源资源数量计费周期,单击立即购买
    立即购买
    说明 此处的独享资源类型选择独享数据集成资源
  5. 确认订单信息无误后,勾选《DataWorks独享资源(包年包月)服务协议》,单击去支付
    确认订单
说明 独享资源不支持跨地域使用,即华东2(上海)地域的独享资源,只能给华东2(上海)地域的工作空间使用。

新增独享数据集成资源

  1. 进入资源列表 > 独享资源页面,单击右上角的新增独享资源
  2. 填写新增独享资源对话框中的配置。
    配置独享资源
    配置 说明
    资源类型 资源的使用类型。独享资源包括独享调度资源独享数据集成资源两种类型,分别适用于通用任务调度和数据同步任务专用。
    资源名称 资源的名称,租户内唯一,请避免重复。
    说明 租户即主账号,一个租户(主账号)下可以有多个用户(子账号)。
    资源备注 对资源进行简单描述。
    订单号 此处选择购买的独享资源订单。如果没有购买,可以单击购买,跳转至售卖页进行购买。
    可用区 单个地域提供了不同机器的可用区,请根据自身情况进行选择。
  3. 配置完成后,单击创建,即可新增独享资源。
    说明 独享资源在20分钟内完成环境初始化,请耐心等待其状态更新为运行中

专有网络绑定

独享资源部署在DataWorks托管的专有网络(VPC)中,如果需要与您自己的专有网络连通,需要进行专有网络绑定操作。

  1. 单击相应资源后的专有网络绑定
    说明 绑定前,需要进行RAM授权,让DataWorks拥有访问您的云资源的权限。
    无权限
    授权
  2. 授权完成后,单击右上角的新增绑定,填写新增专有网络绑定对话框中的配置。
    新增绑定
    • 如果没有可用的专有网络,您可以单击创建专有网络,跳转至专有网络控制台中的专有网络页面进行新建。
      单击创建专有网络,填写创建专有网络对话框中的配置,单击确定
      创建专有网络
      创建完成后,即可跳转至专有网络列表页面进行查看。
      专有网络列表
    • 如果没有可用的交换机,您可以单击创建交换机,跳转至专有网络控制台中的交换机页面进行新建。
      单击创建交换机,填写创建交换机对话框中的配置,单击确定
      创建交换机
      创建完成后,即可跳转至交换机列表页面进行查看。
      交换机列表
    • 如果没有可用的安全组,您可以单击创建安全组,跳转至ECS控制台中的安全组列表页面进行新建。
      单击创建安全组,填写创建安全组对话框中的配置,单击确定
      创建安全组
      创建完成后,即可跳转至安全组列表页面进行查看。
      安全组列表
  3. 配置完成后,单击创建

购买RDS实例

  1. 鼠标悬浮至左上角的图标,单击云数据库RDS版,进入实例列表页面。
    实例列表
  2. 单击右上角的创建实例
    创建实例
  3. 选择购买页面的各配置项。
    购买实例
    实例规格
    说明 配置过程中,需特别注意版本可用区网络类型的选择,必须与上文的配置保持一致。
  4. 配置完成后,单击立即购买
  5. 确认订单无误后,勾选《关系型数据库RDS服务条款》,单击去支付
  6. 购买完成后,即可返回实例列表页面进行查看。
    查看实例

设置白名单

  1. 实例列表页面,单击新建的RDS实例ID。
  2. 单击左侧导航栏中的数据安全性
  3. 白名单设置页签中,单击default白名单分组中的修改
    修改白名单
  4. 修改白名单分组对话框中,输入相应地域的白名单,并添加上文创建的专有网络的IP。
    修改白名单分组
    白名单
  5. 进入账号管理数据库管理页面,分别创建账号和数据库。
    数据库管理
    创建数据库

新增数据源

  1. 以项目管理员身份进入DataWorks控制台,单击对应工作空间操作栏中的进入数据集成
  2. 单击数据源 > 新增数据源,弹出支持的数据源。
  3. 新增数据源弹出框中,选择数据源类型为MySQL
  4. 填写MySQL数据源的各配置项。

    MySQL数据源类型分为阿里云数据库(RDS)连接串模式(数据集成网络可直接连通)连接串模式(数据集成网络不可直接连通)

    本文选择MySQL > 阿里云数据库(RDS)类型的数据源。
    MySQL数据源
    配置 说明
    数据源类型 当前选择的数据源类型为MySQL > 阿里云数据库(RDS)
    数据源名称 数据源名称必须以字母、数字、下划线组合,且不能以数字和下划线开头。
    数据源描述 对数据源进行简单描述,不得超过80个字符。
    适用环境 可以选择开发生产环境。
    说明 仅标准模式工作空间会显示此配置。
    地区 选择相应的地区。
    RDS实例ID 即上文创建的RDS的实例ID,您可以进入RDS控制台进行查看。
    RDS实例主账号ID 您可以进入在RDS控制台安全设置页面进行查看。
    用户名/密码 数据库对应的用户名和密码。
    说明 您需要先添加RDS白名单才能连接成功,详情请参见添加白名单
  5. 单击测试连通性
  6. 测试连通性通过后,单击确定

修改归属工作空间

独享资源需绑定归属的工作空间,方可被任务真正使用。一个独享资源可分配给多个工作空间使用。

  1. 进入DataWorks控制台的资源列表页面。
  2. 单击相应资源后的修改归属工作空间
    修改归属工作空间
  3. 修改归属对话框中勾选需要的工作空间,单击确定
    修改归属
绑定工作空间后,即可在数据同步任务中使用独享数据集成资源。
任务资源组
运行日志