在数据集成任务高并发执行且无法错峰运行的情况下,企业需要独享的计算资源来保障数据快速、稳定地传输,此时您可以选择独享数据集成资源组。
使用限制
- 独享数据集成资源组访问VPC环境数据源时,独享数据集成资源组需要绑定数据源所在VPC,绑定该VPC下任意一个交换机后,会自动添加路由至整个VPC网段,实现独享数据集成资源组在该VPC下网络可达。
- 如果目的端数据库有白名单访问限制,走公网,您需要添加独享数据集成资源组的EIP地址,走内网,您需要添加独享数据集成资源组绑定的交换机网段至数据库的白名单和安全组。详情请参见添加独享数据集成资源组的白名单。
- 如果独享数据集成资源组访问的是本地idc数据源,或者跨账号访问数据源,请绑定网络打通的专有网络,再自定义路由规则到目的端ip。
- 独享数据集成资源组无法访问阿里云经典网络。如果您的数据源使用的是经典网络,建议使用公共资源组进行同步任务运行。
说明 获取独享资源组的EIP地址、独享资源组绑定的专有网络的交换机网段和数据源的网络环境的方式等,请参见
独享资源组常见问题。
独享数据集成资源组的特点
- 在您的任务没有把相应的独享资源组占满的前提下,可以保证您的任务及时得到响应。
- 具备连通您的VPC、IDC的能力。
- 与公共资源组相比,支持更多类型的数据源。
- 可以被多个DataWorks工作空间共享,实现资源的复用。
购买独享数据集成资源组
- 登录DataWorks控制台。
- 选择相应地域后,在左侧导航栏,单击资源组列表。
- 在独享资源组页面,单击创建独享资源组。
- 在创建独享资源组对话框中,单击订单号后的购买,跳转至购买页面。
- 进入购买页面后,请根据实际需要,选择相应的地域、独享资源类型、资源数量和计费周期,单击立即购买。
- 确认订单信息无误后,勾选《DataWorks独享资源(包年包月)服务协议》,单击去支付。
新增独享数据集成资源组
- 在页面,单击创建独享资源组。
- 在创建独享资源组对话框中,配置各项参数。
参数 |
描述 |
资源组类型 |
资源的使用类型。独享资源包括独享调度资源和独享数据集成资源两种类型,分别适用于通用任务调度和数据同步任务专用。
|
资源组名称 |
资源的名称,租户内唯一,请避免重复。
说明 租户即主账号,一个租户(主账号)下可以有多个用户(子账号)。
|
资源组备注 |
对资源进行简单描述。 |
订单号 |
此处选择购买的独享资源订单。如果没有购买,请单击购买,跳转至售卖页进行购买。
|
- 配置完成后,单击确定。
网络配置
独享资源部署在DataWorks托管的专有网络(VPC)中,与其他网络环境不连通。使用独享资源时,您需进行网络配置,为独享资源绑定一个可与数据源连通的VPC,通过此VPC实现与数据源网络连通。
- 单击相应资源后的网络设置。
说明 绑定VPC前,您需要进行RAM授权,让DataWorks拥有访问云资源的权限。
- 绑定专有网络VPC
- 单击专有网络绑定页面左上方的新增绑定,在新增专有网络绑定对话框中,配置各项参数,不同网络环境下各参数的配置说明如下。
参数说明如下:
参数 |
配置说明(数据源与独享资源在同一VPC) |
配置说明(数据源与独享资源不在同一VPC) |
专有网络 |
如果您的数据源在阿里云VPC的网络环境中,建议配置为数据源所在的VPC。 |
如果您的数据源与独享资源不在同一VPC,例如,数据源不在阿里云VPC网络环境中,或需要将数据源与独享数据集成资源分别部署在不同VPC网络中时,您可单击创建专有网络,为独享数据资源创建一个VPC。创建完成后这里配置为新建的VPC。
|
交换机 |
专有网络配置为数据源所在VPC时,建议选择与数据源绑定的交换机。 |
专有网络配置为其他VPC,或没有可用交换机时,可单击创建交换机,为独享资源组单独创建一个交换机。创建完成后这里配置为创建的交换机。
说明 绑定数据源所在VPC后,绑定VPC下任意一个交换机,会自动添加路由至整个VPC网段,实现独享数据集成资源组在该VPC下网络可达。
|
安全组 |
安全组指定了独享资源实例需要允许或禁止哪些公网或内网的访问。您可根据业务需求选择已有的安全组,或单击创建安全组为独享资源实例创建安全组。创建安全组的详细参数配置可参见添加安全组规则。
|
- 单击确定,完成绑定VPC操作。
- 可选:配置Host
如果您的数据源无法通过IP直接访问,例如,数据源通过Host的域名托管,通过Host域名直接被外部访问时,您需要参考以下步骤配置Host,否则在添加数据源时,使用数据源的Host域名进行连通性测试时会失败。
- 单击Host配置,在Host配置页面左上方单击新增,在新增域名Host配置对话框中配置各项参数。参数说明如下。
参数 |
配置说明 |
IP地址 |
配置为数据源的实际IP地址。 |
Host域名 |
配置为数据源对外提供访问服务的Host域名。如果有多个Host域名时,可换行依次添加。
说明 此处的域名需包含数字、字母、连字符(-)、点(.),且必须以字母开头,以字母或者数字结尾。
|
- 如果有多个IP地址需要添加,可继续单击新增继续添加。
说明
- 新增的Host配置中,IP、域名不能与之前配置的Host中的IP或域名重复。
- 一个Host配置中,IP与域名为1对多的关系,即IP可以对应多个Host域名,但是同一个Host域名只能指向一个IP。
- 可选:配置DNS
如果您的数据源无法通过IP直接访问,例如,数据源通过负载均衡域名直接被外部访问,通过内部域名解析服务器将域名解析至实际数据源IP地址时,您需要参考以下步骤配置DNS,否则在添加数据源时,使用数据源的Host域名进行连通性测试时会失败。
说明 如果同一个域名同时配置了Host和DNS,系统会优先根据Host的访问规则访问数据源。
- 单击DNS配置,在DNS配置页面左下角单击添加,配置完成DNS各项参数后单击保存。参数说明如下。
参数 |
配置说明 |
Domain |
非必配项。如果数据源有统一的一级域名,可在此处配置为数据源对外提供访问的域名的一级域名。
例如,数据源1对外的访问域名为domain1.example.com,数据源2对外的访问域名为domain2.example.com,此处建议配置为example.com。
说明 此处的域名需包含数字、字母、连字符(-)、点(.),且必须以字母开头,以字母或者数字结尾。
|
NameServer |
配置为数据源提供域名解析的解析服务的IP地址。如果有多个域名解析服务器时,可换行依次添加。 |
- 如果您需要修改之前配置的DNS,您可单击左下角的修改。
完成独享数据集成资源的网络配置后,您还需添加独享资源组的EIP地址、专有网络的弹性网卡IP至数据库的白名单。
绑定归属工作空间
独享资源需要绑定归属的工作空间,才可以被任务真正使用。一个独享资源可以分配给多个工作空间使用:
- 返回DataWorks控制台,在左侧导航栏,单击资源组列表。
- 单击相应资源后的修改归属工作空间。
- 在修改归属工作空间对话框中,选择需要的工作空间,单击确定。
绑定工作空间后,数据同步任务可以通过数据集成资源组配置使用独享数据集成资源组:
- 单击左上方的
图标,选择,并切换至修改的归属工作空间。
- 在数据开发面板,双击打开相应节点的编辑页面。
- 单击页面右侧的数据集成资源组配置。
- 在数据集成资源组配置对话框中,选择相应的方案和资源组。
- 在节点的编辑页面,单击工具栏中的
图标。
在文档使用中是否遇到以下问题
更多建议
匿名提交