计算资源管理
如需在DataWorks使用相关实例(例如MaxCompute、Hologres等)进行数据开发,需先将其绑定为DataWorks的计算资源。本文介绍如何创建与管理计算资源,为后续任务开发、调度运行提供基础能力。
计算资源和数据源关系
DataWorks支持多种计算资源的绑定与使用,绑定完成后,您可直接在DataWorks数据开发开展复杂数据处理及周期性调度任务开发。同时,大部分计算资源绑定至DataWorks后,将自动创建同名数据源,您也可通过数据集成模块基于该数据源执行数据同步等操作。计算引擎和数据源的区别如下:
计算资源是计算引擎用于执行数据处理和分析任务的资源实例,具有执行计算操作的功能。
数据源用于连接不同的数据存储服务,具有存储和管理数据的功能。
支持的计算资源
在DataWorks中,支持绑定如下计算资源进行数据开发。
类别 | 计算资源类型 | 绑定计算资源操作指导 | 新版数据开发 | 旧版数据开发 |
离线计算 | ||||
实时查询 | ||||
实时计算 | ||||
多模态搜索 | ||||
集群管理 | ||||
绑定MaxCompute、AnalyticDB for MySQL、AnalyticDB for PostgreSQL、AnalyticDB for Spark、ClickHouse、Hologres、Lindorm、EMR Serverless StarRocks和OpenSearch计算资源时,会在当前工作空间同步生成一个同名的数据源。
权限说明
绑定计算资源
您可根据创建的工作空间是否参加数据开发(Data Studio)公测,从相应的入口创建绑定计算资源。
参加公测工作空间绑定计算资源
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入管理中心。
在左侧导航栏单击计算资源,进入计算资源列表页。根据您需要绑定计算资源类型,参照对应文档进行操作。
未参加公测工作空间绑定计算资源
进入数据开发页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据开发。
在左侧导航栏单击
图标,进入计算资源列表页。根据您需要绑定计算资源类型,参照对应文档进行操作。
计算资源管理:通过单击右上方的新建计算资源按钮来创建计算资源。
集群管理:通过单击计算资源列表页右上方的新建集群按钮来创建集群引擎。
集群管理
支持集群版本/类型
绑定集群相关文档
绑定CDH/CDP集群
DataWorks提供的CDH5.16.2、CDH6.1.1、CDH6.2.1、CDH6.3.2、CDP7.1.7版本您可直接选择,该类集群版本配套的组件版本(即集群连接信息中各组件的版本)固定。若该类集群版本不满足您的业务需要,您可选择自定义版本。
绑定EMR集群
支持EMR集群类型:DataLake集群(新版数据湖):EMR on ECS、Custom集群(自定义集群):EMR on ECS、Hadoop集群(旧版数据湖):EMR on ECS、Spark集群:EMR on ACK和EMR Serverless Spark集群。
重要支持在DataWorks使用以下EMR版本的Hadoop集群(旧版数据湖):
EMR-3.38.2、EMR-3.38.3、EMR-4.9.0、EMR-5.6.0、EMR-3.26.3、EMR-3.27.2、EMR-3.29.0、EMR-3.32.0、EMR-3.35.0、EMR-4.3.0、EMR-4.4.1、EMR-4.5.0、EMR-4.5.1、EMR-4.6.0、EMR-4.8.0、EMR-5.2.1、EMR-5.4.3
Hadoop集群(旧版数据湖)已不建议使用,请尽快迁移至DataLake集群,详情请参见Hadoop集群迁移至DataLake集群。
解绑计算资源
请谨慎解绑计算资源。解绑操作将同步删除与该计算资源关联的同名数据源,可能对多个模块(如数据集成、运维中心、数据分析、数据服务 API、数据质量等)中引用此计算资源或数据源的任务造成影响。为确保业务正常运行,请在解绑前仔细阅读界面提示,并将该计算资源下的所有任务迁移至其他计算资源。
您可按需解绑计算资源,在计算资源页面,找到已绑定的计算资源,单击右侧解绑,将计算资源从本工作空间解绑。
附录:任务执行环境说明
标准模式工作空间下,一个计算资源实例存在开发环境和生产环境两套配置,不同环境可以指定不同的数据库或实例,系统将通过运行环境自动映射访问不同的计算资源,从而实现开发测试与生产调度的隔离。例如,执行离线同步任务时,开发环境自动访问预配置的开发环境数据库,而生产调度则访问生产库。
简单模式工作空间仅拥有一个环境,无法做到开发与生产隔离。关于工作空间模式的介绍,详情请参见必读:简单模式和标准模式的区别。
若简单模式升级为标准模式(参与新版数据开发公测的空间暂不支持升级),会将原有的一个计算资源拆分为生产环境和开发环境隔离的两个计算资源。详情请参见场景:工作空间模式升级(简单模式升级标准模式)。