计算资源管理
如需在DataWorks使用相关实例(例如MaxCompute、Hologres等)进行数据开发,需先将其绑定为DataWorks的计算资源。本文介绍如何创建与管理计算资源,为后续任务开发、调度运行提供基础能力。
计算资源和数据源关系
DataWorks支持多种计算资源的绑定与使用,绑定完成后,您可直接在DataWorks数据开发开展复杂数据处理及周期性调度任务开发。同时,大部分计算资源绑定至DataWorks后,将自动创建同名数据源,您也可通过数据集成模块基于该数据源执行数据同步等操作。计算引擎和数据源的区别如下:
计算资源是计算引擎用于执行数据处理和分析任务的资源实例,具有执行计算操作的功能。
数据源用于连接不同的数据存储服务,具有存储和管理数据的功能。
支持的计算资源
在DataWorks中,支持绑定如下计算资源进行数据开发。
类别 | 计算资源类型 | 绑定计算资源操作指导 | 数据开发 |
离线计算 | 支持 | ||
支持 | |||
实时查询 | 支持 | ||
支持 | |||
实时计算 | 支持 | ||
多模态搜索 | 支持 |
绑定Hologres、EMR Serverless StarRocks、MaxCompute和OpenSearch计算资源时,会在当前工作空间同步生成一个同名的数据源。
权限说明
绑定计算资源
您可根据创建的工作空间是否使用新版数据开发(Data Studio),从相应的入口创建绑定计算资源。
使用数据开发绑定计算资源
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的,在下拉框中选择对应工作空间后单击进入管理中心。
在左侧导航栏单击计算资源,进入计算资源列表页。根据您需要绑定计算资源类型,参照对应文档进行操作。
解绑计算资源
请谨慎解绑计算资源。解绑操作将同步删除与该计算资源关联的同名数据源,可能对多个模块(如数据集成、运维中心、数据分析、数据服务 API、数据质量等)中引用此计算资源或数据源的任务造成影响。为确保业务正常运行,请在解绑前仔细阅读界面提示,并将该计算资源下的所有任务迁移至其他计算资源。
您可按需解绑计算资源,在计算资源页面,找到已绑定的计算资源,单击右侧解绑,将计算资源从本工作空间解绑。
附录:任务执行环境说明
标准模式工作空间下,一个计算资源实例存在开发环境和生产环境两套配置,不同环境可以指定不同的数据库或实例,系统将通过运行环境自动映射访问不同的计算资源,从而实现开发测试与生产调度的隔离。例如,执行离线同步任务时,开发环境自动访问预配置的开发环境数据库,而生产调度则访问生产库。