管理控制概述

DataWorks 管理控制台是进行环境设置与资源管理的可视化平台。其管理能力贯穿两个层面:在全局层,支持配置租户级的通用角色和报警规则;在工作空间层,支持为每个独立的项目精细配置其专属的计算资源、数据源和开发成员。

核心概念与系统架构

在开始具体操作前,必须首先理解 DataWorks 的核心架构和实体关系。

核心概念:工作空间

工作空间是 DataWorks 中进行项目管理、权限控制和资源隔离的基本逻辑单元。所有的数据开发、任务运维、成员管理等活动都在工作空间中展开。

  • 隔离性:工作空间具有强隔离特性,不同工作空间,内部节点任务、资源、成员完全独立。

  • 容器载体:它作为容器,承载数据开发、数据集成等一系列功能模块,并与数据源、计算资源、资源组等外部实体进行关联。

架构与实体关系解析

下图展示DataWorks各核心实体之间的依赖与关联关系:

image
  1. 工作空间:位于架构图的中心,是所有操作的最小单元。数据开发数据集成运维中心等功能操作是在具体工作空间下进行。

  2. 资源组

    说明

    请注意,DataWorks中用于任务计算的资源组,是独立购买的计算资源包;这与阿里云全局管理账号下,用于资源隔离和权限划分的资源组是完全不同的两个概念。

    • 定义:为任务运行提供计算资源(CPU、内存)的实体,它独立于工作空间存在。

    • 关系必须绑定。如图右侧所示,资源组必须与一个或多个工作空间绑定后,工作空间内的数据集成任务和周期性调度的数据开发任务等才能获取到运行时所需的计算资源。

  3. 计算资源

    • 定义:为数据开发模块提供语法解析、编译和执行环境的实体,例如MaxCompute、Hologres、EMR等。

    • 关系开发依赖。如图中数据开发模块的输入箭头所示,必须为工作空间绑定计算资源,开发者才能在数据开发模块中编写、调试和提交相应类型的代码(如SQL、Spark)。

  4. 数据源

    • 定义:用于访问外部数据存储(如MySQL、Oracle、OSS)的连接信息配置。

    • 关系集成依赖。如图中数据集成模块的输入箭头所示,数据集成任务的源端(Source)和目标端(Sink)都依赖于预先在工作空间中配置好的数据源。

  5. 自定义镜像

    • 定义:一个包含特定操作系统、运行时环境和第三方库的打包环境。

    • 关系按需绑定。如图左侧所示,当个人开发环境 (Studio)或特定类型的数据开发节点(如PyODPS)需要标准环境之外的依赖(如特定版本的Python库)时,可以按需绑定自定义镜像。此为高级功能。

  6. 跨空间全局服务

    • 如图顶部数据治理数据地图等模块,它们位于工作空间之上,提供租户级别的全局数据视图和管理能力,其权限体系独立于单个工作空间。

注意事项

  • 权限控制:若您无法看到或操作某些功能,请联系主账号或管理员确认您是否拥有相应权限。详情请参见成员权限管理

  • 地域隔离:DataWorks 的工作空间及资源在不同地域下是相互隔离的。在执行任何操作前,请务必在控制台顶部导航栏确认您已选择目标资源所在的正确地域。

操作入门流程

对于初次配置 DataWorks 的用户,推荐遵循以下标准工作流,以确保环境的完整性和可用性。

重要

请确保您为阿里云主账号,或拥有AliyunDataWorksFullAccessRAM用户。否则,请联系管理员RAM用户授权

1、创建工作空间

登录 DataWorks 控制台,在顶部导航栏切换目标地域,在左侧导航栏选择工作空间,点击创建工作空间。根据需求选择工作空间模式(推荐使用标准模式以支持完整的开发、测试、生产环境隔离)。

详情请参见创建工作空间

image

2、配置并绑定资源组

  1. 创建/购买资源组:在控制台左侧导航栏进入资源组列表,根据任务负载需求购买合适的资源组(例如,Serverless资源组)。

  2. 绑定至工作空间:将已购资源组绑定到您的工作空间。此步骤是保障数据集成、任务调度、数据服务等核心功能正常运行的前提

    image

3、为工作空间添加成员

  1. 切换至工作空间列表,单击目标工作空间操作栏的详情,进入目标工作空间详情页。

  2. 在此处添加项目团队成员(RAM用户),并授予其适当的空间级角色(如工作空间管理员、开发、运维),以实现协同开发和权限管控。

    详情请参见为工作空间添加空间成员

    image

4、绑定计算资源

进入工作空间详情的计算资源列表,将已有的计算资源实例(如MaxCompute项目)绑定到当前工作空间。此步骤是进行数据开发的前提

image

5、添加数据源

进入工作空间详情的数据源,点击新增数据源,配置您需要进行数据同步的源端或目标端数据库的连接信息,并进行连通性测试。

image

完成以上五个步骤后,您的 DataWorks 工作空间已具备基础的开发和运行能力,可以开始进行数据集成和数据开发工作。

管理控制功能概览

概览与导航

控制台左侧导航栏是所有管理功能的入口,主要包括工作空间列表、资源组列表、镜像管理、已购资源与服务等。登录DataWorks控制台,默认进入概览页,此界面为您展示DataWorks产品使用的核心场景、当前登录账号的常用工作空间产品动态及其他资讯的快速入口等。

全局维度配置

以下配置为租户级别,在当前地域下对所有工作空间生效。

  1. 通过导航栏的更多 > 管理中心,或在工作空间列表操作栏的管理按钮,进入管理中心

    image

  2. 查看租户配置的报警配置、租户成功与角色以及程序。

    image

    功能模块

    描述与核心操作

    报警配置

    支持查看并配置DataWorks报警联系人相关信息,并配置报警上限。

    报警资源:查看报警资源(短信/电话)使用情况,并设置每日报警数量上限,达到上限后将停止发送。
    报警联系人:配置接收任务报警的联系人信息,支持从访问控制同步或手动配置,需激活后方可生效。

    详情请参见查看和设置报警联系人

    租户成员与角色

    租户成员:配置拥有全局模块(如数据保护伞、数据地图)权限的成员。
    租户角色:查看或自定义全局角色及其权限。

    详情请参见全局级模块权限控制

    扩展程序

    启用或配置开放平台提供的扩展应用,实现开发和运维流程的校验及管控。

    详情请参见扩展程序(Extensions)

工作空间详情配置

以下配置仅对当前工作空间生效。

功能模块

描述与核心操作

工作空间配置

管理工作空间基本属性及安全设置(如是否允许下载Select结果)。

详情请参见配置工作空间

数据源

统一管理当前工作空间用于数据同步的源端和目标端连接信息。

详情请参见数据源管理

计算资源

绑定和管理工作空间使用的数据开发计算资源,如MaxCompute、Hologres、AnalyticDB等。

详情请参见计算资源管理

集群管理

注册并管理自建的CDH/CDP、EMR集群,配置认证文件及账号映射关系。仅针对未使用新版数据开发(Data Studio)的工作空间可见。

空间成员与角色

支持查看预设角色权限,或自定义新角色并配置其功能权限及与计算资源的角色映射;同时,支持为工作空间添加/移除成员,并授予空间级预设或自定义角色。

详情请参见空间级模块权限管控

工作空间管理

在控制台左侧导航栏,单击工作空间,即可查看当前租户指定地域下所有工作空间,支持管理您已加入的DataWorks工作空间,或创建新的工作空间。

说明

RAM用户仅能查看已加入的工作空间。若需查看工作空间,需将RAM用户添加为工作空间成员,详情请参见为工作空间添加空间成员

控制台

区域

功能

描述

相关文档

1

选择地域

用于切换DataWorks的地域,不同地域所展示的工作空间列表不同。

-

2

创建工作空间

用于创建新的DataWorks工作空间。

配置工作空间

3

查看工作空间基本信息

展示工作空间的模式、管理员等基本信息,主要包括:

  • 工作空间模板:支持全部能力和OpenLake工作空间。

  • 模式:展示对应工作空间当前的工作空间模式。DataWorks工作空间支持简单模式与标准模式,建议使用标准模式进行线上开发。

  • 管理员:展示对应工作空间的空间管理员。空间管理员可在管理中心 > 工作空间 > 空间成员页面,将RAM用户添加进对应的工作空间。

  • 资源组ID:展示您当前工作空间所属资源组,该资源组为您在阿里云资源管理中创建的默认资源组

    重要

    此处展示的资源组是在阿里云账号下进行资源分组管理的一种机制,帮助您解决单个阿里云账号内的资源分组和授权管理的复杂性问题。与DataWorks产品所说的任务运行需使用的资源组为两个概念,请注意区分。更多关于阿里云资源组说明详情请参见什么是资源管理

4

工作空间相关操作

用于查看当前工作空间的重点指标数据,快速进入相应模块,或执行工作空间相关操作。

  • 详情:用于查看工作空间下业务日期昨天的实例运行、待治理问题、模型及指标数据。

  • 快速进入:用于快速跳转至当前工作空间相关的功能模块。

  • 管理:用于快速进入管理中心,进行工作空间配置,对工作空间成员角色、数据源、集群及扩展程序进行相关管理操作。

  • 创建数据源:快速创建数据源,用于后续数据集成、数据开发等任务。

  • 绑定计算资源:将计算资源绑定至工作空间,用于后续大数据任务开发。

  • 删除工作空间:用于删除具体工作空间,工作空间删除后将不可再恢复。

  • 禁用工作空间:若无需使用DataWorks,您可将工作空间禁用。禁用后,工作空间中的任务不再自动调度,但引擎资源仍然存在,可能产生引擎费用。

5

版本升级

升级当前使用的DataWorks版本。

  • 增值版本可使用更丰富的产品能力,各版本产品能力存在差异。

  • 增值版本为地域级别开通,购买后当前地域下的所有工作空间均可使用该版本产品能力。

各版本产品之间的差异详情请参见DataWorks各版本功能详情

购买独享资源组

您可购买Serverless资源组,资源组购买后,可单击左侧导航栏资源组,查看资源组详情。

资源组管理

资源组列表

在控制台左侧导航栏,单击资源组,您可购买所需资源,或查看相应地域下已购资源详情,并进行相关管理操作。

image

区域

功能

描述

相关文档

1

创建资源组

用于新建Serverless资源组。

资源组管理

2

查看资源组基本信息

用于查看资源组运行状态,到期时间及使用率等基本信息。

  • 区域2,资源组状态

    • 启动中:资源组购买后,正在启动,请耐心等待。

    • 正常:正常状态,可正常运行任务。

    • 更新中:此状态说明资源组正在进行变更。例如,扩缩容等。

      说明

      更新过程需要一段时间,请耐心等待。

    • 到期停机:若包年包月资源组到期未续费,将会变更为该状态,并无法正常使用。若到期后一段时间仍未续费,控制台将会删除对应资源组记录。

    • 冻结:按量付费资源组7天不使用,将自动转为冻结状态。

  • 区域3,资源组使用率:若资源组使用率过高,可能会影响任务运行。您需查看具体任务占用资源的情况并及时调整不合理的资源使用。

3

4

资源组基本操作

查看资源组详细信息、执行资源组相关变更操作。

  • 详情:查看资源组基本信息、资源使用率、调度并发使用量以及资源组在数据集成、数据计算、数据服务、数据调度、个人开发环境等模块的使用情况。

  • 网络设置:若要访问特殊网络环境,您需要对资源组进行网络配置。配置前,您可先选择网络连通方案,再参考文档进行网络连通配置。

  • 绑定工作空间:资源组购买后需要绑定到具体工作空间下,绑定后才可以在具体工作空间中使用该资源组。

    您需拥ModifyResourceGroup权限才可修改归属工作空间。授权操作请参见控制台细分权限管控:自定义策略

  • 更多操作:您可以单击image,对资源组进行扩容缩容续费退订配额管理付费类型转换修改数据调度并发上限等操作。

说明

资源组变更过程需要一定时间,请耐心等待。

大模型服务

在控制台左侧导航栏,单击大模型管理,可进入大模型服务页面。大模型服务为您提供高效部署、安全通信与便捷调用的一站式能力,您可以基于DataWorksServerless资源组轻松完成模型部署,并直接在数据集成、数据开发任务中调用大模型。更多信息,请参见大模型服务管理

镜像管理

在控制台左侧导航栏,单击镜像管理,您可以在此界面查看DataWorks官方镜像。如果运行在Serverless资源组上的任务需要特定的开发环境(例如第三方库依赖),您可以创建一个集成必要开发包与依赖的自定义镜像,然后在运行任务时,指定Serverless资源组作为执行资源,并指定该镜像作为运行环境。更多信息,请参见自定义镜像

已购资源与服务

在控制台左侧导航栏,单击已购资源与服务,您可在此界面查看已购买的包年包月、按量付费DataWorks服务及资源组详情,查看相应的账单计费规则,或进行续费升级降级退订等操作。相关文档请参见查看账单详情计费简介