DataWorks V2.0

模块名称

子模块

对比项

DataWorksV1.0

DataWorksV2.0

改进效果

MaxCompute项目

项目管理模式

管理方式

一个 DataWorks项目对应一个MaxCompute项目。

引入标准模式的概念。一个 DataWorks工作空间对应两个MaxCompute项目，分别是开发环境和生产环境，详情请参见简单模式和标准模式的区别。

隔离风险，进一步保障生产环境代码的稳定性。

数据开发

任务开发

整体功能

进行单任务、工作流的代码编写、周期调度配置，完成后可提交运维中心自动调度。

• 更名：名称更改为数据研发。

• 新增：解决方案、业务流程的概念。

• 删减：删除工作流的概念。

• 优化：SQL编辑器更加智能，任务周期配置、依赖配置更加开放。

• SQL编辑器：提供更加人性化、沉浸式的SQL开发体验。

• 任务管理： 业务流程、解决方案让复杂的开发任务管理更加简单。

• 任务调度 ：更开放的调度系统，轻松应对更加复杂的业务场景。

• 其他功能： 新增功能可以优化长久以来的用户痛点，从细节上照顾用户的体验。

SQL研发

以单个任务或工作流的形式，在页面上编写SQL代码并进行试运行。

提供更加智能的SQL编辑器以满足您的需求，可以实现：代码高亮、格式化、智能补齐、错误提示和表结构显示等人性化功能。

同时，您可以在编辑器右侧结构标签内，以图形化的形式直观地对SQL内部结构进行梳理。

节点配置

通过单个节点、工作流模式组合业务代码。

引入业务流程的概念替代工作流。您可以在业务流程中自由组合任务，并根据需求，将不同的资源归入业务流程中进行管理（所有任务、表、资源、函数都必须从属于一个业务流程）。您也可以通过解决方案，对业务流程进行整合，统一管理业务关联性较强的流程。

周期配置

工作流整体周期配置会影响单个任务的周期配置。

无法对组合后的节点进行整体周期配置，但可以对所有节点单独进行配置，且调度周期类型不受上下游节点影响。

依赖属性

工作流之间的依赖局限于整体。

不同业务流程中的任务节点可以相互依赖，不需要依赖业务流程整体。

脚本开发

整体功能

作为周期任务的补充，通常用于非周期的临时数据处理，如临时表的增删改等，因此不包含周期属性和依赖关系。

功能相同，更名为临时查询。

手动任务

整体功能

创建的所有节点都需要手动触发，无法通过调度执行。

功能相同，更名为手动业务流程。

资源管理

整体功能

作为一个单独标签管理该MaxCompute项目中的所有资源，包括 jar/file/archive。

作为业务流程中的一个子标签，您可以按需加入该业务流程中涉及到的资源，同时可以建立多层文件夹进行管理。

函数管理

整体功能

作为一个单独标签，管理该MaxCompute SQL编辑时需要的系统函数和自定义函数。

既可以作为一个单独标签存在并管理所有函数，也可以作为业务流程中的一个子标签，仅管理该业务流程中所需使用的函数。

表查询

整体功能

展示该MaxCompute项目下的所有表，同时能够预览内容、引用表名。

相同。

表管理（新增）

整体功能

无

供开发者管理自己的表。可以进行生命周期设置、表管理（包括修改表的类目、描述、字段、分区等）、表隐藏/取消隐藏和表删除等操作。

临时查询

整体功能

无

用于在本地测试代码的实际情况与期望值是否相符，无提交、发布、设置调度参数功能。

组件管理（新增）

整体功能

无

将大量相似并可复用的SQL代码抽象为SQL代码块或节点任务，可供您自由地配置输入输出参数，并将其运用到各个不同的实际业务中。

运行历史（新增）

整体功能

无

展示最近三天内，在本地运行过的所有任务记录。同时可查看任务运行结果，并提供简单的过滤功能。

结果筛选（新增）

整体功能

无

页面SQL运行的结果集成了Excel组件，让您在页面输出结果后，通过简单的过滤、筛选、排序得到所需结果。

回收站（新增）

整体功能

无

用于防止您误删任务所带来的业务损失。您可以在回收站中查看当前工作空间下所有删除的节点，并提供恢复功能。

代码全局搜索

整体功能

无

您可以输入不完整字符串来查找包含该字符串的MaxCompute SQL、Shell、数据同步任务，快速定位自己所需查看或操作的任务。

发布功能

整体功能

DataWorksV1.0标准模式项目下保留发布功能。

更名为项目克隆。仅简单模式的工作空间具备主动将任务克隆至其他工作空间的功能。

运维中心

任务列表

功能

根据节点类型、名称和责任人搜索任务。

增加通过业务流程、解决方案、基线名称来搜索任务的功能。

从业务视角来对任务进行运维，匹配了任务开发界面的新功能。

任务运维

功能

根据节点类型、名称、责任人、业务日期和运行日期搜索任务。

增加通过业务流程、解决方案、基线名称搜索任务的功能。

报警

功能

通过出错、完成和未完成等事件，作为监控报警的依据。

集成基线监控、事件报警、自定义报警三大功能，构建更加智能、完备的报警体系。

智能监控（新增）

智能监控（Alarm）是DataWorks任务运行的监控及分析系统。根据监控规则和任务运行情况，智能监控决策是否报警、何时报警、如何报警以及给谁报警。智能监控会自动选择最合理的报警时间、报警方式和报警对象。

赋予用户在云上一站式完成数据开发、数据（安全）治理、数据分享的闭环体验。

数据质量DQC（新增）

数据质量，是支持多种异构数据源的质量校验、通知、管理服务的一站式平台。

数据质量以数据集（DataSet）为监控对象，目前支持MaxCompute数据表和DataHub实时数据流的监控。当离线MaxCompute数据发生变化时，数据质量会对数据进行校验并阻塞生产链路，避免问题数据污染扩散。同时，数据质量提供了历史校验结果的管理，以便您对数据质量分析和定级。

数据服务（新增）

数据服务提供了快速将数据表生成数据API的能力，支持您将现有的API快速注册到数据服务平台以统一管理和发布。同时，数据服务已与API网关（API Gateway）打通，支持将API服务一键发布至API网关。数据服务与API网关一道为您提供了安全稳定、低成本、易上手的数据开放共享服务。

数据保护伞（新增）

数据保护伞为MaxCompute提供数据资产识别、敏感数据发现、数据分级分类、脱敏、访问监控、风险发现预警与审计的能力。