本文将为您及时同步DataWorks的版本更新。

DataWorks V2.0发布

发布版本:DataWorks V2.0
  • 发布时间:2018年7月25日
  • 发布范围:华东2区域
  • 发布内容:DataWorks V2.0在DataWorks V1.0的基础上,新增业务流程、组件的概念,并完善数据开发体系。DataWorks V2.0支持双工作空间开发,将开发和生产隔离,保证数据研发规范,减少错误代码的出现。

已升级DataWorks V2.0区域

目前所有区域均升级至DataWorks V2.0版本。

DataWorks V2.0版本操作差异

DataWorks V2.0版本更新一览表

DataWorks V2.0提升了整体视觉交互和数据开发模块的使用体验。新增智能监控、数据保护伞、数据质量和数据服务四大模块。

如果您想快速了解新老版本的差异,请参见下表的版本更新说明和讲解视频DataWorks V2.0版本概述与最佳实践

模块名称 子模块 对比项 DataWorksV1.0 DataWorksV2.0 改进效果
MaxCompute项目 项目管理模式 管理方式 一个 DataWorks项目对应一个MaxCompute项目。 引入标准模式的概念。一个 DataWorks工作空间对应两个MaxCompute项目,分别是开发环境和生产环境,详情请参见简单模式和标准模式的区别 隔离风险,进一步保障生产环境代码的稳定性。
数据开发 任务开发 整体功能 进行单任务、工作流的代码编写、周期调度配置,完成后可提交运维中心自动调度。
  • 更名:名称更改为数据研发。
  • 新增:解决方案、业务流程的概念。
  • 删减:删除工作流的概念。
  • 优化:SQL编辑器更加智能,任务周期配置、依赖配置更加开放。
  • SQL编辑器:提供更加人性化、沉浸式的SQL开发体验。
  • 任务管理: 业务流程解决方案让复杂的开发任务管理更加简单。
  • 任务调度 :更开放的调度系统,轻松应对更加复杂的业务场景。
  • 其他功能: 新增功能可以优化长久以来的用户痛点,从细节上照顾用户的体验。
SQL研发 以单个任务或工作流的形式,在页面上编写SQL代码并进行试运行。 提供更加智能的SQL编辑器以满足您的需求,可以实现:代码高亮格式化智能补齐错误提示表结构显示等人性化功能。

同时,您可以在编辑器右侧结构标签内,以图形化的形式直观地对SQL内部结构进行梳理。

节点配置 通过单个节点、工作流模式组合业务代码。 引入业务流程的概念替代工作流。您可以在业务流程中自由组合任务,并根据需求,将不同的资源归入业务流程中进行管理(所有任务、表、资源、函数都必须从属于一个业务流程)。您也可以通过解决方案,对业务流程进行整合,统一管理业务关联性较强的流程。
周期配置 工作流整体周期配置会影响单个任务的周期配置。 无法对组合后的节点进行整体周期配置,但可以对所有节点单独进行配置,且调度周期类型不受上下游节点影响。
依赖属性 工作流之间的依赖局限于整体。 不同业务流程中的任务节点可以相互依赖,不需要依赖业务流程整体。
脚本开发 整体功能 作为周期任务的补充,通常用于非周期的临时数据处理,如临时表的增删改等,因此不包含周期属性和依赖关系。 功能相同,更名为临时查询
手动任务 整体功能 创建的所有节点都需要手动触发,无法通过调度执行。 功能相同,更名为手动业务流程
资源管理 整体功能 作为一个单独标签管理该MaxCompute项目中的所有资源,包括 jar/file/archive。 作为业务流程中的一个子标签,您可以按需加入该业务流程中涉及到的资源,同时可以建立多层文件夹进行管理。
函数管理 整体功能 作为一个单独标签,管理该MaxCompute SQL编辑时需要的系统函数和自定义函数。 既可以作为一个单独标签存在并管理所有函数,也可以作为业务流程中的一个子标签,仅管理该业务流程中所需使用的函数。
表查询 整体功能 展示该MaxCompute项目下的所有表,同时能够预览内容、引用表名。 相同。
表管理(新增) 整体功能 供开发者管理自己的表。可以进行生命周期设置、表管理(包括修改表的类目、描述、字段、分区等)、表隐藏/取消隐藏和表删除等操作。
临时查询 整体功能 用于在本地测试代码的实际情况与期望值是否相符,无提交、发布、设置调度参数功能。
组件管理(新增) 整体功能 将大量相似并可复用的SQL代码抽象为SQL代码块或节点任务,可供您自由地配置输入输出参数,并将其运用到各个不同的实际业务中。
运行历史(新增) 整体功能 展示最近三天内,在本地运行过的所有任务记录。同时可查看任务运行结果,并提供简单的过滤功能。
结果筛选(新增) 整体功能 页面SQL运行的结果集成了Excel组件,让您在页面输出结果后,通过简单的过滤、筛选、排序得到所需结果。
回收站(新增) 整体功能 用于防止您误删任务所带来的业务损失。您可以在回收站中查看当前工作空间下所有删除的节点,并提供恢复功能。
代码全局搜索 整体功能 您可以输入不完整字符串来查找包含该字符串的MaxCompute SQL、Shell、数据同步任务,快速定位自己所需查看或操作的任务。
发布功能 整体功能 DataWorksV1.0标准模式项目下保留发布功能。 更名为项目克隆。仅简单模式的工作空间具备主动将任务克隆至其他工作空间的功能。
运维中心 任务列表 功能 根据节点类型、名称和责任人搜索任务。 增加通过业务流程解决方案基线名称来搜索任务的功能。 从业务视角来对任务进行运维,匹配了任务开发界面的新功能。
任务运维 功能 根据节点类型、名称、责任人、业务日期和运行日期搜索任务。 增加通过业务流程解决方案基线名称搜索任务的功能。
报警 功能 通过出错、完成和未完成等事件,作为监控报警的依据。 集成基线监控事件报警自定义报警三大功能,构建更加智能、完备的报警体系。
智能监控(新增) 智能监控(Alarm)是DataWorks任务运行的监控及分析系统。根据监控规则和任务运行情况,智能监控决策是否报警、何时报警、如何报警以及给谁报警。智能监控会自动选择最合理的报警时间、报警方式和报警对象。 赋予用户在云上一站式完成数据开发、数据(安全)治理、数据分享的闭环体验。
数据质量DQC(新增) 数据质量,是支持多种异构数据源的质量校验、通知、管理服务的一站式平台。

数据质量以数据集(DataSet)为监控对象,目前支持MaxCompute数据表和DataHub实时数据流的监控。当离线MaxCompute数据发生变化时,数据质量会对数据进行校验并阻塞生产链路,避免问题数据污染扩散。同时,数据质量提供了历史校验结果的管理,以便您对数据质量分析和定级。

数据服务(新增) 数据服务提供了快速将数据表生成数据API的能力,支持您将现有的API快速注册到数据服务平台以统一管理和发布。同时,数据服务已与API网关(API Gateway)打通,支持将API服务一键发布至API网关。数据服务与API网关一道为您提供了安全稳定、低成本、易上手的数据开放共享服务。
数据保护伞(新增) 数据保护伞为MaxCompute提供数据资产识别、敏感数据发现、数据分级分类、脱敏、访问监控、风险发现预警与审计的能力。