本文为您介绍DataWorks文档更新的最新动态,基于此您可以及时了解DataWorks的新增特性及功能变更。

2021年11月更新记录

时间 特性 类别 描述 产品文档
2021.11.24 主要更新 数据集成 HDFS Reader和HDFS Writer增加向导开发模式。 HDFS ReaderHDFS Writer
2021.11.20 新增功能 API 新增运维中心相关API,您可以根据OpSeq(补数据唯一标识)获取单次补数据的所有Dag详情。 ListDags
2021.11.14 新增功能 数据开发 DataWorks支持对节点、资源、函数进行批量修改责任人等批量编辑操作,并支持批量提交并发布,将变更操作发布至生产环境生效。 批量操作
2021.11.08 新增功能 数据开发 DataWorks的资源组编排功能,帮助您在数据开发阶段,批量修改指定业务流程下目标节点使用的调度资源组。当您的工作空间中有多个调度资源组时,可以根据实际业务需求,使用该功能快速为目标节点重新分配资源组,促进资源的合理使用。 资源组编排

2021年10月更新记录

时间 特性 类别 描述 产品文档
2021.10.26 新增功能 数据建模
  • 命名词典为您提供管理业务名词、物理表、字段的词根和词素及其标准化翻译功能,您可以在DataWorks新建命名词典,或将已有词典导出。
  • 当您已通过其他建模工具生成模型,此时,想更换为DataWorks的智能建模进行后续建模工作,则可以使用逆向建模功能。该功能无需您再次执行建模操作,即可帮助您快速将已有模型反向建模至DataWorks的维度建模中,节省了大量的时间成本。
2021.10.22 主要更新 数据保护伞
  • 数据分类分级支持您按照数据的价值、内容敏感程度、影响和分发范围不同对数据进行敏感级别划分。不同敏感级别的数据有不同的管控原则和数据开发要求。
  • DataWorks支持通过内置敏感字段类型和自定义敏感字段类型,有效识别组织内的敏感数据。
2021.10.18 新增功能 发布中心 DataWorks的发布中心,支持通过配置跨云发布环境,实现节点的跨账号、跨地域批量发布。您无需逐个创建节点,即可将其他工作空间的节点批量发布至当前工作空间。通常,当目标工作空间需要创建与源工作空间相同的节点时,可以使用该功能。 发布中心
2021.10.15 新增功能 API
  • 新增ListDeployments,查询发布包列表信息。
  • 新增UpdateIDEEventResult。用于在数据开发过程中触发扩展点时,通过调用UpdateIDEEventResult接口,将扩展程序对扩展点事件的检查结果返回给DataWorks的数据开发系统。
  • 新增GetIDEEventDetail,根据DataWorks开放消息的消息ID,查询触发扩展点事件时的扩展点数据快照。
2021.10.14 新增功能 API 为您介绍如何使用OpenAPI创建数据集成同步任务,同步来源端数据至去向端。 创建数据同步任务(API)
2021.10.11 新增功能 数据开发 DataWorks的代码搜索功能,用于通过关键字搜索节点中的代码片段,并展示包含该代码片段的所有节点及片段的详细内容。当目标表数据产生变更,您需要查找操作源(即导致目标表数据变更的任务)时,可以使用该功能。 代码搜索

2021年9月更新记录

时间 特性 类别 描述 产品文档
2021.09.30 新增功能 数据开发调度配置 调度参数是DataWorks任务调度时使用的参数,调度参数会根据任务调度的业务时间及调度参数的取值格式自动替换取值,实现在任务调度时间内参数的动态取值。为您介绍调度参数的最新配置详情。 配置调度参数
2021.09.30 新增功能 数据开发调度配置 DataWorks的调度依赖中,跨周期(即依赖上一周期),是指本次节点的周期实例运行依赖某个节点的上一周期实例运行,即节点当前周期实例是否运行取决于其所依赖的节点上一周期实例是否正常运行。为您介绍跨周期依赖的配置说明及依赖形式。 配置跨周期调度依赖
2021.09.26 新增功能 数据地图 新增搜索API和查看API详情功能,支持对当前租户下所有工作空间的API进行搜索和定位,实现API的高效查找。同时在API详情页面,支持查看API的基础信息、参数信息、返回示例等详情。 查找API

查看API详情

2021.09.15 新增功能 数据分析 新增SQL查询功能,支持您对已有数据源进行快速的数据查询及分析。 SQL查询
2021.09.03 主要更新 数据集成 SQL Server数据库开启变更数据捕获CDC(Change Data Capture)功能后,DataWorks的数据集成可以基于该功能监控并获取SQL Server数据表的插入、更新和删除等操作的日志,将其转化为实时消息进入同步流程,实现对SQL Server数据的实时同步。为您介绍如何配置SQL Server CDC输入。 配置SQL Server CDC输入
2021.09.02 新增功能 运维中心 周期任务的补数据功能新增高级模式。用于灵活选择一批节点进行批量补数据操作,节点之间可以不存在依赖关系。您可以在DAG图上使用可视化方式添加节点,也可以在任务列表中添加节点。 执行补数据并管理补数据实例

2021年8月更新记录

时间 特性 类别 描述 产品文档
2021.08.29 新增功能 数据集成 为您介绍如何使用数据脱敏功能对实时同步的单表数据进行脱敏,然后存储到指定的数据库位置。 配置数据脱敏
2021.08.22 新增功能 数据集成 为您介绍如何使用DataWorks的数据集成功能,同步数据至Kafka。 资源规划与配置
2021.08.11 新增功能 新增SSL认证 DataWorks在配置MySQL、SQLServer、Postgres、数据源时,支持开启第三方认证功能,开启该功能后,只有可信的应用和服务才能访问数据资源。第三方认证机制用于用户和服务的强身份验证,通过该机制,可以有效的避免不受信任的程序或服务来获取数据访问权限,提高数据同步过程中访问数据资源的安全性。
2021.08.07 主要更新 权限体系 基于产品外部权限体系RAM访问控制的权限及产品内部权限体系DataWorks产品内的权限控制,为您介绍了DataWorks的权限管理体系。 用户角色与权限概述
2021.08.06 新增功能 新增资源组 独享数据服务资源组上线杭州、上海地域。在调用数据服务API需要高QPS和SLA保障的情况下,企业需要使用独享的数据服务资源来保障调用成功。同时,独享数据服务资源组能够满足高并发、高频率的接口调用并及时返回结果数据。 独享数据服务资源组
2021.08.01 新增功能 迁移助手 DataWorks迁移助手8.1日正式商业化。迁移助手可以帮您快速复制DataWorks上不同的版本、主账号、地域和工作空间中的开发成果。迁移助手支持迁移周期任务、手动任务、资源、函数、数据源、表元数据、临时查询和组件等对象。您可以根据业务需求,选择全量导出、增量导出或自选导出等方式导出DataWorks中的开发成果。 迁移助手

2021年7月更新记录

时间 特性 类别 描述 产品文档
2021.07.23 新增功能 DataWorks智能数据建模 DataWorks数据建模支持数仓规划设计、制定并沉淀企业数据标准、维度建模、数据指标定义,通过使用DataWorks数据建模,您可以将建模设计产出的维度表、事实表和汇总表物化到计算引擎中并进一步应用。 概述
2021.07.22 新增功能 新增API 新增数据集成相关API,您可以通过API创建数据集成同步任务的相关内容。 CreateDISyncTask
2021.07.14 新增功能 管理控制台配置 您可以通过报警联系人页面,将目标RAM用户或RAM角色添加为报警联系人,添加后,DataWorks会将任务运行出错时产生的报警发送至对应联系人,方便您及时发现并处理异常任务。 查看和设置报警联系人
2021.07.09 新增功能 产品计费 华东2(上海)金融云、华南1(深圳)金融云新增产品计费说明。 DataWorks增值版本
2021.07.03 新增功能 数据保护伞 DataWorks的数据溯源功能,支持通过提取数据泄露文件中数据的水印信息,帮助您定位到可能会泄露目标数据的责任人。 数据溯源
2021.07.02 新增功能 数据保护伞 DataWorks支持将您提供的样本文件生成样本库,后续可以将样本库配置为数据识别规则用来识别数据。当需要识别的目标数据包含样本库中的数据时,则会命中该识别规则。该功能通常用于识别可以使用枚举值罗列的数据,例如,员工姓名、用户地址等。本文为您介绍如何创建并管理样本库。 创建并管理样本库
2021.07.02 新增功能 数据保护伞 DataWorks支持通过您提供的样本字段,进行模型训练,帮助您寻找目标字段的内容特征,生成相应的规则模型。该功能通常用于发现您的数据资产中与该特征内容相似的数据。 自生成数据识别模型

2021年6月更新记录

时间 特性 类别 描述 产品文档
2021.06.11 新增功能 数据开发 EMR Streaming SQL节点支持使用SQL语句来开发流式分析作业。 创建并使用EMR Streaming SQL节点
2021.06.11 新增功能 数据开发 EMR Spark Streaming节点用于处理高吞吐量的实时流数据,并具备容错机制,可以帮助您快速恢复出错的数据流。 创建并使用EMR Spark Streaming节点
2021.06.09 新增功能 运维中心 DataWorks的实时计算任务页面为您展示了任务实例的基本信息及运行详情,方便您查看目标任务的运行情况。同时,您还可以为目标任务设置监控报警,在任务运行出错时及时发现并处理异常。 实时计算任务

2021年5月更新记录

时间 特性 类别 描述 产品文档
2021.05.20 新增功能 运维中心 您可以使用DataWorks值班表功能设置实例运维报警的值班机制。当自定义规则的报警接收人设置为值班表后,DataWorks将按照排班将报警信息发送给对应的值班人,以便值班人员及时发现并处理问题。 值班表
2021.05.19 新增功能 最佳实践 DataWorks支持对成功提交至开发环境的标准模式工作空间节点,在发布到生产环境前,进行待发布状态检查。您可以通过DataWorks提供的检查器机制,根据业务需求判断目标节点是否可以继续后续的发布流程,保障能够发布符合要求的节点任务。 使用开放消息和POP接口检查待发布节点
2021.05.17 新增功能 数据开发 您可以创建ClickHouse SQL节点,实现分布式SQL查询引擎处理结构化数据,提高作业的执行效率。 创建并使用ClickHouse SQL节点
2021.05.15 新增功能 数据集成 为您介绍如何使用DataWorks的数据集成功能,同步数据至AnalyticDB MySQL 3.0。

2021年4月更新记录

时间 特性 类别 描述 产品文档
2021.04.29 新增教程 快速入门 DataWorks为您提供了常用的AI体验教程,帮助您快速了解相关任务的开发流程。 AI体验教程
2021.04.28 新增功能 数据集成 同步数据至Hologres解决方案为您提供了一键增加及删除同步表功能,方便您为已成功配置运行的同步任务快速添加新表或删除已有同步表。 增加或删除已运行任务的同步表
2021.04.22 新增功能 数据开发 FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在,则启动调度下游任务,不存在,则按照配置的间隔时间重复检测,直到满足检测的停止条件时停止检测。该节点通常作为DataWorks调度系统与其他调度系统之间传递信号使用。 创建FTP Check节点
2021.04.06 新增API 新增API 新增安全中心模块API文档。 GetPermissionApplyOrderDetail
2021.4.05 新增功能 数据集成 为您介绍如何使用DataWorks的数据集成功能,实时同步数据至Kafka。 资源规划与配置

2021年3月更新记录

时间 特性 类别 描述 产品文档
2021.3.24 新增插件 新增数据集成读写插件。 为您介绍Cassandra Reader及Writer支持的数据类型、数据源参数、脚本模式配置、与DataX的类型转换。
2021.3.19 新增功能 自定义角色 为您介绍如何在DataWorks的工作空间自定义角色。 成员及角色管理
2021.3.11 新增引擎 导入导出开源任务新增引擎。 为您介绍如何导入Airflow引擎任务至DataWorks,及向DataWorks中导入Airflow引擎任务。
2021.3.11 新增功能 引擎运维 为您介绍如何使用DataWorks的引擎运维功能,查看各个E-MapReduce作业的详细信息,及时查找并清理运行有误的作业,避免该类作业阻塞下游任务,影响实例任务的正常运行。 引擎运维
2021.3.9 新增功能 周期任务DAG的聚合分析。 周期任务运维中,新增DAG的聚合视图及分析功能,您可以通过DAG图,快速查看目标类别任务的详细信息并执行相关操作。
2021.3.3 新增功能 新增API 新增运维中心、数据保护伞、迁移助手模块相关功能API。

2021年2月更新记录

时间 特性 类别 描述 产品文档
2021.2.24 新增功能 新增查看数据集成任务运行状态功能 为您介绍如何快速查看已运行的同步解决方案任务的分布及运行情况,及时发现并处理异常任务,提升任务的运维效率。 查看同步任务运行状态
2021.2.9 新增功能 新增实时数据同步任务 为您介绍如何创建实时同步任务,同步指定表中的数据,并在创建完成后查看任务运行情况。 同步单表数据
2021.2.6 新增功能 新增实时数据同步任务 为您介绍如何创建实时同步任务,将指定数据库中的部分或全部表的数据同步至MaxCompute、Hologres、DataHub中,并在创建完成后查看任务运行情况。
2021.2.5 新增功能 新增功能 为您介绍如何创建ApsaraDB for OceanBase数据源,用于后续配置同步任务同步数据。 配置ApsaraDB for OceanBase数据源

2021年1月更新记录

时间 特性 类别 描述 产品文档
2021.1.28 新增功能 新增数据开发节点类型 为您介绍如何创建并使用MySQL及AnalyticDB for MySQL节点,直接使用SQL语句对目标数据源进行数据开发。
2021.1.20 新增功能 新增同步解决方案 为您介绍如何创建整库离线及实时同步任务,将指定数据库中的部分或全部表的数据同步至ElasticSearch中,并在创建完成后查看任务运行情况。
2021.1.19 新增功能 新增数据地图白名单及类目管理权限功能 为您介绍如何配置白名单及类目管理权限,保证您能正常使用数据地图的元数据采集和类目管理功能。 元数据采集的数据源有白名单访问控制时需要配置的白名单
2021.1.13 新增功能 新增操作审计功能 为您介绍如何在操作审计(ActionTrail)中查询DataWorks的行为事件日志。您可以通过查询到的事件日志进行行为分析、安全分析、资源变更行为追踪和行为合规性审计等操作。 通过操作审计查询行为事件日志
2021.1.13 新增功能 新增数据建模功能模块计费标准 为您介绍数据建模功能模块的计费详情。 数据建模功能模块计费标准数据建模功能模块计费标准
2021.1.7 新增功能 新增功能 为您介绍同步MySQL数据源至ElasticSearch的端到端流程。包括前期的资源规划配置、数据源准备,以及后期的同步任务配置、查看等内容。 同步数据至ElasticSearch

2020年12月更新记录

时间 特性 类别 描述 产品文档
2020.12.24 新增功能 新增同步解决方案 为您介绍同步PolarDB、Oracle、MySQL数据源至Hologres、MaxCompute的端到端流程。包括前期的资源规划配置、数据源准备,以及后期的同步任务配置、查看和相关常见问题介绍等内容。
2020.12.14 新增功能 新增功能 为您介绍如何新建采集器,并采集OTS元数据至DataWorks。采集完成后,您可以在数据地图查看数据。 采集OTS元数据

2020年11月更新记录

时间 特性 类别 描述 产品文档
2020.11.18 新增 新增OpenAPI 调用CreateManualDag触发手动业务流程执行。 CreateManualDag
2020.11.18 新增功能 新增OpenAPI 调用GetManualDagInstances获取手动业务流程执行实例的信息。 GetManualDagInstances
2020.11.18 新增功能 新增OpenAPI 调用GetDag,根据DagId获取Dag详情。 GetDag
2020.11.18 新增功能 新增OpenAPI 调用SearchNodesByOutput,根据输出精确查询节点。 SearchNodesByOutput
2020.11.16 新增功能 新增功能 本文为您介绍如何使用角色SSO的方式登录DataWorks。 DataWorks支持角色登录模式
2020.11.11 新增页面 新增功能 本文为您介绍进入DataWorks的数据综合治理页面后,不同场景如何选择合适的视角,高效的进行数据治理工作。 数据综合治理首页(视角引导)
2020.11.11 新增页面 新增功能 本文为您介绍如何进入资产全景页面查看资产概览、DataWorks消费和任务情况,以及MaxCompute表情况。 资产全景

2020年10月更新记录

时间 特性 类别 描述 产品文档
2020.10.26 新增常见问题 体验优化 为您汇总运维中心的相关问题。 问题汇总
2020.10.23 新增功能 新增功能 阿里云DataWorks联合建模工具DDM(Datablau Data Modeler)为您提供一体化的数据建模解决方案(DATABLAU),将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程,助力用户实现数据资产价值化输出,在数据全生命周期上夯实数据基础,为客户的数据价值化提供有力支撑。 数据建模(Datablau)
2020.10.20 新增功能 新增功能 开启SQLServer CDC后,数据集成可以监控获取SQLServer上表的插入、更新和删除等活动的日志,并转化为实时消息进入同步流程,实现对SQLServer的实时同步。 配置SQL Server CDC输入
2020.10.14 新增功能 新增功能 DataWorks提供代码评审功能,开启强制代码评审开关后,开发人员提交的节点必须通过评审人对代码的审核才可以发布。 代码评审

2020年9月更新记录

时间 特性 类别 描述 产品文档
2020.09.21 新增功能 新增功能 Hologres与MaxCompute在底层无缝连接,您无须移动数据,即可使用标准的PostgreSQL语句查询分析MaxCompute中的海量数据,快速获取查询结果。 创建Hologres SQL节点
2020.09.18 主要更新 体验优化 DataWorks数据分析用于在线洞察分析、编辑和分享数据。 数据分析
2020.09.08 主要更新 新增功能 数据地图的表详情界面更新,表的血缘关系支持多层展开,一条血缘连线上支持展示多个任务。并且支持基于同步任务的异构数据源之间的血缘关系。 查看表详情
2020.09.01 新增功能 新增功能 为您介绍如何导入从开源引擎导出的任务至DataWorks。 导入开源引擎任务
2020.09.01 新增功能 新增功能 DataWorks提供任务搬站功能,支持将开源调度引擎Oozie、Azkaban的任务快速迁移至DataWorks。本文为您介绍导出任务的文件要求等相关信息。 导出开源引擎任务
2020.09.01 功能介绍 体验优化 为您介绍实时同步的收费策略、支持的地域、功能亮点、支持的数据源、功能入口和架构。 概述

2020年8月更新记录

时间 特性 类别 描述 产品文档
2020.08.31 支持的数据源 体验优化 数据集成包括离线同步和实时同步,本文为您介绍离线和实时同步支持的数据源类型。 支持的数据源
2020.08.28 新增功能 新增功能 DataWorks支持基于EMR(E-MapReduce)计算引擎创建Hive、MR、Presto和Spark SQL等节点,实现EMR任务工作流的配置、定时调度和元数据管理等功能,帮助EMR用户更好地生产数据。 准备工作:绑定EMR引擎
2020.08.24 新增功能 主要更新 移动版DataWorks新增移动审批功能,目前仅华北2(北京)、华东2(上海)地域支持。 使用移动版DataWorks
2020.08.17 新增插件 新增插件 本文为您介绍GDB(Graph Database) Reader支持的数据类型、字段映射和数据源等参数及配置示例。 GDB Reader
2020.08.14 新增最佳实践 体验优化 本文以阿里云RDS数据库为例,为您介绍专有网络VPC的数据源如何连通独享数据集成资源组。 专有网络VPC的数据源连通独享数据集成资源组
2020.08.10 新增API 新增API 调用CreateProjectMember,添加一个用户至DataWorks工作空间。 CreateProjectMember
2020.08.10 新增API 新增API 调用RemoveProjectMemberFromRole,将DataWorks工作空间内的用户从DataWorks角色中移除。 RemoveProjectMemberFromRole
2020.08.10 新增API 新增API 调用ListProjectRoles获取工作空间所有角色的列表。 ListProjectRoles
2020.08.10 新增API 新增API 调用DeleteProjectMember,从DataWorks工作空间移除用户。 DeleteProjectMember
2020.08.10 新增API 新增API 调用AddProjectMemberToRole,添加DataWorks工作空间用户至角色。用户需要先添加至DataWorks工作空间内。 AddProjectMemberToRole
2020.08.07 新增功能 新增功能 您可以创建EMR(E-MapReduce) Impala节点,对PB级大数据进行快速、实时的交互式SQL查询。 创建EMR Impala节点
2020.08.07 新增功能 新增功能 本文为您介绍如何注册EMR(E-MapReduce)函数。 注册EMR函数
2020.08.07 新增功能 新增功能 本文为您介绍如何创建EMR(E-MapReduce)表。 创建EMR表
2020.08.07 新增功能 新增功能 DataWorks支持创建EMR(E-MapReduce) JAR资源。 创建和使用EMR资源
2020.08.05 版本升级 主要更新 数据服务升级版本,更新生成API的操作,并新增业务流程、服务编排、前置过滤器等功能。 数据服务

2020年7月更新记录

时间 特性 类别 描述 产品文档
2020.07.31 功能更新 主要更新 DataStudio(数据开发)不仅支持原生的ODPS SQL、Shell等系统节点,也支持自定义节点。 节点配置
2020.07.30 新增功能 新增功能 DataWorks支持用户自定义、发布和使用数据质量插件,满足多样的数据质量定制化需求。 新增数据质量插件
2020.07.30 新增功能 新增功能 数据集成支持分库分表。您可以在一个任务中配置多个数据源多张表后,同步至一个目标表中。 分库分表同步
2020.07.30 新增功能 新增功能 您可以在数据源管理页面,分享数据源权限给相应的工作空间,并进入被分享的工作空间查看该数据源。本文为您介绍如何管理数据源权限及查看分享的数据源。 管理数据源权限
2020.07.30 新增常见问题 体验优化 本文为您汇总数据源权限管理相关的常见问题。 数据源权限管理
2020.07.23 新增API公测说明 体验优化 DataWorks OpenAPI于2020年7月16日正式开启公测,本文为您介绍公测的相关说明。 DataWorks OpenAPI公测说明
2020.07.22 新增功能 新增功能 您可以通过配置同步解决方案,一次性实时同步指定数据源中的数据至MaxCompute。 一键实时同步至MaxCompute
2020.07.22 新增功能 新增功能 您可以在资源组列表页面实时查看独享资源组的使用率,自主监控具体任务占用资源的情况并及时调整。 查看独享资源组的使用率
2020.07.10 新增API 新增API 新增租户、元数据、数据开发、运维中心、数据质量和数据服务等商业化API。 API参考
2020.07.09 新增说明 体验优化 本文为您介绍生成API的两种模式及其区别。 生成API
2020.07.08 新增功能 新增功能 迁移助手可以帮您快速复制DataWorks上不同的版本、主账号、地域和工作空间中的开发成果。 迁移助手
2020.07.02 新增功能 新增功能 本文为您介绍发布API后,如何对API进行授权,并查看已获得授权或授权给他人的API。 授权API

2020年6月更新记录

时间 特性 类别 描述 产品文档
2020.06.29 新增功能 新增功能 本文为您介绍如何新建采集器,采集Hologres元数据至DataWorks。采集完成后,您可以在数据地图查看数据。 采集Hologres元数据
2020.06.24 新增功能 新增功能 数据集成支持同步解决方案功能,您可以通过配置同步规则同步整库的离线全量和实时增量数据。 选择同步解决方案
2020.06.08 新增功能 新增功能 您可以通过报警资源页面,查看当前账号指定地域下的报警资源,并设置每日报警短信和电话数量的上限。 查看和设置报警资源
2020.06.08 新增功能 新增功能 针对资源优化扫描出的治理成本高、响应速度慢的治理项,您可以根据业务需求添加白名单。本文为您介绍如何添加、查看、撤销和关闭白名单。 管理白名单
2020.06.04 新增操作说明 体验优化 为您介绍如何新增自定义调度资源组,并修改任务运行的资源组。 新增自定义调度资源组
2020.06.01 新增节点 新增功能 您可以通过创建EMR(E-MapReduce)Presto节点,进行大规模结构化和非结构化数据的交互式分析查询。 创建EMR Presto节点

2020年5月更新记录

时间 特性 类别 描述 产品文档
2020.05.28 新增白名单 体验优化 为您介绍在数据地图中采集元数据时,需要添加的白名单。 元数据采集的数据源有白名单访问控制时需要配置的白名单MaxCompute开启白名单访问控制时需要配置的白名单列表
2020.05.25 新增功能 新增功能 为您介绍如何添加阿里云VPC和IDC网络环境下的路由。 添加路由
2020.05.21 新增节点 新增节点 为您介绍如何创建PyODPS 3节点,以及在DataWorks使用PyODPS 3的限制。 创建PyODPS 3节点
2020.05.20 新增重要功能发布记录 体验优化 为您介绍DataWorks产品功能和对应的文档动态。 重要功能发布记录
2020.05.18 新增数据源 新增数据源 Vertica数据源为您提供读取和写入Vertica双向通道的功能,您可以通过脚本模式配置同步任务。 配置Vertica数据源
2020.05.18 新增数据源 新增数据源 ApsaraDB for OceanBase数据源为您提供读取和写入ApsaraDB for OceanBase双向通道的功能,您可以通过脚本模式配置同步任务。 配置ApsaraDB for OceanBase数据源
2020.05.13 新增使用说明 体验优化 您可以通过DataWorks独享调度资源组绑定专有网络,以访问专有网络下的数据源。 Gbase8a Reader

2020年4月更新记录

时间 特性 类别 描述 产品文档
2020.04.29 新增使用说明 体验优化 为您介绍如何在表详情页面,使用数据服务生成API。 使用数据服务生成API
2020.04.29 新增使用说明 体验优化 为您介绍如何收藏和取消收藏表,以及查看收藏记录。 收藏表
2020.04.29 新增使用说明 体验优化 为您介绍如何在安全中心和数据地图申请表权限。 申请表权限
2020.04.28 新增功能 新增功能 您可以在数据发现模块新建采集器,采集E-MapReduce、MySQL、SQL Server、PostgreSQL、Oracle、AnalyticDB for PostgreSQL、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0和OSS等类型的元数据至DataWorks。采集完成后,您可以在数据地图查看数据。 数据发现
2020.04.26 新增数据源 新增数据源 Elasticsearch数据源为您提供读取和写入Elasticsearch双向通道的功能,您可以通过脚本模式配置同步任务。 配置Elasticsearch数据源
2020.04.24 新增数据源 新增数据源 HBase数据源为您提供读取和写入HBase双向通道的功能,您可以通过脚本模式配置同步任务。 配置HBase数据源
2020.04.24 新增功能 新增功能 PolarDB输入插件仅支持PolarDB MySQL数据库。 配置PolarDB输入
2020.04.21 新增功能 新增功能 您可以通过交互式分析Hologres的实时写入能力,构建实时数仓。 配置Hologres输出
2020.04.21 新增功能 新增功能 大数据计算服务MaxCompute(原名ODPS)为您提供完善的数据导入方案,能够快速解决海量数据的计算问题。 配置MaxCompute输出
2020.04.20 新增功能 新增功能 您可以在资源属性区域选择任务调度运行时,需要使用的调度资源组。 配置资源属性
2020.04.17 新增功能 新增功能 数据同步时,一个任务只能使用一种资源组。您需要在每种资源组上单独测试连通性,以保证同步任务使用的数据集成资源组能够与数据源连通,否则将无法正常执行数据同步任务。 选择网络连通方案
2020.04.15 新增常见问题 体验优化 本文为您介绍DataWorks独享资源组的相关问题。 独享资源组
2020.04.14 新增功能 新增功能 DataWorks支持实时同步数据,本文为您介绍如何新建、发布和运维实时同步节点。 创建、编辑、提交和运维实时同步节点
2020.04.07 新增概念说明 体验优化 为您介绍资源组的基本概念和分类,以及连通性和性能问题。并对三种资源组进行对比,以便您根据自身需求选择适用的资源组。 资源规划与配置
2020.04.03 新增功能 新增功能 为您介绍如何新建AnalyticDB for PostgreSQL表。 创建AnalyticDB for PostgreSQL表

2020年3月更新记录

时间 特性 类别 描述 产品文档
2020.03.31 新增功能 新增功能 DataWorks为您提供任务搬站功能,您可以批量创建任务,也可以下载DataWorks工作流标准模板后,根据模板规则编辑文件。 任务搬站
2020.03.28 新增功能 新增功能 TSDB Reader插件实现了从TSDB读取数据的功能,本文为您介绍TSDB Reader支持的数据类型、字段映射和数据源等参数及配置示例。 TSDB Reader
2020.03.26 新增计算器 体验优化 如果您购买的是DataWorks独享资源组,可以使用DataWorks独享资源组计算器预估费用。 DataWorks独享资源组计算器
2020.03.25 新增功能 新增功能 DataWorks数据质量支持通过统一管理自定义规则,形成自建的规则模板库,帮助您提升规则配置的效率。 新建、操作和应用规则模板
2020.03.24 新增功能 新增功能 为您介绍数据质量的校检逻辑及离线数据的内置模板规则。 离线规则内置模板说明
2020.03.24 新增功能 新增功能 DataWorks运维中心为您提供运行诊断功能,帮助您掌握任务运行的全链路信息,以迅速定位问题。 运行诊断
2020.03.23 新增功能 新增数据源 Hologres数据源为您提供读取和写入Hologres双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 配置Hologres数据源
2020.03.20 新增视频 体验优化 为您演示Workshop的开发流程。 DataWorks Workshop操作
2020.03.20 新增视频 体验优化 为您介绍DataWorks数据集成与开源Sqoop的对比及注意事项,并为您提供DataWorks数据集成的操作演示。 DataWorks数据集成与开源Sqoop的对比
2020.03.20 新增视频 体验优化 为您提供DataWorks移动版和智能监控的功能说明和操作演示。 DataWorks移动版及智能监控
2020.03.20 新增视频 体验优化 为您提供DataWorks商业化资源组的说明和操作演示。 DataWorks商业化资源组
2020.03.20 新增视频 体验优化 为您提供DataWorks调度任务迁移的操作演示。 DataWorks调度任务迁移
2020.03.20 新增视频 体验优化 为您提供DataWorks数据集成实时同步的功能介绍和操作演示。 DataWorks数据集成实时同步
2020.03.20 新增视频 体验优化 为您提供基于DataWorks数据服务快速搭建疫情大屏的操作演示。 基于DataWorks数据服务快速搭建疫情大屏
2020.03.19 新增功能 新增插件 Holo Writer实现了导入数据至交互式分析(Hologres)的功能,您可以把多种数据源的数据导入Hologres进行实时分析。 Hologres Writer
2020.03.19 新增功能 新增插件 Holo Reader实现了从交互式分析(Hologres) 数仓导出数据的功能,您可以根据数据集成标准协议从Hologres Table中导出数据至其它数据源。 Hologres Reader
2020.03.17 新增使用说明 体验优化 DataWorks支持公共资源组、独享资源组和自定义资源组,本文为您介绍三种资源组的使用场景和使用方式。 DataWorks资源组概述
2020.03.12 新增功能 新增功能 您可以在报告模板管理页面动态配置数据质量核查报告模板,DataWorks数据质量支持自动根据报告模板定时生成并发送报告。 新增和操作报告模板
2020.03.12 新增功能 新增数据源 GBase8a数据源为您提供读取和写入GBase8a双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 配置GBase8a数据源
2020.03.11 新增功能 新增插件 ApsaraDB For OceanBase是阿里云和蚂蚁金服自主研发的金融级分布式关系数据库。 ApsaraDB For OceanBase Writer
2020.03.11 新增功能 新增插件 ApsaraDB For OceanBase是阿里云和蚂蚁金服自主研发的金融级分布式关系数据库。 ApsaraDB For OceanBase Reader
2020.03.10 新增功能 新增插件 ClickHouse是面向联机分析处理(OLAP)和列式存储的开源的数据库管理系统(DBMS)。 ClickHouse Writer

2020年2月更新记录

时间 特性 类别 描述 产品文档
2020.02.29 新增最佳实践 体验优化 本文为您介绍如何使用独享数据集成资源,将您在ECS上自建的MySQL数据库中的数据,迁移到MaxCompute。 迁移ECS自建MySQL数据库至MaxCompute
2020.02.26 新增功能 新增功能 本文将为您介绍如何打通DataWorks元数据服务、用户独享资源组至AnalyticDB for PostgreSQL的专有网络(VPC)。 采集AnalyticDB for PostgreSQL元数据
2020.02.25 新增使用教程 体验优化 本教程为您介绍MaxCompute数据仓库构建的原理和流程。 构建与优化数据仓库
2020.02.25 新增插件 新增功能 DataHub是流式数据的处理平台,为您提供发布、订阅和分发流式数据的功能,让您可以轻松构建基于流式数据的分析和应用。 DataHub Reader
2020.02.18 新增数据源 新增功能 Hive数据源为您提供读取和写入Hive双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 配置Hive数据源
2020.02.14 新增最佳实践 体验优化 您可以通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品进行数据分析,且可以通过Quick BI进行可视化展示。 基于MaxCompute进行大数据BI分析
2020.02.14 新增最佳实践 体验优化 电商网站的销售数据通过大数据进行分析后,可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。 互联网、电商行业离线大数据分析
2020.02.13 新增最佳实践 体验优化 电商网站智能推荐基于阿里巴巴领先的大数据和人工智能技术,结合在电商行业的多年积累,为开发者提供个性化推荐服务,提升商品的购买率和转化率。 电商网站智能推荐
2020.02.11 新增功能说明 体验优化 您可以通过在业务流程面板连线、自动解析配置和自定义依赖三种方式设置节点的依赖关系。 同周期调度依赖逻辑说明

2020年1月更新记录

时间 特性 类别 描述 产品文档
2020.01.13 新增插件 新增功能 为您介绍Gbase8a Reader支持的数据类型、字段映射和数据源等参数及配置示例。 Gbase8a Reader
2020.01.13 新增插件 新增功能 为您介绍Gbase8a Writer支持的数据类型、字段映射和数据源等参数及配置示例。 Gbase8a Writer
2020.01.06 新增最佳实践 体验优化 为您介绍如何配置相同区域下不同的MaxCompute项目,以及如何实现数据迁移。 MaxCompute跨项目迁移

2019年12月更新记录

时间 特性 类别 描述 产品文档
2019.12.31 新增最佳实践 体验优化 为您介绍如何通过DataWorks数据同步功能,迁移Oracle上的数据至MaxCompute。 迁移Oracle数据至MaxCompute最佳实践
2019.12.30 新增视频 体验优化 为您演示EMR Workshop的开发流程。 DataWorks on EMR操作演示
2019.12.27 产品升级 DataWorks V3.0 您可以在设置模块对DataStudio页面的代码、文件夹、主题、增删功能模块等进行配置。 开始设置
2019.12.27 产品升级 DataWorks V3.0 运维中心包括运维大屏、周期任务运维、手动任务运维和智能监控。 运维中心
2019.12.27 产品升级 DataWorks V3.0 您可以通过MaxCompute函数面板,查看在MaxCompute计算引擎中存在的函数、函数的变更历史,并可以一键添加函数至数据开发面板的业务流程中。 MaxCompute函数
2019.12.27 产品升级 DataWorks V3.0 SQL组件是一种带有多个输入参数和输出参数的SQL代码过程模板,SQL代码的处理过程通常是引入一到多个源数据表,通过过滤、连接和聚合等操作,加工出新的业务需要的目标表。 创建SQL组件节点
2019.12.27 产品升级 DataWorks V3.0 您可以创建EMR(E-MapReduce) HIVE节点,用类SQL语句来协助读写及管理存储在分布式存储系统上的大数据集的数据仓库,完成海量日志数据的分析和开发工作。 创建EMR Hive节点
2019.12.27 产品升级 DataWorks V3.0 DataWorks提供PyODPS节点类型,集成了MaxCompute的Python SDK。 PyODPS 2节点
2019.12.27 产品升级 DataWorks V3.0 ODPS SQL采用类似SQL的语法,适用于海量数据(TB级)但实时性要求不高的分布式处理场景。 创建ODPS SQL节点
2019.12.27 产品升级 DataWorks V3.0 调度依赖关系是您构建有序业务流程的根本,只有正确构建任务依赖关系,才能保障业务数据有效、适时地产出,形成规范化的数据研发场景。 配置同周期调度依赖
2019.12.27 产品升级 DataWorks V3.0 目前调度参数支持系统参数和自定义参数两种形式。 配置调度参数
2019.12.27 产品升级 DataWorks V3.0 数据开发模式全面升级,包括工作空间>解决方案>业务流程3级结构,抛弃陈旧的目录组织方式。 数据开发
2019.12.27 产品升级 DataWorks V3.0 为您介绍如何通过整库迁移功能,将MySQL数据整库迁移至MaxCompute。 配置MySQL整库迁移
2019.12.27 产品升级 DataWorks V3.0 为您介绍如何通过数据集成的脚本模式配置任务。 通过脚本模式配置任务
2019.12.27 产品升级 DataWorks V3.0 为您介绍如何通过数据集成向导模式进行任务配置。 通过向导模式配置任务
2019.12.27 产品升级 DataWorks V3.0 MySQL数据源为您提供读取和写入MySQL双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 配置MySQL数据源
2019.12.27 产品升级 DataWorks V3.0 为您介绍数据同步支持的数据源。 支持的数据源与读写插件
2019.12.27 产品升级 DataWorks V3.0 在数据集成任务高并发执行且无法错峰运行的情况下,企业需要独享的计算资源来保障数据快速、稳定地传输,此时您可以选择独享数据集成资源。 新增和使用独享数据集成资源组
2019.12.27 产品升级 DataWorks V3.0 您可以新增自定义资源组运行数据同步任务,解决DataWorks公共资源组与您的数据源不通的问题,或实现更高速度的传输能力。 新增自定义数据集成资源组
2019.12.27 产品升级 DataWorks V3.0 为您介绍当选择不同区域的DataWorks时,如何添加对应的不同白名单的内容。 添加白名单
2019.12.27 产品升级 DataWorks V3.0 数据集成是稳定高效、弹性伸缩的数据同步平台,致力于提供复杂网络环境下、丰富的异构数据源之间数据高速稳定的数据移动及同步能力。 数据集成
2019.12.27 产品升级 DataWorks V3.0 您可以通过资源组列表页面,查看当前账号下所有的独享资源组和公共资源组,并对其进行管理。 查看资源组列表
2019.12.27 产品升级 DataWorks V3.0 您可以在DataWorks V3.0的工作空间管理模块,进行工作空间配置、成员管理、MaxCompute高级配置和数据源管理等操作。 工作空间管理
2019.12.09 新增插件 新增功能 SAP HANA是一款支持企业预置型部署和云部署模式的内存计算平台,为您提供高性能的数据查询功能。 SAP HANA Reader
2019.12.02 新增插件 新增功能 Kafka Writer通过Kafka服务的安装Java SDK向Kafka写入数据。 Kafka Writer

2019年11月更新记录

时间 特性 类别 描述 产品文档
2019.11.25 新增功能说明 新增功能 运维助手为您提供在独享资源组上进行新建、执行和删除命令,以及查看命令执行结果、环境命令基线编排等操作的功能。 运维助手
2019.11.21 新增配置说明 体验优化 当整个业务流程需要对同一个变量进行统一的赋值或替换参数值时,请选择使用流程参数功能。 使用流程参数
2019.11.20 新增数据综合治理 新增功能 数据综合治理为您提供统一的数据视图,以掌握数据资产的现状、助力数据质量的提升、提高获取数据的效率、保障数据安全的合规和提升数据查询的分析效率。 数据综合治理
2019.11.12 新增插件 新增功能 Vertica是一款基于列存储的MPP架构的数据库,Vertica Reader插件实现了从Vertica读取数据的功能。 Vertica Reader
2019.11.12 新增插件 新增功能 Vertica是一款基于列存储的MPP架构的数据库,Vertica Writer插件实现了向Vertica写入数据的功能。 Vertica Writer