文档

功能发布记录(2022年)

更新时间:

本文为您介绍2022年DataWorks产品功能和对应的文档动态。

2022-11

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

DataWorks数据服务支持面向开发和生产环境数据源封装API

DataWorks在标准模式的工作空间下,新增如下功能:

  • 支持根据自行选择数据源的环境类型(开发环境或生产环境),设置API的高级参数。

  • 实现使用开发环境数据库进行测试、使用生产环境数据库进行接口发布的需求。

2022.11.29

所有地域

所有DataWorks用户

通过向导模式生成API

DataWorks数据地图支持申请Hive表权限

DataWorks数据地图 > EMR Hive表详情页面,新增申请权限按钮,支持跳转至安全中心进行表权限的申请。

2022.11.29

所有地域

所有DataWorks用户

哪些类型的Hive表支持在数据地图中预览?

DataWorks数据地图新增数据专辑功能

DataWorks数据地图新增数据专辑页面,功能如下:

  • 支持按照业务视角来进行数据表的分类、分级组织和管理。

  • 支持将常用表、团队表、热门表等加入目标专辑中进行收纳,实现快速、便捷地检索和定位。

2022.11.16

所有地域

所有DataWorks用户

业务视角管理:数据专辑

DataWorks数据分析新版升级,全新的SQL查询体验

DataWorks数据分析,新增功能如下:

  • 支持用户统一管理个人名下的所有SQL文件及辅助取数工作常用的数据表集合。

  • 支持有权限的用户通过SQL语句进行业务数据提取。

  • 支持对SQL查询结果进行二次加工及可视化图表展现。

2022.11.15

全部地域

所有DataWorks用户

SQL查询

DataWorks数据服务支持解析高级SQL中的请求参数和返回参数

在数据服务中,新增如下功能:

  • 支持通过高级脚本模式创建API时,在右侧导航栏的请求参数返回参数的面板中进行一键参数解析。

  • 减少手动录入参数的负担。

2022.11.10

全部地域

所有DataWorks用户

2022-10

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

DataWorks智能数据建模支持E-MapReduce Hive,建模能力对齐MaxCompute

DataWorks智能数据建模 > 维度建模新增如下两种功能:

  • 支持将模型发布至E-MapReduce Hive,并能生成相应的ETL框架代码。

  • 支持将已存在的E-MapReduce Hive物理表逆向生成模型。

2022.11.25

全部地域

所有DataWorks用户

DataWorks智能数据建模支持对模型进行版本管理

DataWorks智能数据建模 > 维度建模新增如下两种功能:

  • 支持对模型进行版本管理,只有正式提交的模型才能进行发布等操作。

  • 支持对同一个模型的不同版本进行版本对比及回滚操作。

2022.11.25

全部地域

所有DataWorks用户

发布模型至引擎

DataWorks数据服务API详情页面新增展示各域名的调用地址

在API详情页面会展示当前API基于公网域名、VPC域名、独立域名分别生成的调用地址,您可灵活选用不同的域名进行API调用。

2022.10.21

全部地域

所有DataWorks用户

查看API详情

DataWorks数据地图血缘大图全新升级

新版数据血缘信息为您提供更好的血缘分析体验。在血缘信息详情页面,您可以执行如下操作:

  • 可查看表或表字段的上下游节点。

  • 查看表原始数据来源及表数据最终流向。

  • 进行不同层级血缘的影响分析。

2022.10.21

全部地域

所有DataWorks用户

查看表详情

DataWorks数据治理中心新增支持4种研发维检查项

DataWorks数据治理中心新增4种检查项:

  • JOIN关联条件类型一致性。

  • 部分资产禁止使用。

  • 同名UDF使用。

  • 开发环境写入限制。

主要功能如下:

  • 管控检查能力。

    您可在配置管理中开启并配置新增检查项,查看治理知识库使用详情。

  • 在数据开发任务提交及发布时,进行主动式研发数据治理。

2022.10.20

全部地域

所有DataWorks用户

配置检查项

DataStudio简单模式支持代码评审

简单模式开启强制代码评审,完成评审后,该代码才会在生产环境生效。

2022.9.22

全部地域

所有DataWorks用户

代码评审

2022-8

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

运维中心新增业务流程视角的任务管理

DataWorks运维中心支持使用业务流程视角查看任务的运行情况,并执行重跑、冻结、终止运行等业务流程运维操作。

2022.8.22

全部地域

所有DataWorks用户

业务流程视角

数据服务新增面向MaxCompute数据源的加速查询

DataWorks数据服务支持面向MaxCompute数据源生成在线API,无需导出MaxCompute数据,即可提供良好的查询性能与效率,满足在线查询需求。其加速方案包括:

  • 基于Hologres外部表的加速服务。

  • 基于MCQA的加速服务。

2022.8.17

华东2(上海),华南1(深圳)

所有DataWorks用户

加速服务

数据服务新增智能诊断及分析调用链路

DataWorks数据服务支持对API调用日志进行分析。您可使用该功能分析单条调用请求的链路,及时发现异常请求,快速定位问题并给出诊断结果及建议。

2022.8.7

全部地域

DataWorks用户

查看与分析API调用日志(公测)

数据地图新增项目、表级别的细粒度权限管控

DataWorks数据地图可通过多样化配置实现不同粒度的元数据权限管控,包括:

  • 是否允许其他项目成员在数据地图查看当前项目的元数据。

  • 是否允许非项目成员、非表负责人和空间管理员在数据地图查看表元数据。

2022.8.5

全部地域

DataWorks用户

附录:数据地图权限管控能力总览

数据集成支持使用向导模式离线同步达梦数据库

DataWorks数据集成支持使用可视化向导模式离线同步达梦数据库的数据,该方式相较脚本模式更易操作。

2022.8.2

全部地域

DataWorks用户

通过向导模式配置离线同步任务

2022-7

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

DataWorks智能数据建模支持维度建模

DataWorks智能数据建模支持以下功能:

  • 您可以在模板设计中直接引用Hologres中已存在的表或视图的字段,及分区信息作为当前模型的字段。

  • 您可以在模板设计中对字段显示名为空或描述为空的字段进行一键填充。

    大多数情况下,物理表有字段描述。如果无字段显示名,通过该功能可快速补充字段显示名信息,提升建模效率。

  • 您可以在模板开发中新建DataStudio节点或绑定DataStudio已有节点,提升模型的ETL研发效率。

2022.7.29

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港, 新加坡,上海金融云,深圳金融云,北京政务云,德国(法兰克福),美国(硅谷)

所有DataWorks用户

DataWorks智能数据建模支持查看关联表信息

您可以打开派生指标或原子指标的编辑页面,在右侧导航栏中查看当前指标所关联的模型表名称及字段名称,且支持跳转至目标表编辑页面管理关联关系。

2022.7.29

所有DataWorks用户

派生指标

智能数据建模支持设置模型及指标的命名规则检查器

在数仓规划的数仓分层下,您可以设置模型或指标类型的命名检查器。当您在设计模型和指标时,命名检查器能够对实体名称进行约束和校验,从而提升整个开发流程中的命名规范性。

命名规则:

  • 规则强弱:强规则代表对名称的推荐填写及强制检查,弱规则代表对名称的推荐填写。

  • 规则定义:基于多元素对名称的组织顺序和构成进行设置。

2022.7.29

所有DataWorks用户

配置及使用数仓分层检查器

DataWorks数据分析支持针对设置独享资源组

支持主账号在“系统设置”中设置数据分析。您可以在指定独享资源组下进行Sql查询。

2022.7.29

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),德国(法兰克福)

所有DataWorks用户

系统管理

数据集成DataStudio智能

支持Postgres数据库,SSL认证时支持.crt.key双文件方式*。

2022.7.26

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港,日本(东京),新加坡,澳大利亚(悉尼),马来西亚(吉隆坡),印度尼西亚(雅加达),印度(孟买), 德国(法兰克福),英国(伦敦),美国(硅谷),美国(弗吉尼亚),阿联酋(迪拜)

所有DataWorks用户

数据集成概述

DataWorks支持EMR新版数据湖DataLake

DataWorks支持基于EMR计算引擎新版数据湖DataLake,实现基于EMR引擎的数据集成、数据建模、数据开发调度、数据质量、数据地图、数据安全、数据分析(独享资源组)、数据服务等数据全周期能力。

2022.7.8

西南1(成都), 华北3(张家口),华南1(深圳),美国(硅谷),华北2(北京),华东2(上海),日本(东京),德国(法兰克福),美国(弗吉尼亚),印度尼西亚(雅加达),印度(孟买),英国(伦敦),华东1(杭州),新加坡,中国香港,马来西亚(吉隆坡)、阿联酋(迪拜)

所有DataWorks用户

DataWorks On EMR使用说明

DataStudio智能编辑器支持可视化插入字段和表权限校验

  • 智能编辑器自动识别代码中查询表字段的部分,您可以把鼠标悬浮在表名上,选择需要查询的字段后,单击确认。即可将字段名自动插入到代码中。

  • 智能编辑器提供对表权限的校验,您可以根据提示直接申请权限。

2022.7.2

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港

所有DataWorks用户

数据开发概述

2022-6

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

数据治理中心全面开放使用

数据治理中心功能如下:

  • 通过从存储、计算、开发、质量和安全五个维度量化评估治理健康分,可自动发现和预防各类数据治理问题。

  • 提供任务资源消耗明细、资源消耗整体趋势、单任务费用预估等丰富功能,可帮助您对各类资源使用费用进行有效的优化控制。

说明
  • 数据治理中心在2022年7月5日全面开放使用,提供为期1个月的限时体验。

  • 2022年8月5日后,所有能力将在DataWorks企业版中提供。

2022.6.27

华东1(杭州),华东2(上海),华北2(北京),华南1(深圳),西南1(成都),新加坡,美国(硅谷)

所有DataWorks用户

数据治理中心概述

数据治理中心支持任务360功能

提供任务的360全景功能,将任务关联的治理项问题、变更事件记录、影响基线、任务执行信息等关键信息进行集中展示,方便您根据信息进行调度任务治理。

2022.6.24

华东1(杭州),华东2(上海),华北2(北京),华南1(深圳),西南1(成都),新加坡,美国(硅谷)

所有DataWorks用户

全景查看任务

智能数据建模支持查找视图及创建视图

  • 您可以在模型设计过程中直接引用已存在的视图字段及分区信息作为当前模型的字段。

  • 您可以在模型设计完成后将模型物化为视图。

2022.6.22

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港,新加坡,美国(硅谷),德国(法兰克福),华东2(上海)金融云,华南1(深圳)金融云,华北2(政务云)

所有DataWorks用户

发布模型至引擎

智能数据建模支持表名关键词逆向生成模型

您可以在逆向建模过程中,根据表名关键词模糊匹配,逆向生成逻辑模型。

2022.6.19

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国香港,新加坡,美国(硅谷),德国(法兰克福),华东2(上海)金融云,华南1(深圳)金融云,华北2(政务云)

所有DataWorks用户

逆向建模:物理表反向建模

审批中心支持管控数据集成

为保障您的数据传输安全,审批中心为您提供基于源端、目的端的组合定义在保存或数据集成任务时必须触发审批,针对数据同步过程进行更加灵活的管控。

2022.6.15

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国(香港),亚太东南1(新加坡),印度尼西亚(雅加达),马来西亚(吉隆坡),印度(孟买),美国(硅谷),美国(弗吉尼亚),德国(法兰克福) 。

所有DataWorks用户

数据集成审批策略

数据保护伞新增敏感数据血缘可视化图谱

新增敏感数据血缘可视化图谱,功能如下:

  • 基于数据的生产信息解析出敏感字段之间的血缘关系,将其中敏感字段类型相同的血缘关系进行识别结果扩散,极大提高识别效率。

  • 可根据识别出的血缘关系自动绘制成敏感数据血缘可视化图谱,可清晰了解数据的来龙去脉。

说明

本功能仅限DataWorks企业版使用。

2022.6.14

华东1(杭州),华东2(上海)

所有DataWorks用户

查看敏感数据血缘(公测)

数据保护伞新增异常血缘关系分析功能

新增异常血缘关系分析,功能如下:

  • 系统根据敏感字段的血缘关系,自动分析字段之间的异常关联关系,避免通过字符拼接、拆解的方式绕过敏感数据的识别和使用审计。

  • 帮助您识别出与查询字段有血缘关系,但敏感字段类型识别结果不一致的字段。

2022.6.14

华东1(杭州),华东2(上海)

所有DataWorks用户

查看敏感数据血缘(公测)

2022-5

功能名称

功能描述

发布时间

发布地域

适用客户

相关文档

数据保护伞风险识别优化功能全新改版(老用户需迁移)。

新版风险识别功能内置风险识别场景,支持数据分类分级、操作方式、人员权限等多维度组合风险识别,增加报警事件聚合度判断减少误报情况,支持高、中、低的精细化风险管理,全方位洞察企业内部各类数据风险。

说明
  • 风险识别管理需要购买DataWorks专业版以上才可以进行使用。

  • 旧版风险识别管理将保留至2022年06月30日,到期后,已创建的风险识别规则及相关风险数据将自动清除,后续则只能使用新版风险识别管理功能,请您及时将需要使用的规则及风险数据导出备份。

  • 老用户需迁移至新版,才可使用新版功能。

2022.5.16

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国(香港)

所有DataWorks用户。

风险识别管理(新版)

2022-4

功能名称

功能描述

发布时间

发布地域

适用客户

相关文档

DataStudio优化数据开发各类文件的管理能力。

  • 您可以直接点击新建节点,系统会推荐最近常用的节点类型,无需再手动逐个寻找所需要的节点。

  • 增加我的收藏,常用节点可以直接收藏,方便快速修改或与他人进行协同编辑。

  • 优化左侧目录树,未提交作业任务会直接显示提交发布图形按钮,方便进行任务的快速发布。

2022.4.7

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国(香港)

所有DataWorks用户。

数据开发功能索引

数据质量新增全局质量规则批量管理。

新增质量规则列表,功能如下:

  • 可以展示您在现有工作空间下配置的全局数据质量规则,并对规则进行批量的启停、订阅、关联调度、强弱规则设置等操作。

  • 可搭配现有的按模板配置规则的能力,能够批量、快速地创建、管理质量规则,治理企业各类数据质量问题。

2022.4.11

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国(香港)

所有DataWorks用户。

数据质量规则生效逻辑说明

DataWorks智能数据建模商业化。

产品将于2022年4月26日开启商业化收费模式,您在邀测期间的模型将全部保留且不产生费用,但您的模型将无法进行增删改等操作。如需执行增删改查等操作,需付费开通DataWorks标准版、专业版、企业版与智能数据建模产品。

2022.4.26

全部地域

所有DataWorks用户。

智能数据建模计费标准

运维中心智能基线支持更灵活的报警管理设置。

智能基线升级以后,功能具体如下:

  • 支持统一针对基线实例、事件及基线进行管理。

  • 支持为每条基线单独设置短信/邮件/电话等不同的报警规则,并且可以直接关联值班表,避免频繁变更责任人带来的复杂操作。

2022.4.26

华东1(杭州),华东2(上海),华北2(北京),华北3(张家口),华南1(深圳),西南1(成都),中国(香港)

所有DataWorks用户。

智能基线概述

2022-3

功能名称

功能描述

发布时间

发布地域

适用客户

相关文档

发布中心支持跨工作空间发布,发布管控能力增强。

发布中心支持将工作空间内的任务、资源、函数等对象发布至另一个工作空间内,解决多工作空间之间的任务发布问题。

2022.3.2

全部地域

金融领域、政府等对于发布强管控用户。

创建及发布发布包:跨工作空间

数据分析操作记录接入安全审计。

DataWorks数据分析中,如下操作的操作记录已接入安全审计:

  • 运行MaxCompute SQL语句。

  • 下载SQL运行结果。

  • 下载电子表格。

2022.3.20

全部地域

所有DataWorks用户。

数据治理中心治理排行榜功能优化。

数据治理中心治理排行榜功能优化,新增以下功能:

  • 支持按照角色过滤治理项。

  • 支持对治理项检查项事件按照不同维度进行排序。

  • 支持展示工作空间下全部人员的治理排行。

  • 查看待治理项问题列表详情。

  • 查看资源消费历史趋势图与MaxCompute消耗明细。

2022.3.21

全部地域

参与邀测的数据治理中心用户。

查看治理结果

数据集成配置任务性能优化。

使用数据集成独享资源组运行一键实时同步至MaxCompute一键实时同步至Hologres任务时,每个任务可选择超过1000张表,使同步效率更加高效。

2022.3.25

全部地域

SAAS平台、金融领域等需要同步大批量表数据的用户。

PostgreSQL环境准备

智能数据建模代码模式功能增强。

  • 维度建模支持通过代码模式中的FML对已保存模型进行字段顺序的调整。

  • 支持根据MaxCompute的select语句自动生成模型,高效、快速的自定义修改模型。

2022.3.27

全部地域

所有DataWorks用户。

代码模式建模