文档更新动态(2022年之前)

本文为您介绍2022年之前Dataphin版本文档更新动态,方便您及时了解Dataphin版本新增特性及功能变更。

2021年10月

更新时间

特性

描述

类别

产品文档

2021年10月12日

新增逻辑结构说明

新增了基本概念的逻辑结构说明。

新增说明

逻辑结构说明

2021年10月12日

补充错误码

补充DPN.DataProcess.NodeOutputNameAlreadyExistWithNodeNameDPN.Os.ColumnAuthCheckFailed

更新说明

错误码

2021年10月11日

优化什么是Dataphin

补充了Dataphin产品能力大图、核心功能特性速览等内容。

更新说明

什么是Dataphin

2021年10月9日

新增资产治理概述

资产治理概述中包括了应用场景、功能优势、相关概念和使用流程等内容。

新增说明

治理概述

2021年09月

更新时间

特性

描述

类别

产品文档

2021年09月30日

新增案例介绍

新增了基本概念的案例介绍。

更新说明

案例介绍

2021年09月30日

优化了发布中心概述

新增了使用限制、优化了功能介绍。

更新说明

发布中心概述

2021年09月29日

优化新建自定义组件

优化了新建自定义组件的背景信息,补充了自定义RDBMS数据库的背景。

更新说明

新建自定义组件

2021年09月27日

优化了核心概念

优化了部分的核心概念。

更新说明

核心概念

2021年09月24日

优化了运维中心概述

补充了运维中心的应用场景。

更新说明

概述

2021年09月18日

优化新建加速计算源

基于控制台更新,刷新截图及补充描述。

更新说明

创建加速计算源

2021年09月18日

调整教程和最佳实践架构

将最佳实践和教程的架构进行合并,合并为教程及最佳实践。

更新说明

实践教程

2021年09月18号

新增资产安全概述

资产安全概述包括应用场景、功能优势、相关概念、使用流程等内容。

更新说明

资产安全概述

2021年09月17号

优化了管理中心概述

补充了使用限制、优化了管理中心概述中的功能介绍部分。

更新说明

管理中心概述

2021年09月13日

调整权限管理架构

将内置角色及权限列表和权限管理内容进行整合。

更新说明

权限管理

2021年09月10日

新增用户角色和权限

补充了Dataphin支持的用户和角色、Datphin权限体系、项目内权限说明等内容。

新增说明

用户角色和权限

2021年08月

更新时间

特性

描述

类别

产品文档

2021年08月24日

产品计费策略:优化

同步任务和集成任务对应的数据处理单元由1:1修改为3:1,且前200个集成任务免费,进一步降低数据上云成本。

同时,手动任务、汇总逻辑表不再计算数据处理单元,您将以更低的成本进行逻辑研发。

更新说明

计费说明

系统将依据您选择的数据处理单元规格分配不同的默认调度资源,选购的规格越高,分配的调度资源越多,可以支持的任务并发数越大,计算处理速度也相应提升。

更新说明

2021年08月24日

数据源:可支持的数据源类型和版本拓展,优化数据源配置交互

新建数据源页面支持分类展示数据源类型,同时增加最近使用的数据源类型,提升了产品的易用性。

更新说明

数据源

MySQL数据源版本拓展支持8.0,您可以根据业务数据库的版本添加对应版本的数据源。

新功能

创建MySQL数据源

新增支持Hologres数据源,您可以将Hologres数据源业务数据引入至Dataphin或将Dataphin数据导出至Hologres。同时支持基于Hologres数据源新建实时元表。

新功能

创建Hologres数据源新建元表

数据源权限管控升级,增加对链接地址的查看权限控制,您可以更有效地提升数据源安全性。

更新说明

数据源权限列表

2021年08月24日

新增Dataphin在VPC网络下的通用IP地址

为了提升网络连通配置的效率,Dataphin新增在VPC网络环境下各地域通用的IP地址,您可以将通用的IP地址添加至业务数据库的白名单中以实现网络打通。

新功能

网络连通解决方案

2021年08月24日

数据服务:支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展

为了满足对数据查询速度有要求的业务场景,Dataphin支持为项目添加加速计算源,且完成Dataphin数据源开发后,您可以手动打开加速开关,即可实现数据服务模块的数据查询加速。2021年8月19日。

新功能

创建项目开发Dataphin数据源并加速数据查询

持的数据源类型和版本拓展。数据源类型增加了Impala、AnalyticDB for PostgreSQL、AnalyticDB for MySQL3.0数据源。HBase数据源的版本拓展支持了2.x,您可以根据业务数据库的版本添加对应版本的数据源。

新功能

创建Impala数据源新建AnalyticDB for MySQL 3.0数据源Dataphin支持的数据源

2021年08月24日

数据集成:数据集成读取和写入组件拓展、支持为AnalyticDB for PostgreSQL目标数据源一键建表操作、数据源权限申请的交互优化

新增Hologres输入组件和输出组件。当输出组件为AnalyticDB for PostgreSQL,Dataphin支持一键建表的操作,以实现快速创建目标表。

同时,在数据源下拉列表中对于没有权限的数据源,您可以单击其后的申请权限,快速申请数据源的读写权限。

新功能

配置Hologres输入组件配置Hologres输出组件

2021年08月24日

运维中心:运维中心支持一键终止补数据实例下所有节点的补数据操作及页面交互优化

为了提升运维任务的效率,支持一键终止运行中的补数据实例下所有节点的补数据操作。

更新说明

通用补数据实例

支持按字段名称和字段英文名搜索对应的物化节点及自动定位到对应的物化节点。

更新说明

逻辑表实例

2021年08月24日

离线整库迁移

为了丰富元表的数据来源,支持基于Hologres数据源新建元表为了满足更丰富的场景,Dataphin支持将本地数据中心或在ECS上自建的数据库同步至Hive、MaxCompute、Oracle和AnalyticDB for PostgreSQL中。

更新说明

支持的数据源

2021年08月24日

数据安全

为了能够立即需要执行识别规则扫描数据,识别所有敏感字段,Dataphin支持手动触发识别规则扫描。

更新说明

创建、配置及手动触发识别规则

2021年08月24日

流批一体任务:新增属性配置及支持查看元表的引用信息

为了规避在任务参数处经常漏掉配置stat_date,Dataphin支持在实时任务配置的属性配置中新增stat_date的kv。

更新说明

开发流批一体任务

支持查看元表的引用信息,同时您也可以单击引用的计算任务,查看计算任务的详情。

更新说明

新建元表

2021年01月

功能名称

功能描述

发布时间

发布地域

相关文档

数据源

新建数据源页面支持分类展示数据源类型,同时增加最近使用的数据源类型,提升了产品的易用性。

2021年01月19日

华北2(北京)、华南1(深圳)、华东2(上海)、华东1(杭州)

数据源

新建元表

  • 支持查看元表的引用信息,同时您也可以单击引用的计算任务,查看计算任务的详情。

  • 新建元表支持选择Hologres数据源。

2021年01月19日

华北2(北京)、华南1(深圳)、华东2(上海)、华东1(杭州)

新建元表

通用补数据实例

支持一键终止运行中的补数据实例下所有节点的补数据操作。

2021年1月19日

华北2(北京)、华南1(深圳)、华东2(上海)、华东1(杭州)

通用补数据实例

2020年11月

时间

特性名称

类别

描述

使用范围

产品文档

2020-11-17

支持安装资产安全策略

功能拓展

新增安装资产安全策略,安装后即可使用数据安全策略。

通用功能

管理项目空间的权限和计算源

2020-11-17

数据源类型拓展

功能拓展

新增数据源Loghub、PolarDB、OSS、OceanBase、SAP HANA、DB2、TeraData。

通用功能

新建离线数据源

2020-11-17

数据集成支持自定义组件即组件扩展

功能拓展

  • 新增自定义组件功能,支持用户自定义系统不支持的组件。其中,RDBMS数据库组件通过JDBC链接,非RDBMS数据库组件需要自行上传JAR包。

  • 新增输入组件PolarDB、LogHub、OSS、SAP HANA、DB2、OceanBase、TeraData和本地CSV,新增脚本配置模式。

  • 新增输出组件PolarDB、OSS、SAP HANA、DB2、OceanBase和TeraData,新增脚本配置模式。

通用功能

2020-11-17

数据处理支持

功能拓展

  • 新增全局代码搜索功能,支持快速搜索Dataphin实例内所有的代码。

    说明

    历史提交过的代码不支持搜索。如果需要搜索历史代码,则需要重新提交代码任务。

  • 新增函数的历史版本回滚功能。

  • 新增资源的历史版本回滚功能。

  • 基于Flink计算引擎,新增开发流批一体任务,提高数据研发效率。

通用功能

数据开发概述

2020-11-17

运维中心升级

功能拓展

  • 新增运维大盘功能,为您提供所有任务运行概况、实例分布统计、异常实例统计,便于您及时获取任务运行的状况、了解实例运行的趋势。

  • 新增运维列表及批量操作功能,提高运维管理效率。

  • 新增逻辑表运维功能,支持从字段视角对逻辑表节点进行运维管理。

  • 监控配置升级,支持批量监控配置、 支持配置逻辑表字段监控、支持自定义发送次数和发送频率。

通用功能

概述

2020-11-17

资产质量支持新建数据源和实时元表质量监控规则

功能拓展

  • 新增数据源的资产质量监控规则,包括数据源连通性监测和表结构异动监测。

  • 新增实时元表的资产质量监控规则,包括统计趋势监测、实时多链路对比和实时离线数据核对。

通用功能

2020-11-17

数据安全

功能拓展

新增数据安全增值功能包。数据安全支持定义数据的业务分类和安全等级,并构建敏感数据识别规则,同时支持设置敏感数据脱敏规则,以保障数据资产的安全性。

通用功能

数据安全

2020-11-17

数据服务

功能拓展

  • 新增Dev-Prod和Basic模式,以满足用户对数据安全性的管控。

  • 新增基于逻辑表开发API。

通用功能

数据服务概述

2020年09月

时间

特性名称

类别

描述

使用范围

产品文档

2020-09-17

新建项目

功能拓展

  • 绑定离线计算源时,新增同步创建对应的数据源。

  • 系统通过项目粒度的方式,管控项目中的元表和物理表的读取和写入数据的权限申请。规避了审批者误操作,导致的数据泄露与安全问题。

通用功能

创建项目

2020-09-17

编辑项目

功能拓展

Dev-Prod开发模式中,新增同时为Dev和Prod项目添加成员的功能。

通用功能

管理项目空间的权限和计算源

2020-09-17

离线计算任务

功能拓展

  • 新增任务克隆功能。

  • 新增版本回滚、版本对比功能。

  • 新增快捷跳转至运维中心。

  • 新增快捷发布功能。

  • 新增快速筛选我创建的数据处理对象。

通用功能

管理计算任务

2020-09-17

实时计算任务

功能拓展

  • 新增快捷跳转至运维中心。

  • 新增快捷发布功能。

  • 新增快速筛选我创建的数据处理对象。

通用功能

管理计算任务

2020-09-17

发布任务

功能拓展

  • 待发布对象列表新增移除对象功能。待发布对象列表新增移除对象功能。

  • 系统支持记住最近一次访问的列表(管道脚本、规范建模和数据处理)。

通用功能

管理发布任务

2020-09-17

业务板块

功能拓展

系统支持最多设置10位业务板块管理员。

通用功能

创建数据板块

2020年07月

时间

特性名称

类别

描述

使用范围

产品文档

2020-07-14

购买说明

功能拓展

新增基础研发版的计算引擎和功能说明。

通用功能

购买指引

2020-07-14

计费说明

功能拓展

新增基础研发版的计费说明。

通用功能

计费说明

2020-07-14

购买

功能拓展

新增购买基础研发版实例的说明。

通用功能

开通Dataphin

2020-07-14

实时自定义源

新增功能

新增实时自定义源功能。系统支持通过上传JAR文件的方式,自定义实时数据源。

通用功能

新建自定义源

2020-07-14

实时计算元表

功能拓展

  • 创建实时计算元表,您可以选择实时自定义源作为数据源。

  • 新增克隆实时计算元表。

通用功能

新建元表

2020-07-14

实时计算任务

功能拓展

新增创建Flink_DataStream类型的实时计算任务。

通用功能

创建Blink DataStream计算任务

2020-07-14

资源管理

功能拓展

新增查看资源的引用信息、保存资源的版本信息、回滚资源的版本和下载资源包。

通用功能

创建资源

2020-07-14

计算函数

功能拓展

新增查看函数的引用信息、保存函数的版本信息和回滚函数的版本。

通用功能

新建用户自定义函数

2020-07-14

实时计算模板

功能拓展

新增批量启用最新版本。

通用功能

新建代码模板

2020-07-14

实时计算任务

功能拓展

新增克隆实时计算任务。

通用功能

管理计算任务

2020-07-14

实时计算模板

功能拓展

新增克隆实时计算模板。

通用功能

新建代码模板

2020-07-14

发布任务

功能拓展

新增发布预检功能。

通用功能

管理发布任务

2020-07-14

计算设置

功能拓展

新增基础研发版添加计算引擎的说明。

通用功能

设置Dataphin实例的计算引擎

2020-07-14

新建项目

功能拓展

新增基于基础研发版创建项目的说明。

通用功能

创建项目

2020年05月

时间

特性名称

类别

描述

使用范围

产品文档

2020-05-09

购买说明

功能拓展

为您介绍本版本新增的内容:

  • 数据处理单元规格拓展,规格包括500、1000、1500、2000、2500和3000。

  • Dataphin实例售卖时长拓展,购买时长包括1个月、3个月、6个月、9个月和1年。

通用功能

购买指引

2020-05-09

计费说明

功能拓展

为您介绍本版本新增的内容:

  • 数据处理单元拓展规格的定价。

  • 数据服务拓展规格的定价。

通用功能

计费说明

2020-05-09

购买

功能拓展

为您介绍购买Dataphin实例时,可以选择数据处理单元、增值功能包(数据服务)和购买时长的拓展规格。

通用功能

开通Dataphin

2020-05-09

续费

功能拓展

新增自动续费功能,帮助您快速地续费Dataphin实例。

通用功能

续费

2020-05-09

查看资源用量

功能拓展

新增系统资源用量统计功能,帮助您查看Dataphin系统中的资源用量情况。

通用功能

查看资源使用情况

2020-05-09

查看行为数据

新增功能

行为数据抽样预览功能更新。

通用功能

查看行为数据

2020年04月

时间

特性名称

类别

描述

使用范围

产品文档

2020-04-09

数据源

功能拓展

支持创建离线数据源和实时数据源,通过数据源将业务数据引入Dataphin平台。

通用功能

数据源

2020-04-09

计算设置

功能拓展

支持离线计算引擎和实时计算引擎的配置。

通用功能

设置Dataphin实例的计算引擎

2020-04-09

计算源

功能拓展

计算源为离线数据的处理提供计算及存储资源、为实时数据的处理提供计算资源。

通用功能

计算源

2020-04-09

业务板块

功能拓展

创建业务板块时,支持设定板块管理员,帮助您更好地管理业务板块。

通用功能

业务板块

2020-04-09

发布管理

新增功能

新增数据集成、实时计算任务的发布管理。

通用功能

管理发布任务

2020-04-09

运维调度

功能拓展

为您介绍全局运维中新增实时任务和实时实例功能。

通用功能

概述

2020-04-09

数据处理

功能拓展

新增实时数据处理,帮助您处理实时计算任务。

通用功能

实时数据处理

2020-04-09

实时元表

新增功能

为您介绍如何查看实时元表的详情。

通用功能

元表详情

2020-04-09

函数权限

新增功能

为您介绍如何进行函数权限的申请、查询及交还,帮助您更好地管理函数权限。

通用功能

管理函数权限

2020-04-09

告警中心

新增功能

为您展示资产质量、实时计算、数据服务模块的告警事件、推送记录及值班表,帮助您及时查看并处理告警。

通用功能

告警中心

2020-04-09

数据集成

新增功能

数据集成是基于Dataphin构建的简单高效的数据同步平台,致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。

通用功能

数据集成

2020-04-09

资产质量

新增功能

资产质量是基于Dataphin构建的监控资产质量的平台,帮助您监控和优化数据开发过程中的资产质量。

通用功能

资产质量

2020-04-09

数据服务

功能拓展

数据服务支持通过界面配置的方式构建API和Dataphin数据源,以满足不同数据的使用场景,同时降低数据的开发门槛,帮助企业实现数据应用价值最大化。

通用功能

数据服务概述

2020-04-09

监控报警

功能拓展

新增实时报警记录和实时监控配置,方便您及时了解任务运行的状况。

通用功能

配置离线监控报警规则

2020年02月

时间

特性名称

类别

描述

使用范围

产品文档

2020-02-20

视频专区

体验优化

为您演示Dataphin的开发流程。

通用功能

Dataphin快速入门

2020-02-20

视频专区

体验优化

为您演示数据服务的入门指导。

通用功能

Dataphin数据服务入门指导

2019年12月

时间

特性名称

类别

描述

使用范围

产品文档

2019-12-25

购买说明

功能拓展

购买说明为您介绍不同的用户(全域标准用户、全域基础用户、普通用户)购买Dataphin实例时的限制。

通用功能

购买指引

2019-12-25

购买

功能拓展

  • 为您介绍如何购买新增地域华北2(北京)的Dataphin实例。

  • 为您介绍不同的用户(全域标准用户、全域基础用户、普通用户)如何购买Dataphin实例。

通用功能

开通Dataphin

2019-12-25

升级

功能拓展

  • 为您介绍全域基础用户如何通过升级实现基础研发版升级为智能研发版及如何开通增值功能包。

  • 为您介绍全域标准用户如何通过升级的方式开通增值功能包。

  • 为您介绍普通用户如何通过升级的方式开通增值功能包及如何将低规格数据处理单元升级为高规格数据处理单元。

通用功能

升级

2019-12-25

计费说明

功能拓展

为您介绍不同用户(全域标准用户、全域基础用户、普通用户)购买不同规格的Dataphin实例的计费标准。

通用功能

计费说明

2019-12-25

版本历史

功能拓展

为您及时同步Dataphin的版本发布信息。

通用功能

功能更新记录

2019年11月

时间

特性名称

类别

描述

使用范围

产品文档

2019-11-29

管理控制台

功能拓展

为您详细介绍管理控制台界面,本版本较上个版本新增如下:

  • 新增产品规格模块,为您展示产品当前支持的数据处理单元规格。

  • 新增华南1(深圳)地域(Region)的Dataphin实例售卖。

  • 新增查看Dataphin实例的详情。如果您有多个未过期的Dataphin实例(即在服务期内,或已欠费但仍处于14天过渡期内),可以通过切换Region的方式,查看对应Region购买的实例详情。

  • 新增增值功能查看入口。您可以基于智能研发版基础功能自行选择增值功能包叠加查看产品整体功能。

通用功能

管理控制台介绍

2019-11-29

升级

功能拓展

新增支持将低规格数据处理单元升级为高规格数据处理单元。公测期间数据处理单元支持2档:500和1500。

通用功能

升级

2019-11-29

购买

功能拓展

  • 为您介绍如何购买新增中国站-华南1Region的Dataphin实例。

  • 为您介绍新增数据处理单元以及在购买过程中如何选取数据处理单元规格。

通用功能

开通Dataphin

2019-11-29

计费说明

功能变更

为您介绍数据处理单元计算逻辑变更。

通用功能

计费说明

2019-11-14

服务

新增功能

数据服务为您提供高效便捷的主题式查询功能及有效的全链路企业内API生命周期托管,真正实现低门槛API开发,帮助您更好地进行数据资产应用以实现价值化。

已开通数据服务增值包的用户

服务

2019-11-14

萃取

新增功能

面向各行各业数据价值深度挖掘的诉求,萃取为您提供以目标对象为中心的数据打通和深度挖掘,助力您实现业务的融会贯通并驱动创新。

已开通数据萃取增值包的用户

萃取

2019-11-14

治理

新增功能

Dataphin治理支持您进行数据使用消耗分析,从全局视角,把控计算与存储成本,提升资源使用效率。

已开通资产治理增值包的用户

治理

2019-11-14

智能引擎

新增功能

您可以通过配置计算和存储参数规则,以优化逻辑表任务、SQL查询任务的生成及运行方式,提高数据构建效率。

通用功能

智能引擎

2019-11-14

元数据

新增功能

支持您手动刷新元数据,将非Dataphin元数据更新到Dataphin系统中。

通用功能

刷新元数据

2019-11-14

成员管理

新增功能

为您提供更丰富的成员联系方式,包括手机、邮箱地址和钉钉群机器人。

通用功能

添加、配置及管理Dataphin成员

2019-11-14

续费

功能变更

如果您购买的实例已过期或即将过期,您可以通过续费管理对实例进行续费操作。

通用功能

续费

2019-11-14

配置同步任务

功能变更

当您配置同步任务时,同步来源和同步目标的数据源仅支持选择物理数据源。

通用功能

配置同步任务

2019-11-14

项目管理

功能变更

新建项目时,为您提供两种可选研发模式:Basic模式(单一生产环境模式)和Dev-Prod 模式(生产、开发环境隔离模式)。

通用功能

创建项目