功能更新动态(2022年之前)

本文为您及时同步2022年之前Dataphin的版本发布信息。

2021年08月

功能名称

功能描述

发布时间

发布地域

相关文档

产品计费:策略优化及数据处理单元规格拓展

同步任务和集成任务对应的数据处理单元由1:1修改为3:1,且前200个集成任务免费,进一步降低数据上云成本。

同时,手动任务、汇总逻辑表不再计算数据处理单元,您将以更低的成本进行逻辑研发。

2021年08月19日

华北2(北京)、华东1(杭州)

计费说明

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

系统将依据您选择的数据处理单元规格分配不同的默认调度资源,选购的规格越高,分配的调度资源越多,可以支持的任务并发数越大,研发效率相应提升。

2021年08月19日

华北2(北京)、华东1(杭州)

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

智能研发版的数据处理单元规格拓展支持200。

2021年08月19日

华北2(北京)、华东1(杭州)

购买指引计费说明

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

数据源:可支持的数据源类型和版本拓展,优化数据源配置交互

新建数据源页面支持分类展示数据源类型,同时增加最近使用的数据源类型,提升了产品的易用性。

2021年08月19日

华北2(北京)、华东1(杭州)

数据源

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

添加MySQL数据源版本拓展支持8.0,您可以根据业务数据库的版本添加支持对应版本的数据源。

2021年08月19日

华北2(北京)、华东1(杭州)

创建MySQL数据源

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

新增支持Hologres数据源,您可以将Hologres数据源业务数据引入至Dataphin或将Dataphin数据导出至Hologres。同时支持基于Hologres数据源新建实时元表。

2021年08月19日

华北2(北京)、华东1(杭州)

创建Hologres数据源新建元表

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

数据源权限管控升级,增加对链接地址的查看权限控制,您可以更有效地提升数据源安全性。

2021年08月19日

华北2(北京)、华东1(杭州)

数据源权限列表

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

Dataphin支持通用IP地址

为了提升网络连通配置的效率,Dataphin新增在VPC网络环境下各地域通用的IP地址,您可以将通用的IP地址添加至业务数据库的白名单中以实现网络打通。

2021年08月19日

华北2(北京)、华东1(杭州)

网络连通解决方案

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

数据服务:支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展

为了满足对数据查询速度有要求的业务场景,Dataphin支持为项目添加加速计算源,且完成Dataphin数据源开发后,您可以手动打开加速开关,即可实现数据服务模块的数据查询加速。

2021年08月19日

华北2(北京)、华东1(杭州)

创建项目开发Dataphin数据源并加速数据查询

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

支持的数据源类型和版本拓展。数据源类型增加了Impala、AnalyticDB for PostgreSQL、AnalyticDB for MySQL3.0数据源。HBase数据源的版本拓展支持了2.x,您可以根据业务数据库的版本添加对应版本的数据源。

2021年08月19日

华北2(北京)、华东1(杭州)

创建Impala数据源新建AnalyticDB for MySQL 3.0数据源Dataphin支持的数据源

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

编码任务:Python计算任务的版本拓展,同时支持代码任务进行全局搜索

Python计算任务的版本拓展支持3.7。同时,Dataphin支持对全局代码任务进行搜索,您可以更有效地管理计算任务。

2021年08月19日

华北2(北京)、华东1(杭州)

创建Python计算任务

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

数据集成:数据集成读取和写入组件拓展、支持为AnalyticDB for PostgreSQL目标数据源一键建表操作、数据源权限申请的交互优化

新增Hologres输入组件和输出组件。当输出组件为AnalyticDB for PostgreSQL,Dataphin支持一键建表的操作,以实现快速创建目标表。

同时,在数据源下拉列表中对于没有权限的数据源,您可以单击其后的申请权限,快速申请数据源的读写权限。

2021年08月19日

华北2(北京)、华东1(杭州)

配置Hologres输入组件配置Hologres输出组件

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

运维中心:运维中心支持一键终止补数据实例下所有节点的补数据操作及页面交互优化

为了提升运维任务的效率,支持一键终止运行中的补数据实例下所有节点的补数据操作。

2021年08月19日

华北2(北京)、华东1(杭州)

通用补数据实例

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

支持按字段名称和字段英文名搜索对应的物化节点及自动定位到对应的物化节点。

2021年08月19日

华北2(北京)、华东1(杭州)

逻辑表实例

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

离线整库迁移

为了满足更丰富的场景,Dataphin支持将本地数据中心或在ECS上自建的数据库同步至Hive、MaxCompute、Oracle和AnalyticDB for PostgreSQL中。

2021年08月19日

华北2(北京)、华东1(杭州)

支持的数据源

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

数据安全

为了能够立即需要执行识别规则扫描数据,识别所有敏感字段,Dataphin支持手动触发识别规则扫描。

2021年08月19日

华北2(北京)、华东1(杭州)

创建、配置及手动触发识别规则

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

流批一体任务:新增属性配置及支持查看元表的引用信息

为了规避在任务参数处经常漏掉配置stat_date,Dataphin支持在实时任务配置的属性配置中新增stat_date的kv。

2021年08月19日

华北2(北京)、华东1(杭州)

开发流批一体任务

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

支持查看元表的引用信息,同时您也可以单击引用的计算任务,查看计算任务的详情。

2021年08月19日

华北2(北京)、华东1(杭州)

新建元表

2021年08月24日

华南1(深圳)

2021年08月26日

华东2(上海)

2020年11~12月

功能名称

功能描述

发布时间

发布地域

相关文档

数据源

新增数据源Loghub、PolarDB、OSS、OceanBase、SAP HANA、DB2、TeraData。

2020年11月17日

华北2(北京)

新建离线数据源

2020年11月26日

华南1(深圳)

2020年12月15日

华东2(上海)

数据集成

  • 新增自定义组件功能,支持用户自定义系统不支持的组件。其中,RDBMS数据库组件通过JDBC链接,非RDBMS数据库组件需要自行上传JAR包。

  • 新增输入组件PolarDB、LogHub、OSS、SAP HANA、DB2、OceanBase、TeraData和本地CSV,新增脚本配置模式。

  • 新增输出组件PolarDB、OSS、SAP HANA、DB2、OceanBase和TeraData,新增脚本配置模式。

2020年11月17日

华北2(北京)

2020年11月26日

华南1(深圳)

2020年12月15日

华东2(上海)

数据开发

  • 新增全局代码搜索功能,支持快速搜索Dataphin实例内所有的代码。

    说明

    历史提交过的代码不支持搜索。如果需要搜索历史代码,则需要重新提交代码任务。

  • 新增函数的历史版本回滚功能。

  • 新增资源的历史版本回滚功能。

  • 基于Flink计算引擎,新增开发流批一体任务,提高数据研发效率。

2020年11月17日

华北2(北京)

2020年11月26日

华南1(深圳)

2020年12月15日

华东2(上海)

运维中心

  • 新增运维大盘功能,为您提供所有任务运行概况、实例分布统计、异常实例统计,便于您及时获取任务运行的状况、了解实例运行的趋势。

  • 新增运维列表及批量操作功能,提高运维管理效率。

  • 新增逻辑表运维功能,支持从字段视角对逻辑表节点进行运维管理。

  • 监控配置升级,支持批量监控配置、支持配置逻辑表字段监控、支持自定义发送次数和发送频率。

2020年11月17日

华北2(北京)

运维中心概

2020年11月26日

华南1(深圳)

2020年12月15日

华东2(上海)

资产质量

  • 新增数据源的资产质量监控规则,包括数据源连通性监测和表结构异动监测。

  • 新增实时元表的资产质量监控规则,包括统计趋势监测、实时多链路对比和实时离线数据核对。

2020年11月17日

华北2(北京)

2020年11月26日

华南1(深圳)

2020年12月15日

华东2(上海)

资产安全

新增资产安全增值功能包。资产安全支持定义数据的业务分类和安全等级,并构建敏感数据识别规则,同时支持设置敏感数据脱敏规则,以保障数据资产的安全性。

2020年12月15日

华北2(北京)

资产安全

2020年12月15日

华南1(深圳)

2020年12月15日

华东2(上海)

数据服务

  • 新增Dev-Prod和Basic模式,以满足用户对资产安全性的管控。

  • 新增基于逻辑表开发API。

2020年11月17日

华北2(北京)

数据服务概述

2020年11月26日

华南1(深圳)

2020年12月15日

华东2(上海)

2020年9月

功能名称

功能描述

发布时间

发布地域

相关文档

新建项目

  • 绑定离线计算源时,新增同步创建对应的数据源。

  • 系统通过项目粒度的方式,管控项目中的元表和物理表的读取和写入数据的权限申请。规避了审批者误操作,导致的数据泄露与安全问题。

2020年9月17日

华东2(上海)、华南1(深圳)和华北2(北京)

创建项目

编辑项目

Dev-Prod开发模式中,新增同时为Dev和Prod项目添加成员的功能。

管理项目空间的权限和计算源

离线计算任务

  • 新增任务克隆功能。

  • 新增版本回滚、版本对比功能。

  • 新增快捷跳转至运维中心。

  • 新增快捷发布功能。

  • 新增快速筛选我创建的数据处理对象。

管理计算任务

实时计算任务

  • 新增快捷跳转至运维中心。

  • 新增快捷发布功能。

  • 新增快速筛选我创建的数据处理对象。

管理计算任务

发布任务

  • 待发布对象列表新增移除对象功能。待发布对象列表新增移除对象功能。

  • 系统支持记住最近一次访问的列表(管道脚本、规范建模和数据处理)。

管理发布任务

业务板块

系统支持最多设置10位业务板块管理员。

创建数据板块

2020年7月

功能名称

功能描述

发布时间

发布地域

相关文档

基础研发版

基础研发版的定价及购买说明

2020年7月14日

华东2(上海)、华南1(深圳)和华北2(北京)。

购买指引计费说明开通Dataphin

实时自定义源

系统支持通过上传JAR文件的方式,自定义数据源。

新建自定义源

实时计算元表

创建实时计算元表的数据源,新增实时自定义源。

续费

新增克隆实时计算元表。

实时计算模板

新增克隆实时计算模板。

新建代码模板

发布任务

新增发布预检功能。

管理发布任务

实时计算任务

新增克隆实时计算任务。

管理计算任务

新增创建Flink_DataStream类型的实时计算任务。

实时计算函数

新增查看函数的引用信息、保存函数的版本信息和回滚函数的版本。

新建用户自定义函数

离线计算函数

新增查看函数的引用信息、保存函数的版本信息和回滚函数的版本。

新建用户自定义函数

资源管理

新增查看资源的引用信息、保存资源的版本信息、回滚资源的版本和下载资源包。

创建资源

2020年5月

Dataphin于2020年5月19日结束公测,2020年5月20日开始正式商业化。

功能名称

功能描述

发布时间

发布地域

相关文档

数据处理单元

数据处理单元规格拓展,规格包括500、1000、1500、2000、2500和3000。

2020年5月9日

华东2(上海)、华南1(深圳)和华北2(北京)。

购买指引开通Dataphin计费说明升级

数据服务

数据服务规格拓展,规格包括api.base(最大500 QPS)、1api.s1.small(最大2500 QPS)、api.s1.medium(最大5000 QPS)、api.s2.large(最大10000 QPS)。

开通Dataphin升级

自动续费

新增自动续费功能,帮助您快速地续费Dataphin实例。

续费

资源统计

新增系统资源用量统计功能,帮助您查看Dataphin系统中的资源用量情况。

查看资源使用情况

行为看版

行为数据抽样预览功能更新,帮助您查看行为数据的分布及抽样结果。

查看行为数据

2020年4月

功能名称

功能描述

发布时间

发布地域

相关文档

数据同步

如果您是在2020年4月份之后购买的Dataphin,则数据同步已升级为数据集成。数据集成为您提供简单高效、安全可靠的数据同步平台。

2020年4月9日

华北2(北京)和华南1(深圳)

数据引入

计算设置

支持离线计算引擎和实时计算引擎的配置。

设置Dataphin实例的计算引擎

计算源

计算源为离线数据的处理提供计算及存储资源、为实时数据的处理提供计算资源。

计算源

数据源

支持创建离线数据源和实时数据源,通过数据源将业务数据引入Dataphin平台。

数据源

业务板块

创建业务板块时,支持设定板块管理员,帮助您更好地管理业务板块。

业务板块

发布管理

新增数据集成、实时计算任务的发布管理。

管理发布任务

运维调度

全局运维中新增实时任务和实时实例。

概述

监控报警

新增实时报警记录和实时监控配置,方便您及时了解任务运行的状况。

配置实时监控报警规则

数据处理

新增实时数据处理,帮助您处理实时计算任务。

实时数据处理

数据集成

致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。

数据集成

告警中心

为您展示资产质量、实时计算、数据服务模块的告警事件、推送记录及值班表。

告警中心

资产质量

为您提供全链路的资产质量方案,包括质量规则配置、质量监控、智能报警等功能。

资产质量

数据服务

支持通过界面配置的方式构建API和Dataphin数据源,以满足不同数据的使用场景,同时降低数据的开发门槛,帮助企业实现数据应用价值最大化。

数据服务概述

资产质量的售卖

新增资产质量售卖的说,帮助您了解如何购买资产质量增值功能。

购买指引开通Dataphin

资产质量的计费

新增资产质量的计费说明。

计费说明

2019年12月

功能名称

功能描述

发布时间

发布地域

相关文档

Dataphin实例售卖

新增华北2(北京)地域的Dataphin实例售卖。

2019年12月25日

华东2(上海)、华南1(深圳)和华北2(北京)。

购买指引开通Dataphin

基础研发版

全域基础用户仅限购买基础研发版,基础研发版的数据处理单元规格仅支持200。

购买指引

升级

支持通过升级的方式,将智能研发版的低规格数据处理单元升级为高规格数据处理单元,同时也可以将基础研发版升级为智能研发版。

升级

智能研发版

全域标准用户仅限购买智能研发的数据处理单元为1500规格。

购买指引

2019年11月

功能名称

功能描述

发布时间

发布地域

相关文档

Dataphin实例售卖

新增华南1(深圳)地域(Region)的Dataphin实例售卖。

2019年11月29日

华东2(上海)和华南1(深圳)。

购买指引开通Dataphin

数据处理单元

智能研发版的数据处理单元的规格由200个调整为500个,同时数据处理单元规格新增1500个。

华东2(上海)和华南1(深圳)。

计费说明

升级

支持通过升级操作的方式,将低规格数据处理单元升级为高规格数据处理单元。

华东2(上海)和华南1(深圳)。

升级

数据服务

数据服务为您提供高效便捷的主题式查询功能及有效的全链路企业内API生命周期托管,真正实现低门槛API开发,帮助您更好地进行数据资产应用以实现价值化。

2019年11月14日

华东2(上海)

服务

数据萃取

面向各行各业数据价值深度挖掘的诉求,萃取为您提供以目标对象为中心的数据打通和深度挖掘,助力您实现业务的融会贯通并驱动创新。

萃取

资产治理

Dataphin治理支持您进行数据使用消耗分析,从全局视角,把控计算与存储成本,提升资源使用效率。

治理

元数据

支持您使用手动刷新获取最新的元数据信息,将指定的数据表元数据刷新至Dataphin系统。

刷新元数据

安全

为您提供权限的管理。

安全中心

通知中心

支持将系统内所有流程任务的消息汇集到通知中心为您展示。

查看系统消息