本文将为您及时同步Dataphin的版本发布信息。

2022年07月

功能名称 功能描述 发布时间 发布地域 相关文档
产品计费 售卖版本新增基础研发版和敏捷研发版。 2022年07月19日 华北2(北京) 购买指引
2022年07月21日 华东1(杭州)
2022年07月26日 华南1(深圳)
2022年08月02日 华东2(上海)
数据架构(原业务板块)
  • 业务板块升级为数据板块,数据域升级为主题域。
  • 维度、业务过程移至数据架构板块,统一为概念设计。维度更名为业务对象;业务过程更名为业务活动,并增加三种子类型:事件、业务流程和业务快照。
  • 公共定义增加小时与分钟的统计周期定义。
2022年7月19日 华北2(北京) 数仓规划概述
2022年07月21日 华东1(杭州)
2022年07月26日 华南1(深圳)
2022年08月02日 华东2(上海)
成员管理
  • 支持在成员管理模块设置用户的系统角色,包括系统管理员、数据源管理员、安全管理员和资产质量负责人。
  • 新增停用用户的能力,例如休假、停职等特殊时间,暂停用户访问并可恢复启用用户。
2022年7月19日 华北2(北京) 添加、配置及管理Dataphin成员
2022年07月21日 华东1(杭州)
2022年07月26日 华南1(深圳)
2022年08月02日 华东2(上海)
数据集成
  • 支持项目中的物理表作为管道任务中的来源表或目标表。
  • 管道任务支持克隆。
2022年07月19日 华北2(北京) 配置离线单条管道
2022年07月21日 华东1(杭州)
2022年07月26日 华南1(深圳)
2022年08月02日 华东2(上海)
规范建模
  • 新增逻辑表版本管理功能,可以查看逻辑表修改记录以及进行版本对比。
  • 新增逻辑表冒烟测试,可以在开发时验证逻辑表是否可以成功运行。
  • 新增衍生指标,可以基于已有的派生指标,通过二次运算快速创建新的指标。
  • 逻辑表新增支持小时及分钟级数据时效的配置。
  • 汇总逻辑表注册上挂指标取消来源表负责人为当前操作人的限制,允许上挂所有的有读权限的物理表字段。
2022年07月19日 华北2(北京) 规范建模概述
2022年07月21日 华东1(杭州)
2022年07月26日 华南1(深圳)
2022年08月02日 华东2(上海)
离线研发 增加回收站功能,可以将删除的数据处理任务还原。 2022年07月19日 华北2(北京) 管理回收站的资源对象
2022年07月21日 华东1(杭州)
2022年07月26日 华南1(深圳)
2022年08月02日 华东2(上海)
实时研发
实时研发新增支持Ververcia Flink引擎
  • 支持数据源:MaxCompute、PolarDB-X、AnalyticDB for MySQL 3.0、Log Service、Aliyun HBase、DataHub、Kafka、Tablestore、RocketMQ、Elastic Search、Redis。
  • 支持Flink SQL流批任务。
  • 支持元表、镜像表。
  • 支持预编译、调试、测试、运维。
  • 支持粗粒度资源配置。
2022年07月19日 华北2(北京) 创建Flink SQL任务
2022年07月21日 华东1(杭州)
2022年07月26日 华南1(深圳)
2022年08月02日 华东2(上海)
发布中心
  • 新增发布管控校验环节,每个对象对于命中的变更策略中定义的规则进行校验,校验不通过则阻断发布或给出警告提示。
  • 针对发布失败的任务,新增支持查看发布日志、支持一键重新发布。
  • 新增支持查看版本提交记录。
2022年07月19日 华北2(北京) 发布中心概述
2022年07月21日 华东1(杭州)
2022年07月26日 华南1(深圳)
2022年08月02日 华东2(上海)
运维中心
  • 新增支持小时、分钟级调度的逻辑表进行补数据、重跑等运维操作。
  • 新增支持单个指标补数据,不受逻辑表一致性连带影响,可根据业务需求自由灵活地进行补数据。
2022年07月19日 华北2(北京) 运维中心概述
2022年07月21日 华东1(杭州)
2022年07月26日 华南1(深圳)
2022年08月02日 华东2(上海)
资产目录
  • 资产目录体验升级。
  • 新增资产对象(指标)。
  • 资产详情页交互优化,新增该资产的查看权限列表和使用说明两个功能。
2022年07月19日 华北2(北京) 资产目录
2022年07月21日 华东1(杭州)
2022年07月26日 华南1(深圳)
2022年08月02日 华东2(上海)
资产权限
  • 权限即将到期、到期、赋权、回收时发送站内信及邮件通知。
  • 支持查看所属账号的表权限申请记录,管理员可查看表权限操作记录。
  • 新增批量授权、批量回收表权限。
  • 支持物理视图和逻辑视图的权限申请。
  • 实时元表权限支持批量授权,支持实时计算的元表、镜像表的批量授权。
2022年07月19日 华北2(北京) 数据资产权限列表
2022年07月21日 华东1(杭州)
2022年07月26日 华南1(深圳)
2022年08月02日 华东2(上海)
资产安全
  • 安全模块权限体系优化
    • 安全管理员,可以访问资产中的安全模块,对安全模块有管理权,可以做安全规则的新增、编辑等操作。
    • 其他普通用户拥有安全模块的查看权限,可以看到敏感规则、敏感字段的识别记录,但不可以操作。
  • 新增项目安全策略,用于对项目安全策略进行统一管理与审计;同时支持资产安全策略的自动安装,并可以查看算法安装日志,精确掌握安装状态。
  • 自定义掩码算法优化,新增自定义替换值的脱敏算法、自定义正则表达式的脱敏算法。
  • 支持识别规则转交,支持识别规则转交给其他安全管理员。
2022年07月19日 华北2(北京) 资产安全概述
2022年07月21日 华东1(杭州)
2022年07月26日 华南1(深圳)
2022年08月02日 华东2(上海)
资源治理 逻辑表治理任务,新增跳转运维和跳转开发功能,可以快速进行任务的确认和治理。 2022年07月19日 华北2(北京) 资源治理概述
2022年07月21日 华东1(杭州)
2022年07月26日 华南1(深圳)
2022年08月02日 华东2(上海)
管理中心
  • 新增发布管控功能,可基于任务名称、任务所属项目、发布人、发布时间等元数据,通过可视化表单配置或自定义SQL的方式,定义变更校验规则。
  • 支持定义变更管控策略,基于定义好的变更校验规则,配置校验时间区间和校验范围,针对校验不通过的发布申请,可设置为阻断发布或警告提示,以实现特定场景下的发布管控,降低风险。
2022年07月19日 华北2(北京) 管理中心概述
2022年07月21日 华东1(杭州)
2022年07月26日 华南1(深圳)
2022年08月02日 华东2(上海)
通知中心 任务中心与消息中心体验提升。 2022年07月19日 华北2(北京)
2022年07月21日 华东1(杭州)
2022年07月26日 华南1(深圳)
2022年08月02日 华东2(上海)

2022年05月

功能名称 功能描述 发布时间 发布地域 相关文档
数据源:可支持的数据源类型及版本拓展,及优化数据源配置参数 添加MySQL数据源版本拓展支持5.1.43,您可以根据业务数据库的版本添支持加对应版本的数据源。 2022年05月26日 华东1(杭州) 创建MySQL数据源
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
新增支持ClickHouse数据源,您可以将ClickHouse数据源业务数据引入至Dataphin或将Dataphin数据导出至ClickHouse。 2022年05月26日 华东1(杭州)
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
HBase数据源支持配置Namespace。 2022年05月26日 华东1(杭州) 创建HBase数据源
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
数据集成:输入组件、输出组件的能力升级 逻辑表输入组件支持选择标签逻辑表。 2022年05月26日 华东1(杭州) 配置LogicalTable输入组件
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
FTP输出组件新增输出文件是否合并及列头是否导出配置,同时FTP组件支持配置标记完成文件,以支持更灵活的文件导出场景。 2022年05月26日 华东1(杭州) 配置FTP输出组件
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
MaxCompute输出组件,适配来源字段存在空值且目标字段类型为TINYINT、SMALLINT、INT的场景,以降低清洗成本,增加配置灵活性。 2022年05月26日 华东1(杭州) 配置MaxCompute输出组件
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
一键建表功能优化自动生成的建表语句,自动将输入表名填充为输出表名,新增输入字段注释信息的展示作为参考,降低配置成本。 2022年05月26日 华东1(杭州)
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
数据开发:新增EXPLAIN SQL增强操作和MAX_PT函数,同时支持创建Shell、Python任务的代码模板,您可以基于同一代码模板开发多个Shell、Python任务,大大提升了代码任务的研发效率 新增EXPLAIN SQL增强操作,用于分析查询语句或表结构来分析性能瓶颈。 2022年05月26日 华东1(杭州) SQL增强操作
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
MAX_PT函数支持直接使用Dataphin项目名称。 2022年05月26日 华东1(杭州) 函数操作
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
新增支持ROW FORMAT SERDE、TBLPROPERTIES语法。 2022年05月26日 华东1(杭州) DDL语句
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
MSCK REPAIR TABLE、DELETE WHERE语法。 2022年05月26日 华东1(杭州) DML操作
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
新增支持SHOW FUNCTIONS, LISTFUNCTIONS语法。 2022年05月26日 华东1(杭州) 函数操作
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
新增支持DESC EXTENDED语法。 2022年05月26日 华东1(杭州) DDL语句
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
支持创建Shell、Python任务的代码模板,您可以基于同一代码模板开发多个Shell、Python任务,大大提升了代码任务的研发效率。 2022年05月26日 华东1(杭州)
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
即席查询:支持运行超过24小时的任务自动终止运行 支持运行超过24小时的任务自动终止,防止运行时间过长占用过多计算资源。 2022年05月26日 华东1(杭州) 查询并下载数据
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
规范建模:事实逻辑表关联维度的能力升级 事实逻辑表支持单个字段关联多个维度逻辑表。 2022年05月26日 华东1(杭州) 创建并配置事实逻辑表
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
数据萃取:引导页、ID中心、平台管理、标签中心能力升级 引导页全面升级,新增平台管理、ID中心;新增规则统计类标签、注册上挂标签、标签中心升级为偏好标签。 2022年05月26日 华东1(杭州) 概述
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
运维中心:丰富了逻辑表实例支持的运维操作;新增海量补数据功能以适配大批量节点的补数据场景;小时和分钟任务支持分钟级补数据 逻辑实例新增强制重跑、去除上游依赖、置为成功继续调度功能,以支持临时运维操作,提升灵活性。 2022年05月26日 华东1(杭州) 逻辑表实例支持的运维操作
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
逻辑表实例列表、补数据实例列表批量操作体验优化,包括去除页面选择的限制,由后台根据字段运行状态判断是否可操作;拓展支持重跑所有失败字段、重跑所有终态字段、强制重跑所有字段;针对模型刷新导致不可重跑的逻辑表,可一键批量补数据已实现历史分区数据更新,大大降低逻辑表实例运维操作成本。 2022年05月26日 华东1(杭州)
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
新增海量补数据功能以适配大批量节点补数据场景,提升运维效率。 2022年05月26日 华东1(杭州) 补数据
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
新增一键重跑整个补数据实例、一键重跑、一键终止单个补数据任务下某个业务日期对应的所有实例,降低批量操作成本。 2022年05月26日 华东1(杭州) 补数据实例
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
小时、分钟周期任务新增支持分钟级补数据。 2022年05月26日 华东1(杭州) 补数据
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
重跑下游操作,下游节点列表支持展示全部层级(不超过2000个节点),优化运维体验。 2022年05月26日 华东1(杭州)
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
新增支持强制重跑下游,以实现全链路数据更新,解决重跑下游操作中因运行状态不满足而造成的造成链路断裂或数据版本不一致的场景。 2022年05月26日 华东1(杭州)
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
针对配置了运行失败监控的实例,告警策略由每次运行失败均告警修改为仅最后一次自动重试运行仍失败才告警,减少无效告警信息的干扰。 2022年05月26日 华东1(杭州)
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
资产安全:识别规则任务支持自定义调度配置及运行日期黑名单,以支持特殊时间周期内其他任务的运行稳定性 识别规则任务支持通过自定义调度配置以修改扫描频率;支持配置识别任务运行日期黑名单,以支持特殊时间周期内其他任务的运行稳定性。 2022年05月26日 华东1(杭州) 创建、配置及手动触发识别规则
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
资产治理:元数据注册功能升级 元数据注册功能升级为治理项管理 2022年05月26日 华东1(杭州) 管理元数据
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)
数据服务:权限功能升级 新增服务项目,服务项目是数据服务的基本组织单元,是进行多用户隔离和访问控制的主要边界。后续您需要通过服务项目使用数据服务。 2022年05月26日 华东1(杭州) 数据服务概述
2022年05月24日 华东2(上海)
2022年05月19日 华南1(深圳)
2022年05月17日 华北2(北京)

2022年03月

功能名称 功能描述 发布时间 发布地域 相关文档
集成机器学习PAI:集成PAI Designer的工作流提供统一调度 调用您在机器学习平台中构建的PAI-Designer工作流,并按照节点配置进行调度生产。 2022年03月03日 华东2(上海)、华北2(北京)
2022年03月08日 华南1(深圳)、华东1(杭州)

2021年08月

功能名称 功能描述 发布时间 发布地域 相关文档
产品计费:策略优化及数据处理单元规格拓展 同步任务和集成任务对应的数据处理单元由1:1修改为3:1,且前200个集成任务免费,进一步降低数据上云成本。

同时,手动任务、汇总逻辑表不再计算数据处理单元,您将以更低的成本进行逻辑研发。

2021年08月19日 华北2(北京)、华东1(杭州) 计费说明
2021年08月24日 华南1(深圳)
2021年08月26日 华东2(上海)
系统将依据您选择的数据处理单元规格分配不同的默认调度资源,选购的规格越高,分配的调度资源越多,可以支持的任务并发数越大,研发效率相应提升。 2021年08月19日 华北2(北京)、华东1(杭州)
2021年08月24日 华南1(深圳)
2021年08月26日 华东2(上海)
智能研发版的数据处理单元规格拓展支持200。 2021年08月19日 华北2(北京)、华东1(杭州) 购买指引计费说明
2021年08月24日 华南1(深圳)
2021年08月26日 华东2(上海)
数据源:可支持的数据源类型和版本拓展,优化数据源配置交互 新建数据源页面支持分类展示数据源类型,同时增加最近使用的数据源类型,提升了产品的易用性。 2021年08月19日 华北2(北京)、华东1(杭州) 数据源
2021年08月24日 华南1(深圳)
2021年08月26日 华东2(上海)
添加MySQL数据源版本拓展支持8.0,您可以根据业务数据库的版本添支持加对应版本的数据源。 2021年08月19日 华北2(北京)、华东1(杭州) 创建MySQL数据源
2021年08月24日 华南1(深圳)
2021年08月26日 华东2(上海)
新增支持Hologres数据源,您可以将Hologres数据源业务数据引入至Dataphin或将Dataphin数据导出至Hologres。同时支持基于Hologres数据源新建实时元表。 2021年08月19日 华北2(北京)、华东1(杭州) 创建Hologres数据源新建元表
2021年08月24日 华南1(深圳)
2021年08月26日 华东2(上海)
数据源权限管控升级,增加对链接地址的查看权限控制,您可以更有效地提升数据源安全性。 2021年08月19日 华北2(北京)、华东1(杭州) 数据源权限列表
2021年08月24日 华南1(深圳)
2021年08月26日 华东2(上海)
Dataphin支持通用IP地址 为了提升网络连通配置的效率,Dataphin新增在VPC网络环境下各地域通用的IP地址,您可以将通用的IP地址添加至业务数据库的白名单中以实现网络打通。 2021年08月19日 华北2(北京)、华东1(杭州) 网络连通解决方案
2021年08月24日 华南1(深圳)
2021年08月26日 华东2(上海)
数据服务:支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务场景,Dataphin支持为项目添加加速计算源,且完成Dataphin数据源开发后,您可以手动打开加速开关,即可实现数据服务模块的数据查询加速。 2021年08月19日 华北2(北京)、华东1(杭州) 创建项目开发Dataphin数据源并加速数据查询
2021年08月24日 华南1(深圳)
2021年08月26日 华东2(上海)
支持的数据源类型和版本拓展。数据源类型增加了Impala、AnalyticDB for PostgreSQL、AnalyticDB for MySQL3.0数据源。HBase数据源的版本拓展支持了2.x,您可以根据业务数据库的版本添加对应版本的数据源。 2021年08月19日 华北2(北京)、华东1(杭州) 创建Impala数据源创建AnalyticDB for PostgreSQL数据源新建AnalyticDB for MySQL 3.0数据源Dataphin支持的数据源
2021年08月24日 华南1(深圳)
2021年08月26日 华东2(上海)
编码任务:Python计算任务的版本拓展,同时支持代码任务进行全局搜索 Python计算任务的版本拓展支持3.7。同时,Dataphin支持对全局代码任务进行搜索,您可以更有效地管理计算任务。 2021年08月19日 华北2(北京)、华东1(杭州) 创建Python计算任务
2021年08月24日 华南1(深圳)
2021年08月26日 华东2(上海)
数据集成:数据集成读取和写入组件拓展、支持为AnalyticDB for PostgreSQL目标数据源一键建表操作、数据源权限申请的交互优化 新增Hologres输入组件和输出组件。当输出组件为AnalyticDB for PostgreSQL,Dataphin支持一键建表的操作,以实现快速创建目标表。

同时,在数据源下拉列表中对于没有权限的数据源,您可以单击其后的申请权限,快速申请数据源的读写权限。

2021年08月19日 华北2(北京)、华东1(杭州) 配置Hologres输入组件配置Hologres输出组件配置AnalyticDB for PostgreSQL输出组件
2021年08月24日 华南1(深圳)
2021年08月26日 华东2(上海)
运维中心:运维中心支持一键终止补数据实例下所有节点的补数据操作及页面交互优化 为了提升运维任务的效率,支持一键终止运行中的补数据实例下所有节点的补数据操作。 2021年08月19日 华北2(北京)、华东1(杭州) 通用补数据实例
2021年08月24日 华南1(深圳)
2021年08月26日 华东2(上海)
支持按字段名称和字段英文名搜索对应的物化节点及自动定位到对应的物化节点。 2021年08月19日 华北2(北京)、华东1(杭州) 逻辑表实例
2021年08月24日 华南1(深圳)
2021年08月26日 华东2(上海)
离线整库迁移 为了满足更丰富的场景,Dataphin支持将本地数据中心或在ECS上自建的数据库同步至Hive、MaxCompute、Oracle和AnalyticDB for PostgreSQL中。 2021年08月19日 华北2(北京)、华东1(杭州) 支持的数据源
2021年08月24日 华南1(深圳)
2021年08月26日 华东2(上海)
数据安全 为了能够立即需要执行识别规则扫描数据,识别所有敏感字段,Dataphin支持手动触发识别规则扫描。 2021年08月19日 华北2(北京)、华东1(杭州) 创建、配置及手动触发识别规则
2021年08月24日 华南1(深圳)
2021年08月26日 华东2(上海)
流批一体任务:新增属性配置及支持查看元表的引用信息 为了规避在任务参数处经常漏掉配置stat_date,Dataphin支持在实时任务配置的属性配置中新增stat_date的kv。 2021年08月19日 华北2(北京)、华东1(杭州) 开发流批一体任务
2021年08月24日 华南1(深圳)
2021年08月26日 华东2(上海)
支持查看元表的引用信息,同时您也可以单击引用的计算任务,查看计算任务的详情。 2021年08月19日 华北2(北京)、华东1(杭州) 新建元表
2021年08月24日 华南1(深圳)
2021年08月26日 华东2(上海)

2020年11~12月

功能名称 功能描述 发布时间 发布地域 相关文档
数据源 新增数据源Loghub、PolarDB、OSS、OceanBase、SAP HANA、DB2、TeraData。 2020年11月17日 华北2(北京) 新建离线数据源
2020年11月26日 华南1(深圳)
2020年12月15日 华东2(上海)
数据集成
  • 新增自定义组件功能,支持用户自定义系统不支持的组件。其中,RDBMS数据库组件通过JDBC链接,非RDBMS数据库组件需要自行上传JAR包。
  • 新增输入组件PolarDB、LogHub、OSS、SAP HANA、DB2、OceanBase、TeraData和本地CSV,新增脚本配置模式。
  • 新增输出组件PolarDB、OSS、SAP HANA、DB2、OceanBase和TeraData,新增脚本配置模式。
2020年11月17日 华北2(北京)
2020年11月26日 华南1(深圳)
2020年12月15日 华东2(上海)
数据开发
  • 新增全局代码搜索功能,支持快速搜索Dataphin实例内所有的代码。
    说明 历史提交过的代码不支持搜索。如果需要搜索历史代码,则需要重新提交代码任务。
  • 新增函数的历史版本回滚功能。
  • 新增资源的历史版本回滚功能。
  • 基于Flink计算引擎,新增开发流批一体任务,提高数据研发效率。
2020年11月17日 华北2(北京)
2020年11月26日 华南1(深圳)
2020年12月15日 华东2(上海)
运维中心
  • 新增运维大盘功能,为您提供所有任务运行概况、实例分布统计、异常实例统计,便于您及时获取任务运行的状况、了解实例运行的趋势。
  • 新增运维列表及批量操作功能,提高运维管理效率。
  • 新增逻辑表运维功能,支持从字段视角对逻辑表节点进行运维管理。
  • 监控配置升级,支持批量监控配置、支持配置逻辑表字段监控、支持自定义发送次数和发送频率。
2020年11月17日 华北2(北京) 运维中心
2020年11月26日 华南1(深圳)
2020年12月15日 华东2(上海)
资产质量
  • 新增数据源的资产质量监控规则,包括数据源连通性监测和表结构异动监测。
  • 新增实时元表的资产质量监控规则,包括统计趋势监测、实时多链路对比和实时离线数据核对。
2020年11月17日 华北2(北京)
2020年11月26日 华南1(深圳)
2020年12月15日 华东2(上海)
资产安全 新增资产安全增值功能包。资产安全支持定义数据的业务分类和安全等级,并构建敏感数据识别规则,同时支持设置敏感数据脱敏规则,以保障数据资产的安全性。 2020年12月15日 华北2(北京) 资产安全
2020年12月15日 华南1(深圳)
2020年12月15日 华东2(上海)
数据服务
  • 新增Dev-Prod和Basic模式,以满足用户对资产安全性的管控。
  • 新增基于逻辑表开发API。
2020年11月17日 华北2(北京) 数据服务概述
2020年11月26日 华南1(深圳)
2020年12月15日 华东2(上海)

2020年9月

功能名称 功能描述 发布时间 发布地域 相关文档
新建项目
  • 绑定离线计算源时,新增同步创建对应的数据源。
  • 系统通过项目粒度的方式,管控项目中的元表和物理表的读取和写入数据的权限申请。规避了审批者误操作,导致的数据泄露与安全问题。
2020年9月17日 华东2(上海)、华南1(深圳)和华北2(北京) 创建项目
编辑项目 Dev-Prod开发模式中,新增同时为Dev和Prod项目添加成员的功能。 管理项目空间的权限和计算源
离线计算任务
  • 新增任务克隆功能。
  • 新增版本回滚、版本对比功能。
  • 新增快捷跳转至运维中心。
  • 新增快捷发布功能。
  • 新增快速筛选我创建的数据处理对象。
管理计算任务
实时计算任务
  • 新增快捷跳转至运维中心。
  • 新增快捷发布功能。
  • 新增快速筛选我创建的数据处理对象。
管理计算任务
发布任务
  • 待发布对象列表新增移除对象功能。待发布对象列表新增移除对象功能。
  • 系统支持记住最近一次访问的列表(管道脚本、规范建模和数据处理)。
管理发布任务
业务板块 系统支持最多设置10位业务板块管理员。 创建数据板块

2020年7月

功能名称 功能描述 发布时间 发布地域 相关文档
基础研发版 基于基础研发版,创建离线计算任务。 2020年7月14日 华东2(上海)、华南1(深圳)和华北2(北京)。 新建离线计算任务(ADB PG)ADB for PostgreSQL支持的语法
基础研发版 基础研发版的定价及购买说明 购买指引计费说明开通Dataphin
实时自定义源 系统支持通过上传JAR文件的方式,自定义数据源。 新建自定义源
实时计算元表 创建实时计算元表的数据源,新增实时自定义源。 续费
新增克隆实时计算元表。 新建元表
实时计算模板 新增克隆实时计算模板。 新建代码模板
发布任务 新增发布预检功能。 管理发布任务
实时计算任务 新增克隆实时计算任务。 管理计算任务
新增创建Flink_DataStream类型的实时计算任务。 创建Blink DataStream计算任务
实时计算函数 新增查看函数的引用信息、保存函数的版本信息和回滚函数的版本。 新建用户自定义函数
离线计算函数 新增查看函数的引用信息、保存函数的版本信息和回滚函数的版本。 新建用户自定义函数
资源管理 新增查看资源的引用信息、保存资源的版本信息、回滚资源的版本和下载资源包。 创建资源

2020年5月

Dataphin于2020年5月19日结束公测,2020年5月20日开始正式商业化。

功能名称 功能描述 发布时间 发布地域 相关文档
数据处理单元 数据处理单元规格拓展,规格包括500、1000、1500、2000、2500和3000。 2020年5月9日 华东2(上海)、华南1(深圳)和华北2(北京)。 购买指引开通Dataphin计费说明升级
数据服务 数据服务规格拓展,规格包括api.base(最大500 QPS)、1api.s1.small(最大2500 QPS)、api.s1.emdium(最大5000 QPS)、api.s2.large(最大10000 QPS)。 开通Dataphin升级
自动续费 新增自动续费功能,帮助您快速地续费Dataphin实例。 续费
资源统计 新增系统资源用量统计功能,帮助您查看Dataphin系统中的资源用量情况。 查看资源使用情况
行为看版 行为数据抽样预览功能更新,帮助您查看行为数据的分布及抽样结果。 查看行为数据

2020年4月

功能名称 功能描述 发布时间 发布地域 相关文档
数据同步 如果您是在2020年4月份之后购买的Dataphin,则数据同步已升级为数据集成。数据集成为您提供简单高效、安全可靠的数据同步平台。 2020年4月9日 华北2(北京)和华南1(深圳) 数据引入
计算设置 支持离线计算引擎和实时计算引擎的配置。 设置Dataphin实例的计算引擎
计算源 计算源为离线数据的处理提供计算及存储资源、为实时数据的处理提供计算资源。 计算源
数据源 支持创建离线数据源和实时数据源,通过数据源将业务数据引入Dataphin平台。 数据源
业务板块 创建业务板块时,支持设定板块管理员,帮助您更好地管理业务板块。 业务板块
发布管理 新增数据集成、实时计算任务的发布管理。 管理发布任务
运维调度 全局运维中新增实时任务和实时实例。 运维调度
监控报警 新增实时报警记录和实时监控配置,方便您及时了解任务运行的状况。 监控报警
数据处理 新增实时数据处理,帮助您处理实时计算任务。 实时数据处理
数据集成 致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。 数据集成
告警中心 为您展示资产质量、实时计算、数据服务模块的告警事件、推送记录及值班表。 告警中心
资产质量 为您提供全链路的资产质量方案,包括质量规则配置、质量监控、智能报警等功能。 资产质量
数据服务 支持通过界面配置的方式构建API和Dataphin数据源,以满足不同数据的使用场景,同时降低数据的开发门槛,帮助企业实现数据应用价值最大化。 数据服务概述
资产质量的售卖 新增资产质量售卖的说,帮助您了解如何购买资产质量增值功能。 购买指引开通Dataphin
资产质量的计费 新增资产质量的计费说明。 计费说明

2019年12月

功能名称 功能描述 发布时间 发布地域 相关文档
Dataphin实例售卖 新增华北2(北京)地域的Dataphin实例售卖。 2019年12月25日 华东2(上海)、华南1(深圳)和华北2(北京)。 购买指引开通Dataphin
基础研发版 全域基础用户仅限购买基础研发版,基础研发版的数据处理单元规格仅支持200。 购买指引
升级 支持通过升级的方式,将智能研发版的低规格数据处理单元升级为高规格数据处理单元,同时也可以将基础研发版升级为智能研发版。 升级
智能研发版 全域标准用户仅限购买智能研发的数据处理单元为1500规格。 购买指引

2019年11月

功能名称 功能描述 发布时间 发布地域 相关文档
Dataphin实例售卖 新增华南1(深圳)地域(Region)的Dataphin实例售卖。 2019年11月29日 华东2(上海)和华南1(深圳)。 购买指引开通Dataphin
数据处理单元 智能研发版的数据处理单元的规格由200个调整为500个,同时数据处理单元规格新增1500个。 华东2(上海)和华南1(深圳)。 计费说明
升级 支持通过升级操作的方式,将低规格数据处理单元升级为高规格数据处理单元。 华东2(上海)和华南1(深圳)。 升级
数据服务 数据服务为您提供高效便捷的主题式查询功能及有效的全链路企业内API生命周期托管,真正实现低门槛API开发,帮助您更好地进行数据资产应用以实现价值化。 2019年11月14日 华东2(上海) 服务
数据萃取 面向各行各业数据价值深度挖掘的诉求,萃取为您提供以目标对象为中心的数据打通和深度挖掘,助力您实现业务的融会贯通并驱动创新。 萃取
资产治理 Dataphin治理支持您进行数据使用消耗分析,从全局视角,把控计算与存储成本,提升资源使用效率。 治理
元数据 支持您使用手动刷新获取最新的元数据信息,将指定的数据表元数据刷新至Dataphin系统。 刷新元数据
安全 为您提供权限的管理。 安全中心
通知中心 支持将系统内所有流程任务的消息汇集到通知中心为您展示。 查看系统消息