本文将为您及时同步2022年的Dataphin版本发布信息。
2022年11月
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
Dataphin免费试用申请 | 支持在线申请Dataphin免费试用,可试用30天。包括智能研发版、资产质量、智能运维、数据标准、资产安全、资源治理等功能。 | 2022年11月22日 | 华北2(北京) | |
华东1(杭州) | ||||
华南1(深圳) | ||||
华东2(上海) |
2022年10月
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
资源用量详情 |
| 2022年10月25日 | 华北2(北京) | |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
数据源 |
| 2022年10月25日 | 华北2(北京) | |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
数据架构 | 主题域升级,支持最多创建5级主题域及支持以树形结构和图形看板样式展示主题域层级关系。 | 2022年10月25日 | 华北2(北京) | |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
概念建模 |
| 2022年10月25日 | 华北2(北京) | |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
研发通用功能 |
| 2022年10月25日 | 华北2(北京) | |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
离线研发 |
| 2022年10月25日 | 华北2(北京) | |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
实时研发 | 开源Flink引擎下支持自定义实时连接器、Flink 1.14引擎版本下支持MySQL、PostgreSQL的CDC connector。 | 2022年10月25日 | 华北2(北京) | |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
运维中心 |
| 2022年10月25日 | 华北2(北京) | |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
新增智能运维增值模块,包括调度限流和基线运维。 | 2022年10月25日 | 华北2(北京) | ||
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
华东2(上海) | ||||
数据标准 |
| 2022年10月25日 | 华北2(北京) | |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
资产安全 |
| 2022年10月25日 | 华北2(北京) | |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
数据质量 |
| 2022年10月25日 | 华北2(北京) | |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
计算引擎 | 支持Dataphin可基于MaxCompute和DLF对湖仓一体的数据进行数据的加工处理。 | 2022年10月25日 | 华北2(北京) | |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
数据集成:输入组件、数据源优化,提升体验感,数据源表存在性、表结构变动功能点优化,整库迁移的任务生成优化 |
| 2022年10月25日 | 华北2(北京) | 配置API输入组件、创建Kafka数据源、创建DataHub数据源、创建SAP HANA数据源、创建MongoDB数据源、配置MaxCompute输入组件、配置MaxCompute输出组件、管理FTP组件、管理脚本模式输入组件 |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
资产权限 | 新增权限审计模块,可以对自己的权限进行审计。 | 2022年10月25日 | 华北2(北京) | |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
数据服务 |
| 2022年10月25日 | 华北2(北京) | |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
首页 |
| 2022年10月25日 | 华北2(北京) | 无 |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
数仓规划 | 新增创建业务对象和业务活动权限。 | 2022年10月25日 | 华北2(北京) | |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
离线计算任务 |
| 2022年10月25日 | 华北2(北京) | |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
逻辑表DML支持部分字段insert和动态分区。 | 2022年10月25日 | 华北2(北京) | ||
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
| 2022年10月25日 | 华北2(北京) | ||
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) | |||
项目配置 | 项目访客权限优化,并新增数据访问者、普通访客角色。 | 2022年10月25日 | 华北2(北京) | |
2022年10月27日 | 华东1(杭州) | |||
2022年11月01日 | 华南1(深圳) | |||
2022年11月03日 | 华东2(上海) |
2022年07月
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
产品计费 | 售卖版本新增基础研发版和敏捷研发版。 | 2022年07月19日 | 华北2(北京) | |
2022年07月21日 | 华东1(杭州) | |||
2022年07月26日 | 华南1(深圳) | |||
2022年08月02日 | 华东2(上海) | |||
数据架构(原业务板块) |
| 2022年7月19日 | 华北2(北京) | |
2022年07月21日 | 华东1(杭州) | |||
2022年07月26日 | 华南1(深圳) | |||
2022年08月02日 | 华东2(上海) | |||
成员管理 |
| 2022年7月19日 | 华北2(北京) | |
2022年07月21日 | 华东1(杭州) | |||
2022年07月26日 | 华南1(深圳) | |||
2022年08月02日 | 华东2(上海) | |||
数据集成 |
| 2022年07月19日 | 华北2(北京) | |
2022年07月21日 | 华东1(杭州) | |||
2022年07月26日 | 华南1(深圳) | |||
2022年08月02日 | 华东2(上海) | |||
规范建模 |
| 2022年07月19日 | 华北2(北京) | |
2022年07月21日 | 华东1(杭州) | |||
2022年07月26日 | 华南1(深圳) | |||
2022年08月02日 | 华东2(上海) | |||
离线研发 | 增加回收站功能,可以将删除的数据处理任务还原。 | 2022年07月19日 | 华北2(北京) | |
2022年07月21日 | 华东1(杭州) | |||
2022年07月26日 | 华南1(深圳) | |||
2022年08月02日 | 华东2(上海) | |||
实时研发 | 实时研发新增支持Ververcia Flink引擎
| 2022年07月19日 | 华北2(北京) | |
2022年07月21日 | 华东1(杭州) | |||
2022年07月26日 | 华南1(深圳) | |||
2022年08月02日 | 华东2(上海) | |||
发布中心 |
| 2022年07月19日 | 华北2(北京) | |
2022年07月21日 | 华东1(杭州) | |||
2022年07月26日 | 华南1(深圳) | |||
2022年08月02日 | 华东2(上海) | |||
运维中心 |
| 2022年07月19日 | 华北2(北京) | |
2022年07月21日 | 华东1(杭州) | |||
2022年07月26日 | 华南1(深圳) | |||
2022年08月02日 | 华东2(上海) | |||
资产目录 |
| 2022年07月19日 | 华北2(北京) | |
2022年07月21日 | 华东1(杭州) | |||
2022年07月26日 | 华南1(深圳) | |||
2022年08月02日 | 华东2(上海) | |||
资产权限 |
| 2022年07月19日 | 华北2(北京) | |
2022年07月21日 | 华东1(杭州) | |||
2022年07月26日 | 华南1(深圳) | |||
2022年08月02日 | 华东2(上海) | |||
资产安全 |
| 2022年07月19日 | 华北2(北京) | |
2022年07月21日 | 华东1(杭州) | |||
2022年07月26日 | 华南1(深圳) | |||
2022年08月02日 | 华东2(上海) | |||
资源治理 | 逻辑表治理任务,新增跳转运维和跳转开发功能,可以快速进行任务的确认和治理。 | 2022年07月19日 | 华北2(北京) | |
2022年07月21日 | 华东1(杭州) | |||
2022年07月26日 | 华南1(深圳) | |||
2022年08月02日 | 华东2(上海) | |||
管理中心 |
| 2022年07月19日 | 华北2(北京) | |
2022年07月21日 | 华东1(杭州) | |||
2022年07月26日 | 华南1(深圳) | |||
2022年08月02日 | 华东2(上海) | |||
通知中心 | 任务中心与消息中心体验提升。 | 2022年07月19日 | 华北2(北京) | |
2022年07月21日 | 华东1(杭州) | |||
2022年07月26日 | 华南1(深圳) | |||
2022年08月02日 | 华东2(上海) |
2022年05月
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
数据源:可支持的数据源类型及版本拓展,及优化数据源配置参数 | 添加MySQL数据源版本拓展支持5.1.43,您可以根据业务数据库的版本添加支持对应版本的数据源。 | 2022年05月26日 | 华东1(杭州) | |
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
新增支持ClickHouse数据源,您可以将ClickHouse数据源业务数据引入至Dataphin或将Dataphin数据导出至ClickHouse。 | 2022年05月26日 | 华东1(杭州) | ||
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
HBase数据源支持配置Namespace。 | 2022年05月26日 | 华东1(杭州) | ||
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
数据集成:输入组件、输出组件的能力升级 | 逻辑表输入组件支持选择标签逻辑表。 | 2022年05月26日 | 华东1(杭州) | |
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
FTP输出组件新增输出文件是否合并及列头是否导出配置,同时FTP组件支持配置标记完成文件,以支持更灵活的文件导出场景。 | 2022年05月26日 | 华东1(杭州) | ||
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
MaxCompute输出组件,适配来源字段存在空值且目标字段类型为TINYINT、SMALLINT、INT的场景,以降低清洗成本,增加配置灵活性。 | 2022年05月26日 | 华东1(杭州) | ||
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
一键建表功能优化自动生成的建表语句,自动将输入表名填充为输出表名,新增输入字段注释信息的展示作为参考,降低配置成本。 | 2022年05月26日 | 华东1(杭州) | ||
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
数据开发:新增EXPLAIN SQL增强操作和MAX_PT函数,同时支持创建Shell、Python任务的代码模板,您可以基于同一代码模板开发多个Shell、Python任务,大大提升了代码任务的研发效率 | 新增EXPLAIN SQL增强操作,用于分析查询语句或表结构来分析性能瓶颈。 | 2022年05月26日 | 华东1(杭州) | |
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
MAX_PT函数支持直接使用Dataphin项目名称。 | 2022年05月26日 | 华东1(杭州) | ||
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
新增支持ROW FORMAT SERDE、TBLPROPERTIES语法。 | 2022年05月26日 | 华东1(杭州) | ||
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
MSCK REPAIR TABLE、DELETE WHERE语法。 | 2022年05月26日 | 华东1(杭州) | ||
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
新增支持SHOW FUNCTIONS, LISTFUNCTIONS语法。 | 2022年05月26日 | 华东1(杭州) | ||
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
新增支持DESC EXTENDED语法。 | 2022年05月26日 | 华东1(杭州) | ||
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
支持创建Shell、Python任务的代码模板,您可以基于同一代码模板开发多个Shell、Python任务,大大提升了代码任务的研发效率。 | 2022年05月26日 | 华东1(杭州) | ||
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
即席查询:支持运行超过24小时的任务自动终止运行 | 支持运行超过24小时的任务自动终止,防止运行时间过长占用过多计算资源。 | 2022年05月26日 | 华东1(杭州) | |
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
规范建模:事实逻辑表关联维度的能力升级 | 事实逻辑表支持单个字段关联多个维度逻辑表。 | 2022年05月26日 | 华东1(杭州) | |
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
数据萃取:引导页、ID中心、平台管理、标签中心能力升级 | 引导页全面升级,新增平台管理、ID中心;新增规则统计类标签、注册上挂标签、标签中心升级为偏好标签。 | 2022年05月26日 | 华东1(杭州) | |
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
运维中心:丰富了逻辑表实例支持的运维操作;新增海量补数据功能以适配大批量节点的补数据场景;小时和分钟任务支持分钟级补数据 | 逻辑实例新增强制重跑、去除上游依赖、置为成功继续调度功能,以支持临时运维操作,提升灵活性。 | 2022年05月26日 | 华东1(杭州) | |
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
逻辑表实例列表、补数据实例列表批量操作体验优化,包括去除页面选择的限制,由后台根据字段运行状态判断是否可操作;拓展支持重跑所有失败字段、重跑所有终态字段、强制重跑所有字段;针对模型刷新导致不可重跑的逻辑表,可一键批量补数据已实现历史分区数据更新,大大降低逻辑表实例运维操作成本。 | 2022年05月26日 | 华东1(杭州) | ||
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
新增海量补数据功能以适配大批量节点补数据场景,提升运维效率。 | 2022年05月26日 | 华东1(杭州) | ||
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
新增一键重跑整个补数据实例、一键重跑、一键终止单个补数据任务下某个业务日期对应的所有实例,降低批量操作成本。 | 2022年05月26日 | 华东1(杭州) | ||
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
小时、分钟周期任务新增支持分钟级补数据。 | 2022年05月26日 | 华东1(杭州) | ||
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
重跑下游操作,下游节点列表支持展示全部层级(不超过2000个节点),优化运维体验。 | 2022年05月26日 | 华东1(杭州) | ||
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
新增支持强制重跑下游,以实现全链路数据更新,解决重跑下游操作中因运行状态不满足而造成的造成链路断裂或数据版本不一致的场景。 | 2022年05月26日 | 华东1(杭州) | ||
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
针对配置了运行失败监控的实例,告警策略由每次运行失败均告警修改为仅最后一次自动重试运行仍失败才告警,减少无效告警信息的干扰。 | 2022年05月26日 | 华东1(杭州) | ||
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
资产安全:识别规则任务支持自定义调度配置及运行日期黑名单,以支持特殊时间周期内其他任务的运行稳定性 | 识别规则任务支持通过自定义调度配置以修改扫描频率;支持配置识别任务运行日期黑名单,以支持特殊时间周期内其他任务的运行稳定性。 | 2022年05月26日 | 华东1(杭州) | |
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
资产治理:元数据注册功能升级 | 元数据注册功能升级为治理项管理。 | 2022年05月26日 | 华东1(杭州) | |
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) | |||
数据服务:权限功能升级 | 新增服务项目,服务项目是数据服务的基本组织单元,是进行多用户隔离和访问控制的主要边界。后续您需要通过服务项目使用数据服务。 | 2022年05月26日 | 华东1(杭州) | |
2022年05月24日 | 华东2(上海) | |||
2022年05月19日 | 华南1(深圳) | |||
2022年05月17日 | 华北2(北京) |
2022年03月
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
集成人工智能平台PAI:集成PAI Designer的工作流提供统一调度 | 调用您在机器学习平台中构建的Designer工作流,并按照节点配置进行调度生产。 | 2022年03月03日 | 华东2(上海)、华北2(北京) | |
2022年03月08日 | 华南1(深圳)、华东1(杭州) |