功能更新动态(2025年)

本文将为您及时同步2025年的Dataphin(全托管版)发布信息。

202502

对应发布的产品版本:V4.5

北京:20250211日发布。

杭州、深圳:20250213日发布。

上海:20250216日发布。

功能名称

功能描述

相关文档

管理控制台

Dataphin管理控制台Access Key、Secret Key配置需具备ListUsers、GetAccountAlias权限。

管理控制台介绍

项目角色管理

自定义项目角色新增项目质量管理-质量规则管理权限点;系统角色(除标签项目角色外)支持编辑、新增、取消项目质量管理-质量规则管理权限点。

附录:全局和项目角色权限说明

全局角色管理

自定义全局角色新增质量规则-管理、规则模板-管理、知识库-管理权限点。

数据源

支持测试GreenplumFTP数据源与外部调度集群的连通性。

审批模板

针对注册密钥时仅负责人可管理的密钥,增加仅负责人可管理的密钥权限申请审批模板。

查看及配置内置审批模板

离线集成

  • 整库迁移目标端支持读取或写入MaxCompute Delta表、新增支持SelectDBDoris数据源,并可一键建表。

  • 当输入组件为MySQL且来源表量为多表时,支持选择多个不同的数据库、多个数据表同步数据,满足分库分表的场景。

  • 逻辑表输入组件关联字段支持全选和反选功能。

离线研发

  • 数据库SQL新增支持AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、GaussDB(DWS)数据源。

  • 当调度周期选择小时,支持时间段、整点、自定义时间点、自定义时间段的不同调度频次。

  • 条件调度功能升级,支持通过运行日期、运行时间控制不同日期及时间段生成的实例的调度方式;支持按照运行日期预览调度计划。

  • Pyodps任务提交到MaxCompute后,系统会自动上报与SQL任务相同的Dataphin元数据,可在MaxCompute console中定位到该任务,便于成本考核。

  • 在生产环境中运行手动任务,支持全局变量自动替换值。

  • 在开发环境运行代码时,运行日志中对账号密码全局变量值进行脱敏。

  • 在线安装/升级Python三方包支持指定module的版本。

资产清单

血缘图整体样式升级,支持查看存在循环依赖的对象血缘关系,支持快速搜索已展开的血缘图内的节点。

Dataphin资产详情

数据安全

  • 基于血缘关系自动继承识别结果时,仅基于直接血缘关系进行计算,过滤关联血缘,以提升识别准确性。

  • 数据分级定义相关的字符数限制放大,分级名称字符提升至128个;分级缩写字符提升至64个;分级描述字符提升至2048个。

元数据中心

  • 新增支持MySQL、AnalyticDB for MySQL 3.0、PolarDB-X(原DRDS)、StarRocks数据源采集同一个数据源下的全部Database或指定Database下的数据。

  • 来源系统支持配置系统类型,可用于系统血缘关系的构建。

资产目录

  • 新增API对象列表,支持按照API专题或目录进行查看。

  • 资产筛选优化,支持根据不同对象类型的属性结合筛选条件,快速筛选资产,以实现灵活筛选。

  • 表、指标资产列表优化,支持自定义展示不同资产对象列表的信息列,快速获取更多所需信息,简化资产查找。

  • 表、指标资产编辑时开启血缘关系、质量概况、元数据变更(仅表资产支持查看),可在资产目录详情查看相关信息。

    • 血缘关系:支持查看系统、表、字段的血缘链路图;支持切换查看某个系统节点包含的指定表的表血缘、或某个表节点包含的指定字段的字段详情;支持隐藏暂未上架或已上架但无查看权限的节点;支持查看已上架到资产目录的表、指标资产的概要信息,并可快捷跳转查看详情。

    • 质量概况支持查看表、指标资产的质量概况。可查看指定字段在质量六性维度下的质量分概况以及表、指标资产的规则统计和规则校验记录。

    • 元数据变更:支持查看表资产任意两个版本之间的变更记录,若最近一次变更包含字段结构变更,可查看本次变更可能产生的下游影响,以便及时通知下游相关人员进行调整适配。

目录规划

新增支持批量导入导出资产专题功能,可基于系统模板,填写配置信息后,将线下已梳理的内容批量导入Dataphin,也可将已有的资产目录配置下载至本地,修改后再进行导入。

批量导入导出资产专题

资产上架-手动上架

新增支持批量导入导出表、指标资产功能, 支持批量下载当前资产配置的Excel模板,更新后再重新批量导入Dataphin系统;并可在批量操作记录中,针对导入操作失败的对象,一键下载异常记录。

批量导入导出资产

资产上架-自动上架

  • 新增支持暂不上架类型的规则,可用于将指定范围的资产自动从准资产状态变更为暂不上架状态,从而降低资产管理复杂度

  • 支持手动执行、终止单条自动上架规则。

  • 新增自动上架规则配置及生效逻辑说明引导。

数据服务

  • 优化脚本模式API,支持单值、多值参数值类型;针对Like操作符,支持模糊匹配、右匹配、左匹配。

  • 支持API在发布上线前进行联调和测试。

  • 调用说明优化,支持展示文档大纲;支持上传或隐藏调用示例中的Java SDK、调用说明。

  • 直连数据源和SQL模式的API支持将试运行结果回填为API示例值。

  • API查看、编辑、测试、调试、文档页面可快捷切换其他API。

  • 支持批量发布API,不包括逻辑表API。

标签工厂

  • 离线标签新增支持计算标签,基于已有标签通过关系操作、函数构建标签计算逻辑等可视化方式将标签计算结果作为标签值

  • 规则组合离线标签支持再次嵌套组合标签,进行标签的二次加工。

  • 标签离线服务支持导出行为偏好标签及其关联的码表信息。

  • 标签及群组离线服务支持批量导出所选中的标签值或代码描述。

  • 离线数据集的调度依赖支持调整依赖策略,如依赖全部实例、最后一个实例等。

  • 标签码表的码值数量拓展至500。

跨租户发布

跨租户发布引用了Python三方包的任务时,可使用与目标租户相同Python版本、相同module名称的三方包,可省去Python三方包的跨租户发布。