功能更新动态(2025年)

本文将为您及时同步2025年的Dataphin(全托管版)发布信息。

202509

对应发布的产品版本:V5.2

北京成都:2025918日。

上海:2025921日。

深圳、杭州:2025923日。

功能名称

功能描述

相关文档

超级X

全新上线超级X智能应用系列,包括X-数据工程、X-运维助手、X-编码助手、X-分析等核心功能,为企业提供数据开发、治理、运营一体化全链路的智能解决方案,显著降低人工操作成本,提升业务响应效率和数据处理正确性。

待发布

基础设置

管理中心 > 系统设置下新增基础设置功能,支持配置租户级别的调度时区,设置后任务的调度时间将按照所设置的时区进行调度。

待发布

数据源管理

  • 新增支持TDSQL for MySQL数据源。

  • Oracle数据源主机模式下支持设置多个IP。

  • TDengine数据源新增支持2.2.1.3版本。

  • API数据源支持自定义Authorizationtoken前缀。

  • 支持设置MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、Amazon Redshift、Databricks数据源默认时区,将根据数据源配置的时区对集成任务中的时间格式数据进行处理。

权限管理

支持按照项目粒度开启离线计算函数的权限控制,开启后,跨项目引用本项目的自定义函数时,需要申请使用权限。

离线研发

  • 新增支持离线调度模板功能,计算任务调度、集成任务调度、逻辑表调度、派生指标和离线数据集对象根据引用的调度模板进行任务调度。

  • 数据库SQL新增支持DM(达梦)和openGauss数据源。

  • MaxCompute新增支持SELECT * except(<column>)、SELECT * replace(<column>)语法。

  • 完整数据下载和Notebook任务创建的临时表的存储格式均使用管理中心 > 系统设置 > 研发平台设置的默认存储格式。

离线集成

  • 新增支持TDSQL for MySQL数据源,可用于创建输入输出组件及作为整库迁移来源端。

  • Databricks输出组件加载策略新增覆盖数据和更新数据配置项;Microsoft SQL Server、AWS RDS for SQL Server/PostgreSQL、PostgreSQL、达梦(DM)输出组件加载策略新增主键冲突时更新配置项。

  • API输入组件请求次数为多次请求时,支持选择分页循环参数便利循环两种模式。

  • 支持根据输入和输出组件数据源上的时区信息,对时间类型的数据进行跨时区转换。

元数据中心

新增支持SelectDB、Doris、DM(达梦)采集源。

创建及管理元数据采集任务

资产目录/目录管理

业务指标新增支持基于已添加的相关业务指标,通过配置逻辑运算表达式生成可层层拆解查看的指标关系图。

数据服务

  • 新增支持网关超时时间配置,用于监控API的调用时长。

  • 数据服务新增支持Amazon RedshiftDatabricks数据源,其中,Amazon Redshift数据源可用于异步和同步调用模式创建直连数据源API和服务单元的数据源,Databricks仅可用于异步调用模式创建直连数据源API。

  • 直连数据源API和服务单元API支持开启行级权限管控,自动继承表级行级权限,支持应用代理个人账号2种鉴权模式。

202506

对应发布的产品版本:V5.1

杭州:20250624日发布。

深圳:20250626日发布。

北京:20250629日发布。

上海20250701日发布。

功能名称

功能描述

相关文档

成员管理

新增开启跨租户发布模式权限点,具有该权限点的用户支持开启跨租户发布的运维模式。

附录:全局和项目角色权限说明

权限管理

支持对同一张表的多个字段进行组合管控,更加灵活地控制敏感数据安全。

添加及管理行级权限

数据源

  • 数据源无需测试连接通过即可保存,系统将在后台为您进行数据源的测试连接。

  • API数据源支持OAuth 2.0认证,支持API调用时动态获取Token。

  • 支持设置MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、Databricks数据源和计算源的默认时区,将根据数据源或计算源上配置的时区对集成任务中的时间格式数据进行处理,以适配国际化多地域、数据源所在时区和Dataphin服务器所在时区不一致的场景。

  • 新增支持Amazon RDS for PostgreSQL/MySQL/SQL Server/Oracle/DB2、Amazon Redshift数据源,可用于离线集成、元数据采集、全域表质量规则/数据源监控规则创建、API开发(Redshift、DB2数据源暂不支持数据服务)。

跨租户发布

跨租户发布数据源时,支持批量设置JDBC URL的替换规则。

管理全局待发布对象

项目管理

配置Dev-Prod模式项目的发布审批时,支持引用自定义审批模板,以灵活自定义审批节点。

创建通用项目

计算源

Ververica Flink计算源支持手动填写地域ID,统一Dataphin实例不同部署模式下地域的填写方式。

新建Ververica Flink计算源

离线集成

  • 整库迁移支持设置开发任务调度资源组。

  • 离线管道输入组件、输出组件、整库迁移来源端新增支持Amazon Redshift、Amazon RDS for PostgreSQL、Amazon RDS for MySQL、Amazon RDS for SQL Server、Amazon RDS for Oracle、Amazon RDS for DB2数据源。

  • Hive输入/输出组件读取或写入Iceberg文件格式的表时,支持隐藏分区表;当Hive输出组件当选择Hudi湖表格式时,支持一键建Hudi表。

  • AnalyticDB for PostgreSQL输出组件一键建表时,支持DISTRIBUTED BY语句。

  • API输入/输出组件支持自定义签名规则,支持根据时间戳、随机数及请求参数使用MD5HEXHMAC系列函数生成动态签名。

  • 离线集成支持根据数据源或计算源上配置的时区进行数据处理。

离线研发

  • 在开发环境运行任务,可申请全局变量权限。

  • Dev-Prod环境中,已发布到生产环境的对象(计算任务,集成任务,逻辑表,指标等)需先在开发环境下线,再在待发布对象中将该下线操作发布到生产环境,才能删除开发对象;也可在研发平台设置为原有配置。

  • 支持在任务级配置超时失败是否自动重跑。

  • 新建计算任务时支持配置顶部默认注释。

  • 数据库SQL新增支持Microsoft SQL ServerHologres数据源。

  • GaussDB(DWS)数据库SQL执行时遇到语法错误,不阻断执行,使用数据源执行权限执行原始SQL。

  • 针对Dataphin默认集群无法连通的数据源支持在分析中创建数据库SQL。

实时研发

元表选择Hudi数据源时,支持识别主键及分区字段,编写Flink SQL时无需手动指定主键及分区字段。

创建及管理元表

任务运维

  • 运维中心取消项目隔离,可一次性查看所有有权限的任务和实例列表;可根据项目进行筛选。

  • 运维周期实例列表增加实例ID、重试次数和自动重试次数信息;运维周期任务详情增加代码版本和版本对比;运维离线实例详情增加CPU和内存消耗信息。

  • 需开通智能运维。运维周期实例可查看DAG图中上下游之间任意两个实例节点间的运行甘特图。

  • 运维周期实例、补数据实例支持修改实例优先级。

  • 运维周期实例支持下载实例列表或筛选后的实例列表。

  • 运行手动任务支持选择日期范围,一次性生成多个手动实例。

  • 新增租户级调度资源大盘,可查看Dataphin集群资源的分配和消耗趋势;支持查看资源消耗/分配比异常的待优化任务列表并导出,便于进行资源调优。

  • 实时任务告警频率调整为每分钟一次,避免频繁告警勿扰。

资产清单

治理 > 元数据 > 探查及分析开启了数据源表的数据探查,可在资产清单详情页发起数据探查,并查看探查报告。

数据源表详情

数据标准

新增支持从表引入定义方式创建码表,可引用有select权限的计算源/已采集的数据源表作为来源快速创建码表,可手动编辑已获取的码值或重新基于引用配置全量更新码值。

创建及管理标准代码(码表)

数据质量

  • 添加全域表监控对象时,针对同一数据源支持跨db/schema批量添加,提升配置效率。

  • 所有数据源类型均支持配置数据源连通性监测规则。

  • 数据质量支持针对与Dataphin应用集群无法连通的数据源表配置监控规则(需结合注册调度集群及元数据采集功能);SAP HANAIBM DB2数据源暂不支持。

元数据采集

新增支持数据源表的探查配置,支持根据数据源粒度进行探查配置,包括并发限流、是否开启探查、探查超时等,并支持设置set语句便于对探查任务进行调优。

资产目录

  • 支持查看业务指标列表:与技术指标均归属指标资产类型,可根据指标类型进行筛选。

  • 技术支持新增支持数据类型、度量单位、是否可累加、相关业务指标属性信息展示。

  • 支持根据上架配置,在数据源表/数据源自定义指标资产详情页面查看探查报告。

  • 规范建模指标详情页面新增指标关系图,面向业务人员展示可视化且更清晰的指标拆解关系。

目录管理

  • 新增支持创建业务指标,并支持上架管理。

  • 技术支持新增支持数据类型、度量单位、是否可累加、相关业务指标属性信息。

  • 数据源表/自定义指标新增支持数据探查报告权限控制。

管理准资产

数据服务

  • 直连数据源异步模式创建API新增支持MaxCompute数据源。

  • 测试/调试API新增支持异步调用模式API,并记录在调用明细日志,可在运维大盘中进行监控。

  • 功能优化,支持修改API名称,全局实时生效;API文档的Host新增域名信息;直连数据源和通过SQL模式创建API时,请求参数和返回参数支持批量操作,支持将SQL试运行结果回填至参数示例值。

202504

对应发布的产品版本:V5.0

北京:20250415日发布。

杭州、深圳:20250417日发布。

上海:20250420日发布。

功能名称

功能描述

相关文档

售卖

具有AliyunDataphinFullAccessAliyunBSSOrderAccess权限点的子账号支持开通、升级、续费Dataphin实例。

AI助理

新增支持AI助理答疑入口,可快速呼出AI答疑机器人。

答疑支持

智能生成

目录管理上线智能生成(公测)功能,基于大模型能力智能生成描述、标签、所属项目等基本信息,并自动检测表中可能存在的自定义指标,可一键生成相关指标基本信息(公测期内免费试用,待正式商业化后开启计费)。

管理准资产

全局角色管理

系统内置角色(除了超级管理员外)支持编辑权限点。

全局角色管理

资源设置

支持设置每个调度资源组的可用资源上下限,在资源空闲时,资源组内的空闲资源可被其他需要的资源组借用。

新建自定义资源组

数据源管理

  • 自定义数据源(非关系型数据库)支持读写的JAR包大小扩展至200M。

  • 创建Doris数据源时,FE节点支持输入HTTPS协议。

  • 支持设置数据源的默认资源组,将作为数据库SQL、离线整库迁移、数据预览等任务执行时默认使用的资源组。

数据源管理

公共定义

公共日历的任一日期支持修改日期标签。

离线集成

  • 新增支持TDengineDatabricks数据源的离线集成。

  • 整库迁移支持TDengine数据源作为来源数据库,Databricks数据源作为目标数据库。

  • 离线整库迁移支持使用外部数据源作为来源数据源,(需先为数据源配置元数据采集任务采集所需元数据)。

离线研发

  • 当计算引擎为MaxCompute且存储类型为内部表时,支持编辑Delta表及事务表。

  • 数据库SQL新增支持DorisSelectDB数据源。

  • 数据开发下的左侧目录下的对象数量扩展至10000个。

  • MaxCompute新增支持json literal常量,即json '{"key":"value"}'语法。

  • 离线任务的调度依赖策略新增支持选择向前最近一个实例向后最近一个实例

基础运维

  • 补数据任务新增支持自定义业务日期,可指定补单天数据,支持快捷选择补月末数据。

  • 补数据和补数据任务包含小时分钟任务时,支持指定补数据的时间范围,仅生成指定时间范围内的实例。

新建补数据任务

资产清单

支持元数据采集的数据源类型,支持查看对应集成任务生成的字段血缘,全量数据源均可查看表级血缘。

数据标准

  • 标准落标监控配置优化:针对系统属性,可选择是否添加内置的落标监控配置。

  • 编辑数据标准时,可同步编辑关联标准和关联文档。

数据安全

  • 新增支持针对数据源表添加分类分级识别结果,可通过手动添加或批量导入方式进行添加。

  • 规则扫描配置部分,新增支持配置自动扫描规则是否覆盖视图对象。若配置为不包含,您也可以手动添加视图对象的识别结果。

  • 支持手动清理识别结果,停用数据分类时,可选是否同步删除该分类已生成的识别结果及所有相关识别记录。

  • 支持手动运行单条识别规则。

元数据采集

  • 元数据采集源新增支持ClickHouse、Greenplum、OceanBase数据源。

  • 新增支持Quick BI仪表板采集,可查看仪表板基础信息及属性信息,并可上架资产目录。

目录管理

  • 资产专题支持批量编辑目录名称及描述。

  • 新增支持Quick BI仪表板的上架管理。

  • 手动上架表资产时,支持批量修改相关指标的目录、标签、统计周期等属性,并可一键添加所有必填属性。

  • 支持在资产目录预览数据源表的数据。

  • 编辑资产时,使用说明支持添加图片、视频。

数据服务

  • 直连数据源API新增支持GaussDB(DWS)数据源。

  • 支持在服务单元列表查看服务单元关联的API详情。

  • 支持自定义API的数据更新频率。

标签工厂

  • 离线数据集、行为关系支持使用逻辑表作为数据来源。

  • 日期类型标签条件配置功能增强:

    • 规则组合标签、群组加工引用日期类型标签时,动态时间条件配置新增早于、早于等于、晚于、晚于等于,适用于与过去及未来时间进行条件判断。

    • 行为偏好标签、行为统计标签以及规则组合标签、群组引用行为关系时,配置动态时间段,新增支持今年、本月、本周快捷条件,动态时间基于bizdate进行计算。

    • 资产市场的标签及群组目录树增加全部节点,资产总数统计口径调整为基于筛选条件的总量。

    • 标签离线服务、群组离线服务、群组分页服务新建时,负责人下拉框支持搜索。

    • 实时标签版本列表增加测试按钮,提交前需进行测试。

OpenAPI

新增支持数据服务OpenAPI。

OpenAPI门户-Dataphin

202503

对应发布的产品版本:V4.5.3

北京、杭州、深圳、上海:20250320日发布。

功能名称

功能描述

相关文档

管理控制台

Dataphin共享模式(全托管版)新增2RAM管理权限点:具体如下:

  • DataphinOpenAPIReadOnlyAccess:支持调用只读的DataphinOpenAPI。

  • DataphinOpenAPIFullAccess:支持调用所有DataphinOpenAPI及修改控制台的AccessKeyAccessSecret。

说明

除拥有上述的其中一个权限点之外,还需具有对应API的操作权限,才能调用DataphinOpenAPI。

管理控制台介绍

元数据中心

新增元数据变更版本记录功能,支持根据计算源表和数据源表配置保存的历史版本及版本数,降低存储成本。

元数据变更记录

202502

对应发布的产品版本:V4.5

北京:20250211日发布。

杭州、深圳:20250213日发布。

上海:20250216日发布。

功能名称

功能描述

相关文档

管理控制台

Dataphin管理控制台Access Key、Secret Key配置需具备ListUsers、GetAccountAlias权限。

管理控制台介绍

项目角色管理

自定义项目角色新增项目质量管理-质量规则管理权限点;系统角色(除标签项目角色外)支持编辑、新增、取消项目质量管理-质量规则管理权限点。

附录:全局和项目角色权限说明

全局角色管理

自定义全局角色新增质量规则-管理、规则模板-管理、知识库-管理权限点。

数据源

支持测试GreenplumFTP数据源与外部调度集群的连通性。

审批模板

针对注册密钥时仅负责人可管理的密钥,增加仅负责人可管理的密钥权限申请审批模板。

查看及配置内置审批模板

离线集成

  • 整库迁移目标端支持读取或写入MaxCompute Delta表、新增支持SelectDBDoris数据源,并可一键建表。

  • 当输入组件为MySQL且来源表量为多表时,支持选择多个不同的数据库、多个数据表同步数据,满足分库分表的场景。

  • 逻辑表输入组件关联字段支持全选和反选功能。

离线研发

  • 数据库SQL新增支持AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、GaussDB(DWS)数据源。

  • 当调度周期选择小时,支持时间段、整点、自定义时间点、自定义时间段的不同调度频次。

  • 条件调度功能升级,支持通过运行日期、运行时间控制不同日期及时间段生成的实例的调度方式;支持按照运行日期预览调度计划。

  • Pyodps任务提交到MaxCompute后,系统会自动上报与SQL任务相同的Dataphin元数据,可在MaxCompute console中定位到该任务,便于成本考核。

  • 在生产环境中运行手动任务,支持全局变量自动替换值。

  • 在开发环境运行代码时,运行日志中对账号密码全局变量值进行脱敏。

  • 在线安装/升级Python三方包支持指定module的版本。

资产清单

血缘图整体样式升级,支持查看存在循环依赖的对象血缘关系,支持快速搜索已展开的血缘图内的节点。

Dataphin资产详情

数据安全

  • 基于血缘关系自动继承识别结果时,仅基于直接血缘关系进行计算,过滤关联血缘,以提升识别准确性。

  • 数据分级定义相关的字符数限制放大,分级名称字符提升至128个;分级缩写字符提升至64个;分级描述字符提升至2048个。

元数据中心

  • 新增支持MySQL、AnalyticDB for MySQL 3.0、PolarDB-X(原DRDS)、StarRocks数据源采集同一个数据源下的全部Database或指定Database下的数据。

  • 来源系统支持配置系统类型,可用于系统血缘关系的构建。

资产目录

  • 新增API对象列表,支持按照API专题或目录进行查看。

  • 资产筛选优化,支持根据不同对象类型的属性结合筛选条件,快速筛选资产,以实现灵活筛选。

  • 表、指标资产列表优化,支持自定义展示不同资产对象列表的信息列,快速获取更多所需信息,简化资产查找。

  • 表、指标资产编辑时开启血缘关系、质量概况、元数据变更(仅表资产支持查看),可在资产目录详情查看相关信息。

    • 血缘关系:支持查看系统、表、字段的血缘链路图;支持切换查看某个系统节点包含的指定表的表血缘、或某个表节点包含的指定字段的字段详情;支持隐藏暂未上架或已上架但无查看权限的节点;支持查看已上架到资产目录的表、指标资产的概要信息,并可快捷跳转查看详情。

    • 质量概况支持查看表、指标资产的质量概况。可查看指定字段在质量六性维度下的质量分概况以及表、指标资产的规则统计和规则校验记录。

    • 元数据变更:支持查看表资产任意两个版本之间的变更记录,若最近一次变更包含字段结构变更,可查看本次变更可能产生的下游影响,以便及时通知下游相关人员进行调整适配。

目录规划

新增支持批量导入导出资产专题功能,可基于系统模板,填写配置信息后,将线下已梳理的内容批量导入Dataphin,也可将已有的资产目录配置下载至本地,修改后再进行导入。

批量导入导出资产专题

资产上架-手动上架

新增支持批量导入导出表、指标资产功能, 支持批量下载当前资产配置的Excel模板,更新后再重新批量导入Dataphin系统;并可在批量操作记录中,针对导入操作失败的对象,一键下载异常记录。

批量导入导出资产

资产上架-自动上架

  • 新增支持暂不上架类型的规则,可用于将指定范围的资产自动从准资产状态变更为暂不上架状态,从而降低资产管理复杂度

  • 支持手动执行、终止单条自动上架规则。

  • 新增自动上架规则配置及生效逻辑说明引导。

数据服务

  • 优化脚本模式API,支持单值、多值参数值类型;针对Like操作符,支持模糊匹配、右匹配、左匹配。

  • 支持API在发布上线前进行联调和测试。

  • 调用说明优化,支持展示文档大纲;支持上传或隐藏调用示例中的Java SDK、调用说明。

  • 直连数据源和SQL模式的API支持将试运行结果回填为API示例值。

  • API查看、编辑、测试、调试、文档页面可快捷切换其他API。

  • 支持批量发布API,不包括逻辑表API。

标签工厂

  • 离线标签新增支持计算标签,基于已有标签通过关系操作、函数构建标签计算逻辑等可视化方式将标签计算结果作为标签值

  • 规则组合离线标签支持再次嵌套组合标签,进行标签的二次加工。

  • 标签离线服务支持导出行为偏好标签及其关联的码表信息。

  • 标签及群组离线服务支持批量导出所选中的标签值或代码描述。

  • 离线数据集的调度依赖支持调整依赖策略,如依赖全部实例、最后一个实例等。

  • 标签码表的码值数量拓展至500。

跨租户发布

跨租户发布引用了Python三方包的任务时,可使用与目标租户相同Python版本、相同module名称的三方包,可省去Python三方包的跨租户发布。