AI 助理
备案控制台
官方文档
输入文档关键字查找
首页 智能数据建设与治理 Dataphin 智能数据建设与治理Dataphin-独享模式（半托管版） 产品概述 动态与公告 功能更新动态 功能更新动态（2025年）--独享模式（半托管）

功能更新动态（2025年）--独享模式（半托管）

更新时间：
产品详情
我的收藏

本文将为您及时同步2025年的Dataphin（半托管版）发布信息。

2025年07月

对应发布的产品版本：V5.2

发布时间：2025年07月04日。

发布地域：北京、上海、深圳、杭州、新加坡、法兰克福。

功能名称

功能描述

相关文档

计算引擎

新增支持AnalyticDB for PostgreSQL 7.x作为离线计算引擎。

基础设置

新增基础设置功能，支持配置租户级别的调度时区，设置后任务的调度时间将按照所设置的时区进行调度。

基础设置

数据源管理

  • 新增支持TDSQL for MySQL数据源。

  • Hive数据源的版本为EMR5.x Hive 3.1.x，支持配置Iceberg数据湖表格式，支持Spark配置。

  • Oracle数据源主机模式下支持设置多个IP。

  • 支持设置MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、Amazon Redshift、Databricks数据源默认时区，将根据数据源配置的时区对集成任务中的时间格式数据进行处理。

权限管理

支持按照项目粒度开启离线计算函数的权限控制，开启后，跨项目引用本项目的自定义函数时，需要申请使用权限。

计算源

  • 当计算引擎为E-MapReduce5.x时，创建Hadoop计算源支持配置Iceberg数据湖表格式。

  • 仅当Flink版本为Flink 1.14及Flink 1.15，基于Yarn模式创建Flink计算源时，支持使用Aliyun OSS作为CheckPoint存储。

离线研发

  • 新增支持离线调度模板功能，计算任务调度、集成任务调度、逻辑表调度、派生指标和离线数据集对象根据引用的调度模板进行任务调度。

  • 数据库SQL新增支持DM（达梦）和openGauss数据源。

  • 表管理新增支持AnalyticDB for PostgreSQL和GaussDB（DWS）计算引擎。

  • 不同引擎支持的语法扩展：

    • MaxCompute新增支持SELECT * except(<column>)、SELECT * replace(<column>)语法。

    • Databricks新增支持SELECT * except(<column>)语法。

    • GaussDB（DWS）新增支持create temporary table语法。

    • AnalyticDB for PostgreSQL新增支持call <project_name>.<procedure_name>语法，用于调用存储过程。

离线集成

  • 新增支持TDSQL for MySQL数据源，可用于创建输入输出组件及作为整库迁移来源端。

  • 整库迁移目标端为Hive（版本为EMR5.x Hive 3.1.x），支持选择Iceberg湖表格式以及选择建表执行引擎。

  • Hive输出组件支持一键建表以及配置Hadoop参数，用于写入任务自定义参数调优；Databricks输出组件加载策略新增覆盖数据和更新数据配置项；Microsoft SQL Server、AWS RDS for SQL Server/PostgreSQL、PostgreSQL、达梦（DM）输出组件加载策略新增主键冲突时更新配置项。

  • API输入组件请求次数为多次请求时，支持选择分页循环和参数便利循环两种模式。

  • 支持根据输入和输出组件数据源上的时区信息，对时间类型的数据进行跨时区转换。

实时集成

  • 实时集成至Databricks时，DDL策略支持新建列配置项；当来源数据源为MySQL和PostgreSQL时，支持跨时区的时间字段数据转换。

  • 新增支持SelectDB作为目标端的实时集成。

  • 实时集成至Hive时，若Hive数据源版本为EMR5.x Hive 3.1.x且开启湖表格式，支持将数据写入Iceberg。

元数据中心

新增支持SelectDB、Doris、DM（达梦）采集源。

创建及管理元数据采集任务

资产目录/目录管理

业务指标新增支持基于已添加的相关指标通过运算逻辑形成指标关系图，直观呈现各指标间的加工逻辑，并可在资产目录查看指标关系图。

数据服务

  • 新增支持网关超时时间配置，仅当网络配置为阿里云公共云API网关时支持配置，用于监控API的调用时长。

  • 数据服务新增支持Amazon Redshift和Databricks数据源，其中，Amazon Redshift数据源可用于异步和同步调用模式创建直连数据源API和服务单元的数据源，Databricks仅可用于异步调用模式创建直连数据源API。

  • 直连数据源API和服务单元API若开启行级权限，则可根据引用的数据源或服务单元自动进行行级权限管控。

  • 数据服务支持直连模式和代理模式调用API，若API关联了行级权限，则根据调用模式确认鉴权方式，直连模式使用应用调用API；代理模式则使用应用代理用户的行级权限调用API。

  • 应用调用API时，根据DelegationUid决定代理模式，若DelegationUid参数未设置/为空，则使用直连模式调用API；若DelegationUid非空，则使用代理模式调用API。

Dataphin JDBC

使用代理模式的认证方式，支持通过Set语句传入本次会话的用户信息（dp_delegation_uid或dp_delegation_name），从而实现动态鉴权。

通过JDBC连接Dataphin

元数据共享模型

节点+输入表+输出表粒度血缘关系表dim_dataphin_lineage_node_table、输入表+输出表粒度血缘关系表dim_dataphin_lineage_table、节点+输入表+输入字段+输出表+输出字段粒度血缘关系表dim_dataphin_lineage_node_column，新增数据源表相关的血缘数据信息。

OpenAPI

新增GetStreamJobs，支持根据项目ID以及环境查询实时任务列表。

OpenAPI列表

2025年05月

对应发布的产品版本：V5.1

发布时间：2025年05月15日。

发布地域：北京、上海、深圳、杭州、新加坡、法兰克福。

功能名称

功能描述

相关文档

计算设置

新增支持Amazon EMR作为离线计算引擎。

设置Dataphin实例的计算引擎为Amazon EMR

样式设置-菜单设置

新增菜单设置功能，可自定义菜单并调整菜单顺序，满足客户个性化需求。

菜单设置

成员管理

新增开启跨租户发布模式权限点，具有该权限点的用户支持开启跨租户发布的运维模式。

附录：全局和项目角色权限说明

权限管理

支持对同一张表的多个字段进行组合管控，更加灵活地控制数据透出。

添加及管理行级权限

数据源

  • 数据源无需测试连接通过即可保存，系统将在后台为您进行数据源的测试连接。

  • 新增支持Amazon Redshift、Amazon RDS for PostgreSQL、Amazon RDS for MySQL、Amazon RDS for SQL Server、Amazon RDS for Oracle、Amazon RDS for DB2数据源。

  • CDP7.x Hive 3.1.3版本的Hive数据源开启Hudi数据湖表格式后支持配置Spark信息。

  • API数据源支持OAuth 2.0认证，支持API调用时动态获取Token。

  • 支持设置MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、Databricks数据源默认时区，将根据数据源配置的时区对集成任务中的时间格式数据进行处理。

跨租户发布

跨租户发布数据源时，支持批量设置JDBC URL的替换规则。

管理全局待发布对象

项目管理

配置Dev-Prod模式项目的发布审批时，支持引用自定义审批模板，以配置多节点审批流。

创建通用项目

计算源

Ververica Flink计算源支持手动填写地域ID。

新建Ververica Flink计算源

离线集成

  • 整库迁移支持设置开发任务调度资源组。

  • 离线管道输入组件、输出组件、整库迁移来源端新增支持Amazon Redshift、Amazon RDS for PostgreSQL、Amazon RDS for MySQL、Amazon RDS for SQL Server、Amazon RDS for Oracle、Amazon RDS for DB2数据源。

  • 当Hive输入/输出组件读取或写入Iceberg文件格式的表时，支持隐藏分区表；当Hive输出组件当选择Hudi湖表格式时，支持一键建Hudi表。

  • AnalyticDB for PostgreSQL输出组件一键建表时，支持DISTRIBUTED BY语句。

  • API输入/输出组件支持自定义签名规则，支持根据时间戳、随机数及请求参数使用MD5HEX和HMAC系列函数生成动态签名。

实时集成

  • 实时集成到Hudi时支持选择Hudi表类型MOR或COW；支持Decimal类型的精度跟随来源表，不再使用默认的精度。

  • 实时集成增全量一体支持MySQL到Hudi。

  • 实时集成增全量一体支持表级运维，支持在同一个实时集成任务中停止任意表的全量同步时不影响其他表的增全量同步。

  • 支持根据Flink配置的时区进行位点转换及延时计算，避免因时区问题导致数据丢失。

  • 实时集成增全量一体任务支持含有关键字或特殊字符。

离线研发

  • 在开发环境运行任务，可申请全局变量权限。

  • Dev-Prod环境中，已发布到生产环境的对象（计算任务，集成任务，逻辑表，指标等）需先在开发环境下线，再在待发布对象中将该下线操作发布到生产环境，才能删除开发对象；也可在研发平台设置为原有配置。

  • 支持在任务级配置超时失败是否自动重跑；新建计算任务时支持配置顶部默认注释。

  • 数据库SQL新增支持Microsoft SQL Server和Hologres数据源。

  • GaussDB（DWS）数据库SQL执行时遇到语法错误，不阻断执行，使用数据源执行权限执行原始SQL。

  • Databricks新增支持create or replace table、lateral view语法和::操作符。

  • 针对Dataphin默认集群无法连通的数据源支持在分析中创建数据库SQL。

  • Databricks SQL任务升级，支持根据不同环境指定任务级别的HTTP Path；经系统翻译后不改变输入时的大小写。

  • Databricks的元数据支持通过UnityCatalogAPI获取，不再使用JDBC读取information_schema。

实时研发

  • 元表选择Hudi数据源时，支持识别主键及分区字段，编写Flink SQL时无需手动指定主键及分区字段。

  • Flink SQL支持使用Catalog的Iceberg表。

  • 开源Flink引擎下实时研发Flink版本支持1.20。

任务运维

  • 系统根据登录用户的权限展示对应的任务和实例列表，以取消项目隔离。

  • 运维周期实例列表增加实例ID、重试次数和自动重试次数信息；运维周期任务详情增加代码版本和版本对比；运维离线实例详情增加CPU和内存消耗信息。

  • 需开通智能运维。运维周期实例可查看DAG图中上下游之间任意两个实例节点间的运行甘特图。

  • 运维周期实例、补数据实例支持修改实例优先级。

  • 运维周期实例支持下载实例列表或筛选后的实例列表。

  • 运行手动任务支持选择日期范围，一次性生成多个手动实例。

  • 调度资源大盘支持查看当前租户、自定义资源组的资源分配消耗趋势，支持导出待优化任务列表。

  • 实时任务优化，任务告警调整为每分钟一次，可避免因不同错误类型导致频繁告警。

资产清单

在治理 > 元数据 > 探查及分析开启了数据源表的数据探查，可在资产清单详情页发起数据探查，并查看探查报告。

数据源表详情

数据标准

新增支持从表引入定义方式创建码表，可引用有select权限的计算源/已采集的数据源表作为来源快速创建码表，可手动编辑已获取的码值或重新基于引用配置全量更新码值。

创建及管理标准代码（码表）

数据质量

  • 全域质量监控规则新增支持Amazon Redshift、Amazon RDS for PostgreSQL、Amazon RDS for MySQL、Amazon RDS for SQL Server、Amazon RDS for Oracle、Amazon RDS for DB2数据源。

  • 添加全域表监控对象时，新增支持db/schema配置，支持选择同一数据源下不同db/schema 下的表作为监控对象。

  • 数据源监控规则支持所有数据源类型配置数据源连通性监测模板。

  • 针对与Dataphin默认集群无法连通的数据源，需要先创建元数据采集任务，成功获取到元数据后，才可以创建全域质量规则；SAP HANA和IBM DB2数据源暂不支持。

元数据采集

  • 新增支持Amazon Redshift、Amazon RDS for PostgreSQL、Amazon RDS for MySQL、Amazon RDS for SQL Server、Amazon RDS for Oracle、Amazon RDS for DB2采集源。

  • 新增支持数据源表的探查配置，可为已采集到且支持数据源探查及指标分析的数据源类型发起探查，并可在资产清单和资产目录详情页查看已生成的探查报告。

资产目录

  • 新增支持业务指标的资产详情展示。

  • 技术支持新增支持数据类型、度量单位、是否可累加、相关业务指标属性信息展示。

  • 支持在资产清单详情页查看发起的数据探查任务对应的数据源表/自定义指标的探查报告。

  • 指标资产新增指标关系图，面向业务人员展示可视化且更清晰的指标拆解关系。

目录管理

  • 新增支持业务指标的上架管理。

  • 技术支持新增支持数据类型、度量单位、是否可累加、相关业务指标属性信息。

  • 数据源表/自定义指标新增支持数据探查报告权限控制。

数据服务

  • 直连数据源/服务单元同步模式创建API新增支持Amazon RDS for PostgreSQL、Amazon RDS for MySQL、Amazon RDS for SQL Server、Amazon RDS for Oracle数据源；直连数据源异步模式创建API新增支持MaxCompute数据源。

  • 测试/调试API新增支持异步调用模式API，并记录在调用明细日志，可在运维大盘中进行监控。

  • 功能优化，支持修改API名称，全局实时生效；API文档的Host新增域名信息；直连数据源和通过SQL模式创建API时，请求参数和返回参数支持批量操作，支持将SQL试运行结果回填至参数示例值。

元数据共享模型

  • Dlink任务表dim_dataphin_dlink_node新增reader_schema_name、writer_schema_name字段，可记录读取、写入数据库的schema名称。

  • 新增实时任务统计信息表dim_dataphin_stream_task，可获取实时任务的基本信息和资源配置的信息。

  • 新增实时任务关联表dim_dataphin_stream_task_related_table，可查看实时任务所关联的输入表和输出表信息。

  • 新增实时任务提交记录全量表fct_dataphin_stream_task_submit_record_df，可查看实时任务提交记录。

OpenAPI

  • 新增返回字段，实时任务状态status；支持修改GetJobInfo。

  • 行级权限更新，V5.1版本之前的OpenAPI将不再使用，可使用新版的OpenAPI，详情如下：

    • DeleteRowPermission，删除行级权限。

    • GetAccountByRowPermissionId，根据行级权限ID获取某一行级权限下的所有授权账号。

    • ListRowPermission，分页查询行级权限。

    • ListRowPermissionByUserId，分页查询指定用户行级权限。

    • UpdateRowPermission，更新行级权限。

    • CreateRowPermission，创建行级权限。

  • 新增GetTableLineagebyNodeId，根据任务ID查询相关的表血缘。

  • 新增GetColumnLineagebyNodeId，根据任务ID查询相关的字段血缘。

OpenAPI列表

2025年02月

对应发布的产品版本：V5.0

发布时间：2025年02月28日。

发布地域：北京、上海、深圳、杭州、新加坡、法兰克福。

功能名称

功能描述

相关文档

计算设置

  • 新增支持Databricks作为离线计算引擎。

  • 分析平台支持使用GaussDB（DWS）计算引擎执行SQL查询任务和Notebook任务。

全局角色管理

系统内置角色（除了超级管理员外）支持编辑权限点。

全局角色管理

资源设置

在K8s集群下，支持设置租户和资源组的可用范围，以提高集群的资源利用率。

资源组中的空闲资源支持被其他资源组借用，若当前资源组需要，可通过排队等待的方式回收借出的资源。其中，所借用后的资源总量不能超过所设置的资源上限。

新建自定义资源组

数据源管理

  • 自定义数据源（非关系型数据库）支持读写的JAR包大小扩展至200M。

  • 创建Doris数据源时，FE节点支持输入HTTPS协议。

  • 支持设置数据源的默认资源组，用于运行与数据源相关的任务，包括：数据库SQL、离线整库迁移、数据预览等。

数据源管理

公共定义

公共日历的任一日期支持修改日期类型。

无

离线集成

  • 新增支持TDengine和Databricks数据源的离线集成。

  • 整库迁移支持TDengine数据源作为来源数据库，Databricks数据源作为目标数据库。

  • 离线整库迁移支持使用外部数据源作为来源数据源，需先为数据源配置元数据采集任务才能使用该数据源。

离线研发

  • 当计算引擎为Hadoop且存储类型为外部表时，支持的存储格式为Hudi、Delta Lake表；当计算引擎为MaxCompute且存储类型为内部表时，支持编辑Delta表及事务表。

  • 数据库SQL新增支持Doris和SelectDB数据源。

  • 数据开发下的左侧目录下的对象数量扩展至10000个。

  • ArgoDB新增支持merge into语法；MaxCompute新增支持json literal常量，即json '{"key":"value"}'语法。

  • 离线任务的调度依赖策略新增支持选择向前最近一个实例和向后最近一个实例。

  • 补数据任务新增支持自定义业务日期，可指定补单天数据，支持快捷选择补月末数据。

  • 补数据和补数据任务包含小时分钟任务时，支持限定补数据的时间范围，仅生成指定时间范围内的实例。

实时研发

元表新增支持Rabbit MQ数据源。

创建及管理元表

实时集成

  • 当来源数据库为MySQL，目标数据库为MaxCompute及Databricks时，支持选择实时增量+全量方式同步数据。

  • 当目标数据库为Hive时，来源数据库支持选择Kafka，仅支持选择目标端已创建的表进行数据同步，并且需要指定来源表。

  • 当计算引擎为开源Flink、阿里云实时计算Flink（Flink VVP）时，资源配置新增支持Job Manager CPU、Job Manager Memory、Task Manager CPU 、Task Manager Memory（原内存配置）参数配置。

  • 数据实时集成至Hudi（Hive数据源选择Hudi数据湖格式），数据刷新周期支持选择秒级，完成实时刷新。

资产清单

新增支持查看集成任务相关的字段血缘，元数据采集的数据源类型，支持查看对应集成任务生成的字段血缘，并可查看全量数据源的表级血缘。

数据标准

  • 标准落标监控配置优化：针对系统属性，可选是否添加内置的落标监控配置。

  • 编辑数据标准时，可同步编辑关联标准和关联文档。

  • 码表及词根的系统限制放大，支持创建10万张码表、10万个词根。

数据安全

  • 新增支持添加数据源表识别结果，可通过手动添加或批量导入方式进行添加。

  • 支持配置识别规则的扫描范围，选择是否包含视图对象，开启后可自动针对视图进行分类分级打标，若未开启，可手动添加视图对象的识别结果。

  • 支持停用数据分类，针对停用数据分类已生成的识别结果，支持保留或删除当前生效的识别结果及该字段的所有识别记录。

  • 支持手动运行单条识别规则。

元数据采集

  • 元数据采集源新增支持ClickHouse、Greenplum、OceanBase数据源。

  • 新增支持Quick BI仪表板采集，可查看仪表板基础信息及属性信息，并可上架资产目录。

目录管理

  • 新增支持Quick BI仪表板的上架管理。

  • 手动上架表资产时，支持批量修改相关指标的目录、标签、统计周期等属性，并可一键添加所有必填属性。

  • 支持在资产目录预览数据源表的数据。

  • 编辑资产时，使用说明支持添加图片、视频。

  • 资产专题支持批量编辑目录名称及描述。

数据服务

  • 直连数据源API新增支持GaussDB数据源。

  • 支持查看基于服务单元开发的API。

  • 支持自定义API的数据更新频率。

标签工厂

  • 离线数据集、行为关系支持使用逻辑表作为数据来源。

  • 日期类型标签条件配置功能增强：

    • 规则组合标签、群组加工引用日期类型标签时，动态时间条件配置新增早于、早于等于、晚于、晚于等于，适用于与过去及未来时间进行条件判断。

    • 行为偏好标签、行为统计标签以及规则组合标签、群组引用行为关系时，配置动态时间段，新增支持今年、本月、本周快捷条件，动态时间基于bizdate进行计算。

  • 功能体验优化：

    • 资产市场的标签及群组目录树增加全部节点，资产总数统计口径调整为基于筛选条件的总量。

    • 标签离线服务、群组离线服务、群组分页服务新建时，负责人下拉框支持搜索。

    • 实时标签版本列表增加测试按钮，提交前需进行测试。

元数据共享模型

  • 物理表dim_dataphin_table及资产清单表dim_dataphin_mdc_object新增table_location字段，便于查询表的存储路径。

  • 数据源表dim_dataphin_data_source新增tag_name_list（数据源标签）字段。

  • 安全识别记录表dim_dataphin_security_label新增如下字段：data_source_id（数据源ID）、datasource_name（数据源名称）、data_source_type（数据源类型），便于获取数据源表识别结果的更多信息。

OpenAPI

  • 当修改SearchDataSourceConfig接口，返回值增加customizedType，当dataSourceType为CUSTOMIZED时有值，值为自定义数据源类型编码CUSTOM_XXX。

  • 当修改GetOnlineFeatureById接口，返回值dataUpdateDate更新策略调整为主动更新，无需再在资产详情页触发更新。

OpenAPI列表

2025年02月

对应发布的产品版本：V4.5

发布时间：2025年02月11日。

发布地域：北京、上海、深圳、杭州、新加坡、法兰克福。

功能名称

功能描述

相关文档

售卖

针对已购买的Dataphin实例，支持升级配置，如果您已购买智能研发版的数据处理单元和资产质量的最高规格，且已开通所有可选增值功能包，则不支持升级配置操作。

租户设置

开通域内质量或全域质量，均可创建数据源监控规则。

租户设置

计算设置

  • 新增支持华为GaussDB（DWS）作为计算引擎。

  • 支持在Lindorm计算源中配置生产任务和开发任务的运行队列，生产任务默认采用Connection级别的连接。

设置Dataphin实例的计算引擎为GaussDB（DWS）

项目角色管理

自定义项目角色新增项目质量管理-质量规则管理权限点；系统角色（除标签项目角色外）支持编辑、新增、取消项目质量管理-质量规则管理权限点。

附录：全局和项目角色权限说明

全局角色管理

自定义全局角色新增质量规则-管理、规则模板-管理、知识库-管理权限点。

数据源

支持测试Greenplum和FTP数据源与外部调度集群的连通性。

审批模板

针对注册密钥时仅负责人可管理的密钥，增加仅负责人可管理的密钥权限申请审批模板。

查看及配置内置审批模板

离线集成

  • 整库迁移目标端支持读取或写入MaxCompute Delta表、新增支持SelectDB和Doris数据源，并可一键建表。

  • 整库迁移目标端支持读取和写入Hudi表，支持选择配置了Hudi表格式的Hive数据源（当前仅CDP7.x Hive3.1.3支持Hudi）。

  • 当输入组件为MySQL且来源表量为多表时，支持选择多个不同的数据库、多个数据表同步数据，满足分库分表的场景。

  • 逻辑表输入组件关联字段支持全选和反选功能。

实时集成

  • 实时集成目标端为Hudi，默认建表支持使用Spark语法且表类型为MOR，包含RO、RT、原表三种类型。

  • 写入MaxCompute时支持根据采样结果动态调整MaxCompute并发数，资源利用更合理。

  • 当调整一键建表时，Hudi表的分区路径为：yyyy=xxxx/mm=xx/dd=x/hh=xx/。

离线研发

  • 支持通过在Spark客户端上传并提交Spark批任务，实现Spark批任务的高可用与全生命周期管理。

  • 数据库SQL新增支持AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、GaussDB（DWS）数据源。

  • 当调度周期选择小时，支持时间段、整点、自定义时间点、自定义时间段的不同调度频次。

  • 条件调度功能升级，支持通过运行日期、运行时间控制不同日期及时间段生成的实例的调度方式；支持按照运行日期预览调度计划。

  • 在Python任务中可以引用的Python三方包提交到 MaxCompute后，系统会自动上报与SQL任务相同的 Dataphin元数据，可在MaxCompute console中定位到该任务，便于成本考核。

  • 在生产环境中运行手动任务，支持全局变量自动替换值。

  • 在开发环境运行时，运行日志对账号密码全局变量进行脱敏。

  • Spark SQL任务通过Livy和kyuubi服务，可在Yarn上正常展示Dataphin上报的application name。

  • 在线安装/升级Python三方包支持指定module的版本。

实时研发

  • 支持Hive数据源的Hudi数据湖表格式作为元表数据来源，当选择Hudi表时将使用dp-Hudi Connector。

  • 支持Hudi数据源跨集群写入，适用于Flink所在集群无认证而Hudi数据源有认证的场景。

  • dp-Hudi Connector将使用数据源上的认证信息进行数据写入（该方式需要在Hive数据源注册时上传hive-site.xml）。

创建及管理元表

资产清单

血缘图整体样式升级，支持查看存在循环依赖的对象血缘关系，支持快速搜索已展开的血缘图内的节点。

Dataphin资产详情

数据安全

  • 基于血缘关系自动继承识别结果时，仅基于直接血缘关系进行计算，过滤关联血缘，以提升识别准确性。

  • 数据分级定义相关的字符数限制放大，分级名称字符提升至128个；分级缩写字符提升至64个；分级描述字符提升至2048个。

元数据中心

  • 新增支持MySQL、AnalyticDB for MySQL 3.0、PolarDB-X（原DRDS）、StarRocks数据源采集同一个数据源下的全部Database或指定Database下的数据。

  • 来源系统支持配置系统类型，可用于系统血缘关系的构建。

资产目录

  • 新增API对象列表，支持按照API专题或目录进行查看。

  • 资产筛选优化，支持根据不同对象类型的属性结合筛选条件，快速筛选资产，以实现灵活筛选。

  • 表、指标资产列表优化，支持自定义展示不同资产对象列表的信息列，快速获取更多所需信息，简化资产查找。

  • 表、指标资产编辑时开启血缘关系、质量概况、元数据变更（仅表资产支持查看），可在资产目录详情查看相关信息。

    • 血缘关系：支持查看系统、表、字段的血缘链路图；支持切换查看某个系统节点包含的指定表的表血缘、或某个表节点包含的指定字段的字段详情；支持隐藏暂未上架或已上架但无查看权限的节点；支持查看已上架到资产目录的表、指标资产的概要信息，并可快捷跳转查看详情。

    • 质量概况：支持查看表、指标资产的质量概况。可查看指定字段在质量六性维度下的质量分概况以及表、指标资产的规则统计和规则校验记录。

    • 元数据变更：支持查看表资产任意两个版本之间的变更记录，若最近一次变更包含字段结构变更，可查看本次变更可能产生的下游影响，以便及时通知下游相关人员进行调整适配。

资产消费

  • 新增电子表格消费渠道，可选择有权限的表快速跳转创建电子表格。

  • 在创建消费任务时，默认填充工作空间，提升易用性。

  • 支持设置表结构变更时，是否自动更新已经在Quick BI平台创建的Dataphin数据集定义，以实现表结构的动态更新。

  • 支持查看基于当前最新表结构在Quick BI创建对应的Dataphin数据集的SQL定义语句，以便在表结构变更时可手动更新相关数据集定义。

目录规划

新增支持批量导入导出资产专题功能，可基于系统模板，填写配置信息后，将线下已梳理的内容批量导入Dataphin，也可将已有的资产目录配置下载至本地，修改后再进行导入。

批量导入导出资产专题

资产上架-手动上架

新增支持批量导入导出表、指标资产功能， 支持批量下载当前资产配置的Excel模板，更新后再重新批量导入Dataphin系统；并可在批量操作记录中，针对导入操作失败的对象，一键下载异常记录。

批量导入导出资产

资产上架-自动上架

  • 新增支持暂不上架类型的手动上架规则，可用于将指定范围的资产自动从准资产状态变更为暂不上架状态，从而降低资产管理复杂度

  • 支持手动执行、终止单条自动上架规则。

  • 新增自动上架规则配置及生效逻辑说明引导。

数据服务

  • 优化脚本模式API，支持单值、多值参数值类型；针对Like操作符，支持模糊匹配、右匹配、左匹配。

  • 支持API在发布上线前进行联调和测试。

  • 调用说明优化，支持展示文档大纲；支持上传或隐藏调用示例中的Java SDK、调用说明。

  • 直连数据源和SQL模式的API支持将试运行结果回填为API示例值。

  • 在API查看、编辑、测试、调试、文档页面可快捷切换其他API。

  • 支持批量发布API，不包括逻辑表API。

标签工厂

  • 离线标签新增支持计算标签，基于已有标签通过关系操作、函数构建标签计算逻辑等可视化方式将标签计算结果作为标签值。

  • 规则组合离线标签支持再次嵌套组合标签，进行标签的二次加工。

  • 标签离线服务支持导出行为偏好标签及其关联的码表信息。

  • 标签及群组离线服务支持批量导出所选中的标签值或代码描述。

  • 离线数据集的调度依赖支持调整依赖策略，如依赖全部实例、最后一个实例等。

  • 标签码表的码值数量拓展至500。

跨租户发布

跨租户发布引用了Python三方包的任务时，可使用与目标租户相同Python版本、相同module名称的三方包，可省去Python三方包的跨租户发布。

无

元数据共享模型

  • dim_dataphin_table表新增如下字段：last_access_time（最近访问时间）、tag_list（资产清单中配置的资产标签）、storage_format（表存储格式）、favorites_count（收藏次数）、pv_count（浏览次数），并提供表访问次数的统计方式说明，便于获取更多资产详情信息用于统计分析。

  • 新增上架资产信息表dim_dataphin_mdc_list_object，包括已上架状态的资产的来源、归属目录、资产标签、可见范围等信息。

  • 新增全量准资产对象表dim_dataphin_mdc_object、全量准资产字段表dim_dataphin_mdc_column，当前包括物理表、逻辑表和数据源表，可通过字段asset_sub_type查看资产的类型。

OpenAPI

  • 新增GetDirectoryTree，支持获取实时任务存储目录 。

  • 新增GetClusterQueueInfoByEnv，支持获取实时任务资源队列 。

  • 新增GetQueueEngineVersionByEnv，支持获取实时任务引擎版本 。

  • 新增CreateStreamBatchJobMapping，支持创建Flink SQL任务。

  • 新增CreatePipelineNode，支持创建数据集成管道任务。

  • 新增ListAuthorizedDataServiceApiDetails，用于查询应用已申请的API的具体字段列表。

  • 新增ListSparkClient，用于获取指定项目下Spark客户端名称列表。

OpenAPI列表

上一篇：功能更新动态下一篇：功能更新动态（2024年）--独享模式（半托管）