功能更新动态（2026年）--独享模式（半托管）

功能名称

功能描述

相关文档

超级X

• 新增支持对接自定义模型服务提供商VLLM。

• X-数据标准支持关闭数据采样。

• 智能应用

• 模型配置

基础平台

• 支持基于全局角色，精细化配置资产目录菜单的显隐，以及表、指标、API、仪表板等页签的访问权限。

• 可结合自定义菜单与URL参数配置，实现从入口到具体业务指标列表的快速跳转与直达。

• 附录：全局和项目角色权限说明

• 通过自定义菜单重构资产页面

实例部署

• Dataphin全面兼容Kubernetes 1.35版本，确保集群运行稳定性。

• 支持应用日志输出至Pod标准输出（Stdout），需联系产运团队后台开启。

• 基于AWS EC2部署的Dataphin实例，支持IAM Role鉴权，可安全访问S3/ASM，并支持在数据源中直接引用ASM密钥。

日志查询

权限管理

新增支持知识图谱-改图数据的权限管理。

• 申请、续期和交还知识图谱权限

• 授权与回收知识图谱权限

跨租户发布

• 跨租户发布新增队列中发布状态，用于区分对象的真实的发布动态。

• 跨租户发布新增支持并发发布，可同时发布同一层级的不同对象。

待发布对象

公共定义

• 财务日历的重复规则新增支持财年和财月。

• 公共日历升级优化，支持克隆日历、单个标签规则扩展至5组，单条规则支持指定36500个日期、对任意日期更改日期类型和打标签、导入标签等操作。

• 创建及管理公共日历

• 创建及管理标签

计算源

• EMR Serverless StarRocks计算源新增计算组配置，支持单个项目下根据优先级使用不同计算组。

• 实时计算源扩展兼容性，支持接入Ververica Flink存算分离版本。

创建StarRocks计算源

离线集成

• 新增支持极速同步任务类型，通过Apache Arrow格式完成数据同步，同步速度大幅提升。

• 离线集成整库迁移支持配置字段长度系数，当来源端与目标端的长度计量单位不一致时，根据长度系数避免数据超长写入失败。

• 新增支持集成一键建表模板功能，可自定义模板，快速生成符合规范的目标表DDL。

• Kafka输入组件新增取值路径配置，支持多层级消息结构及数组类型的解析；输出字段列表支持根据样例数据与取值路径快速生成，配置更便捷。

• MaxCompute输出组件支持配置SET语句，在写入目标表前执行，用于优化资源参数。

• 创建极速同步管道任务

• 集成一键建表模板

• 配置Kafka输入组件

• 配置MaxCompute输出组件

实时集成

• 新增读写高级参数配置，支持对当前任务的源端/目标端进行精细化调优（如内存缓存条数、并发度、批量提交大小等）。

• 新增任务失败告警功能，实时监控任务运行状态，异常时及时通知，保障数据链路稳定性。

• 支持在写入下游时自动注入来源表的元数据信息。添加全局字段时，可使用${database_name}、${schema_name}、${table_name}系统变量，便于数据血缘追踪与分区管理。

• 支持批量导入映射关系，可上传预先整理好的源表与目标表映射文件，快速完成大批量字段的映射配置，显著降低人工操作成本。

• 创建实时集成任务

• 实时集成资源配置

离线研发

• 数据库SQL新增支持TDengine和GBase 8a数据源。

• 逻辑表任务，StarRocks计算引擎支持小时和分钟级调度，Doris与SelectDB计算引擎支持小时级调度。

• Spark SQL新增支持lambda表达式( element -> expr or (element1, element2, ...) -> expr)；支持保持输入的表名和列表大小写不变。

• MaxCompute新增支持first_values(cols，ignore_nulls)语法。

• Dataphin支持的数据源

• 查看并编辑表规范及管控研发流程

实时研发

• Flink 1.15.x (Java 8) 引擎新增对Aliyun EMR 5.x Iceberg元数据表的兼容支持。

• Flink 1.20.x (Java 8) 引擎：Oracle CDC连接器升级至3.5版本。

• Flink 1.20.x (Java 17) 引擎：Oracle CDC连接器升级至3.6版本，并新增分区表读取能力。

• Flink 1.15.x (Java 8) 引擎新增对CDH 6.x (Hive 2.1.1) 环境下Paimon 0.8.2数据源的支持。

• 新建Session集群时，支持选择底层存储为OSS-HDFS 的 Aliyun EMR 5.x集群。

• Flink on Kubernetes任务支持查看历史日志及切换日志文件。

无

工作流

• 新增PPT文档转换算子，将对选中的PPT文件进行格式转换，支持按页拆分为PNG图片或PPT文档，同时支持整体转换为PDF文件。

• 新增知识图谱解析算子，基于大模型（LLM）从非结构化数据中解析实体与关系，并写入指定的知识图谱空间

• 新增支持在线工作流和实时工作流功能。

  • 在线工作流：将文档解析、LLM、Embedding等算子编排为HTTP API，支持非结构化数据的同步实时调用。它弥补了离线/实时工作流仅能沉淀数据资产的局限，实现与外部业务系统的无缝对接。

  • 实时工作流：面向非结构化数据处理场景，提供事件驱动的自动化能力。该方案有效解决了离线时效性不高、在线系统集成困难的问题，助力企业实现数据价值的即时释放。

• 工作流新增支持Amason S3、Lindorm（宽表）数据源。

• 视频切片和音频切片算子新增支持按对话切分配置，通过语音识别模型提取对话内容与说话时间点，按对话轮次切分并区分说话/非说话片段。

• PPT文档转换

• 知识图谱解析

• 创建及管理工作流

• 音频切片

• 视频切片

调度运维

• 支持根据上传Excel方式批量修改周期任务的运维负责人、优先级和调度资源组。

• 周期任务支持查看批量操作记录。

• 管理集成和计算任务

• 周期任务通用运维概述

数据标准

新增关联文档支持备注配置项。

创建及管理数据标准

数据质量

• 当规则校验配置，校验指标为率值（如正常率、异常率、波动率）时，支持选择=NaN。针对分母指标值为0，率值结果为NaN的情况，可避免触发告警。

• 全域数据表质量规则新增支持TDSQL for PostgreSQL数据源。

• 当数据源质量规则配置表结构异动监测规则时，支持跨schema选表。

• 质量负责人新增支持按用户组进行选择。

• 质量规则参数配置

• 创建Dataphin表质量规则

• 创建全域数据表质量规则

• 创建指标质量规则

• 创建数据源质量规则

• 创建实时元表规则

元数据中心

支持采集DataWorks血缘数据，并统一纳入Dataphin资产目录进行管理。

查看数据表资产详情

数据服务

API市场支持根据多个API分组查询API。

数据服务市场

知识图谱

• 实体及关系属性支持开启语义检索，提升非精确匹配场景下的查询准确率。

• 业务识别规则中新增语义相似度匹配策略，有效解决拼写变体、近义表达等导致的歧义问题，显著提升实体识别的召回率。

• 新增候选项审核功能，离线集成任务和知识图谱解析算子运行过程中将根据知识图谱实体上配置的业务识别规则做消岐，计算结果达到匹配阈值但又未达到自动关联阈值的将作为疑似实体进入审核池，人工确认后才会写入图谱空间。

• 实体类型与关系类型

• 业务识别规则

• 候选项审核

OpenAPI

• 租户级别超级管理员的AccessKey、SecretKey支持开启SDK1.0和SDK2.0的代理模式，系统根据传入的setOpUserID进行操作者身份指定。

• 支持在个人中心下载Python SDK。新增

• CreateBatchTask、CreatePipeline、UpdateBatchTask、UpdatePipeline：支持指定运维负责人和开发负责人。

• 新增UpdateNodeOpsOwner：支持批量更新周期任务的运维负责人和开发负责人。

• 新增ListInstances：支持标签入参。

• 新增CreateNodeSupplement：支持忽略实例定时运行时间。

• 新增CreateComputeCluster：新建计算集群。

• 新增UpdateComputeCluster：编辑计算集群。

• 新增DeleteComputeCluster：删除计算集群。

• 新增ListComputeClusters：查询计算集群列表。

• 新增GetComputeCluster：通过集群ID获取集群详情。

• 新增CreateComputeSource、UpdateComputeSource：支持新建和编辑引用集群的计算源。

• 新增UploadDataSourceFile：创建数据源和计算源时，如果需要上传文件，请先调用此接口上传文件获取FileId。

• 新增GetLlmModelProviders：获取租户下模型服务商。

• 新增GetLlmModelProviderByName：根据名称查询模型服务商详情。

• 新增GetUserByAccessKey：根据AccessKey和SecretKey获取当前用户信息。

• 新增ListApprovalTasksByUser：查询当前用户相关的所有审批任务列表。

• 新增ListQualityIssue：查询问题清单列表。

• 新增GetQualityIssue：获取单条问题详情。

• 新增UpdateQualityIssueStatus：更新问题清单状态（忽略、取消忽略、标记为已处理、打回重新处理）。

• 新增ListQualityArchiveTables：查询指定监控对象下异常归档表列表。

• 新增UpsertQualityRule：新增请求参数归档模式、归档位置，以便在创建质量规则时做异常归档配置。

• 新增UpsertQualityArchiveTable：新建、管理指定监控对象的异常归档表。

• 新增ListQualityArchiveTables：查询指定监控对象下异常归档表列表。

• 新增GetQualityArchiveTableProgress：查询异常归档表创建进度和状态。

• 新增ListSecurityClassify：分页获取某租户全部数据分类。

• 新增GetKgAuthorizedWorkspaces：查询租户下知识图谱空间列表。

• 新增ExecKgGremlin：支持将gremlin语句（lindorm图引擎查询语句）作为请求参数传入，满足图谱自定义检索。

• 新增SearchKgBySemantic：基于混合搜索（关键词+语义）的实体搜索。

• 新增GetCatalogAssetDetails：返回参数新增资产目录详情页中的表质量分。

• 新增ListAssetTopics：查询资产专题列表。

• 新增ListAssetDirectories：查询资产目录列表。

• 新增ListCatalogAssets：请求参数新增归属目录。

• 新增ListTables（SDK2.0）：扩展为查询所有类型的表。

• 新增GetAssetTypeAttributeCodes：查询资产属性定义。

• 新增UpdateAssetAttributes：更新资产属性值。

• 新增GetAssetAttributes：查询资产属性值。

• 新增SubmitAssetsOnShelve：上架指定资产。

• 新增SubmitAssetsOffShelve：下架指定资产。

OpenAPI列表

功能名称

功能描述

相关文档

售卖

新增非结构化数据、知识图谱、数据操作增强、数据查询加速售卖，针对多样化的业务需求，提供灵活多样的选择。

• 非结构化数据支持选择的规格为标准版、标准版+自有模型基础授权、标准版+自有模型基础授权+高级授权、标准版+高级拓展包、标准版+高级拓展包+自有模型基础授权、标准版+高级拓展包+自有模型基础授权+高级授权。

• 知识图谱、数据操作增强、数据查询加速支持选择的规格为标准版。

• 计费说明--半托管

• 开通Dataphin--半托管

基础平台

系统支持在选择钉钉OA审批时，可配置钉钉的UID，用于统一维护员工的钉钉账号，及使用钉钉原生审批流。

• 审批设置

• 管理Dataphin成员

数据源管理

新增支持Milvus 2.6.x数据源。

创建Milvus数据源

离线集成

• DataHub输入组件新增Blob类型主题，自动输出shardId、systemTime及Base64编码后的Base64Data字段，便于后续解析。

• 飞书多维表格输入组件数据写入优化，批量写入条数扩展至1000条；支持获取100+字段并且记录同步将不再限制10000条。

• Kafka输入组件将数据写入MaxCompute Delta表支持顺序写入，确保目标表中相同主键仅保留一条记录，避免数据重复。

• Elasticsearch输入组件的Date字段为空值，写入下游表也为空值，保证数据一致性。

• 配置Milvus输入组件

• 配置Milvus输出组件

• 配置DataHub输入组件

• 配置飞书多维表格输入组件

• 配置Kafka输入组件

• 配置Elasticsearch输入组件

实时集成

• 优化Hologres行存表Delete性能及0x00字符处理，提升实时写入效率并避免特殊字符导致失败。

• 支持自定义Flink配置，满足更灵活的作业调优需求。

• 新增支持Oracle系统的Shema的读取，扩展Oracle数据源使用范围。

• 写入目标表时支持添加全局字段，可将当前时间戳统一写入目标表，便于数据血缘追踪与增量识别。

无

离线研发

• 离线计算任务支持根据一级目录进行权限管控，可公开或指定成员查看该一级目录下的计算任务。

• 离线物理表新增支持StarRocks、Doris和SelectDB数据源。

• 数据库SQL新增支持TDSQL for MySQL、TDSQL for PostgreSQL、ClickHouse v20/v21（v23+之前版本）数据源。

• 支持设置全局SQL参数（set参数）。

• Doris新增支持ceate table ... index ... using inverted、CREATE MATERIALIZED VIEW ... build immediate、create index语法。

• 计算任务

• 创建并编辑离线物理表

• 创建数据库SQL任务

实时研发

• 新增支持读取Kafka JSON格式消息体，提升半结构化数据处理能力。

• 开源Flink扩展数据源兼容，1.15.x/1.20.x支持RocketMQ元表、读取、写入及维表读取；1.20.x支持TDSQL PostgreSQL元表、CDC读取、JDBC读取和写入，以及支持JDBC写入SQL Server。

Dataphin支持的实时数据源

数据质量

• 质量规则新增支持运行配置，支持设置超时自动终止与失败自动重试质量规则。

• MaxCompute或Hadoop系列的计算源表支持配置自定义异常归档表的最大归档数。

• 创建Dataphin表质量规则

• 创建全域数据表质量规则

• 创建指标质量规则

• 创建数据源质量规则

• 创建实时元表规则

元数据中心

• 新增支持TDSQL for PostgreSQL数据源和DataWorks（公共云）应用系统采集源。

• 支持自定义字段属性，用于标记业务含义，增强字段的语义描述能力。

• 不同类型的采集源支持的操作

• 新建及管理资产对象、API、仪表板属性

资产目录

资产新增支持批量申请消费权限。

申请消费权限

数据服务

• 直连数据源API新增支持AnalyticDB MySQL 3.0、TDSQL for MySQL和TDSQL for PostgreSQL数据源。

• 多物理表服务单元物理表添加扩展至10个。

• 数据服务支持的数据源及计算引擎

• 创建多物理表服务单元

OpenAPI

• 新增ListOperationRecord：分页查询运行记录。

• 新增GetOperationRecordRunCode：获取运行记录运行代码。

• 新增GetOperationRecordById：根据ID获取单条运行记录。

• 新增GetOperationRecordDetail：获取运行记录详情，包括日志和结果。

• 新增SubmitBatchTask：支持指定离线计算模板。

OpenAPI列表

功能名称

功能描述

相关文档

基础平台

新增支持单租户多引擎模式，支持在一个租户下创建多种类型计算引擎集群以及计算源。

单租户多引擎模式下新建集群

计算引擎

新增支持Aliyun EMR Serverless Spark、OushuDB计算引擎。

• 单租户多引擎模式下设置离线计算引擎

• 设置Dataphin实例的计算引擎为Aliyun EMR Serverless Spark

跨租户发布

数据库SQL支持通过跨租户发布的替换规则批量替换Schema。

导入发布包

审批设置

新增支持显示三方审批的所有节点模式，支持在Dataphin系统中查看外部审批系统的所有审批节点。

审批设置

离线研发

• 数据库SQL新增支持Lindorm数据源（包括Lindorm计算引擎、宽表引擎、列存储引擎）。

• Impal新增支持SQL hint、ignore nulls和respect nulls语法。

• Databricks新增支持string_agg() within group语法。

• GaussDB(DWS)新增支持聚合函数语法collate、func_name(param... collate 'utf8.zh_CN')。

创建数据库SQL任务

离线集成

• 新增支持InfluxDB 2.x、TDSQL for PostgreSQL的离线集成。

• Hive组件Iceberg表读取与写入优化，支持设置范围分区和多级范围分区、兼容写入的分区值是否携带引号、兼容字段大小写。

• 配置TDSQL for PostgreSQL输入组件

• 配置TDSQL for PostgreSQL输出组件

• 配置OushuDB输入组件

• 配置OushuDB输出组件

实时集成

• 目标端新增支持OushuDB数据源。

• 目标端为Databricks时，增全量一体来源端支持PostgreSQL和Oracle数据源。

• 数据写入Kafka目标端时，单Topic和多Topic均支持添加全局字段。

• 新增配置入口，支持对实时集成任务的资源和运行参数进行配置。

创建实时集成任务

实时研发

• 开源Flink实时任务支持配置任务失败类型的监控

• 元表选择Kafka为数据源时，支持加密方式为SHA-256；支持选择JSON格式的消息体格式。

• 元表新增支持RocketMQ数据源。

• Paimon数据源下线，可使用Hive数据源（选择Aliyun EMR5.x Hive 3.1.x版本并开启Paimon湖格式）进行创建。

• 实时任务监控

• 创建及管理元表

• 创建Paimon数据源（已下线，需使用Hive-Paimon）

任务运维

新增支持上游节点运行失败或运行完成（失败或成功）后触发下游节点调度。

实例运行诊断

数据质量

• 数据更新触发调度与固定任务触发调度两种调度模式，新增支持TDH计算引擎的SQL任务配置数据质量规则。

• 质量规则调度配置权限优化，新增支持项目-质量规则管理、质量规则-管理权限点，分别查看并选择指定项目或全部项目的生产任务。

在单个监控对象下创建质量规则

资产目录

业务技术指标资产详情新增支持查看元数据变更记录，包括指标口径、业务负责人等信息，便于审计回溯。

查看业务指标详情

目录管理

• 表资产新增消费权限申请管控，控制在资产详情页面是否可申请消费权限。

• 新增自动下架规则，针对已删除的资产，系统根据指定规则组的规则按序执行下架。

• 管理准资产

• 自动上下架

数据服务

• 直连数据源API新增支持Hive数据源。

• 新增支持批量申请API权限功能。

• 数据服务支持的数据源及计算引擎

• API SQL脚本编辑说明

• 数据服务市场

• 管理API权限

• 数据服务权限管理

OpenAPI

• 新增ListCatalogAssets：支持查询资产目录列表。

• 新增GetCatalogAssetDetails：支持查询资产详情。

OpenAPI列表

功能名称

功能描述

相关文档

售卖

新增X-应用创作、X-数据质量售卖，支持选择标准版。

• X-数据质量能够结合数据质量问题，融合血缘、任务代码及异常数据内容等多源信息，基于大模型进行问题分析，形成关键证据链，并给出整改意见，实现治理闭环，显著降低人工成本。

• X-应用创作根据输入的需求详情，自动根据Dataphin内已有的数据和API，进行应用的创作，可创建数据看板，并支持数据操作。应用创作完成后，可发布上线，并邀请其余用户共同使用

• 计费说明--半托管

• 开通Dataphin--半托管

登录设置

登录方式扩展，支持界面化对接企业登录系统以实现单点登录（SSO），新增支持CAS、OAuth2.0、SAML、阿里云RAM、飞书、三方SSO登录方式。

登录设置

超级X

X-运维助手支持配置专属公网域名，以满足移动端访问的需求。

X-运维助手

安全设置

新增支持数据源权限设置功能，用于管控项目管理员或板块架构师新建数据源权限。

安全设置

权限管理

支持根据表的分类分级决定审批模板，实现动态权限申请管控。

• 申请、续期和交还表权限

• 申请消费权限

资源设置-调度集群

新增实时任务运维配置项，开启后采用当前集群运行Flink On Kubernetes部署模式的实时任务。

管理调度集群

计算源

开源Flink计算源新增支持文件系统标准S3协议。

新建Flink计算源

数据源管理

• 新增支持Data Lake Formation（DLF）数据源。

• 数据源优化，Microsoft SQL Server兼容低版本，解决无法获取元数据问题；Oracle数据源查询表元数据兼容不区分大小写。

• 创建Data Lake Formation数据源

• 创建Microsoft SQL Server数据源

• 创建Oracle数据源

离线集成

• 新增支持Data Lake Formation（DLF）离线集成；新增支持OpenSearch输入组件和DolphinDB输出组件。

• 整库迁移目标端新增支持Data Lake Formation（DLF）。

• 输出组件的一键建表功能优化，由开发态直接建生产表调整为在发布时执行生产表的创建，降低操作风险。

• 离线集成输入组件多表过滤配置项支持数据库原生正则表达式，系统将根据此正则匹配目标库中的表进行读取。

• MaxCompute输出组件新增支持准备语句和结束语句。

• 配置OpenSearch输入组件

• 配置Data Lake Formation输入组件

• 配置DolphinDB输出组件

• 配置Data Lake Formation输出组件

• 配置MaxCompute输出组件

实时集成

实时集成目标端新增支持StarRocks数据源。

创建实时集成任务

实时研发

Flink on Kubernetes部署模式下，Flink DataStream计算任务支持选择自定义镜像，并支持自定义配置JobManager Pod、TaskManager Pod和Kubernetes YAML文件。

创建Flink DataStream任务

离线研发

• 新增支持计算任务、集成任务的跨项目迁移。

• 支持Databricks Python Connect，可将PyCharm等常用IDE、笔记本服务器和其他自定义应用程序连接到Azure Databricks计算资源。

• 计算任务提交详情支持批量申请表权限。

• MaxCompute新增支持create snapshot table和add column if not exists语法。

• Spark SQL新增支持lateral view、cache table、create or replace 、temporary view、pivot语法。

• Hologres新增支持logical partition、insert overwrite语法。

• Databricks新增支持group by all、struct语法。

• Doris新增支持insert overwrite table <table_name> partition (*)语法。

• Hive SQL新增支持named_struct语法。

• GaussDB（DWS）新增支持order by <col> collate <codec> <desc|asc>语法。

• 离线集成

• 计算任务

• 离线计算任务提交说明

• 实时计算任务提交说明

任务运维

• 新增支持跨租户依赖，任务可跨租户依赖其他租户任务，或被其他租户任务依赖。

• 新建补数据任务的海量补数据配置项选择自定义补数据业务日期时支持补任意时间段。

• 周期任务通用运维概述

• 周期实例通用运维概述

数据标准

新增支持手动添加映射关系功能，支持手动添加数据标准和资产对象（Dataphin字段和Dataphin指标）之间的映射关系。

• 创建及管理数据标准

• 有效映射关系管理

数据安全

新增支持批量导入和导出数据分类功能，提升配置效率。

批量导入导出数据分类

数据服务

• 直连数据源API新增支持OpenSearch、GBase 8a数据源；服务单元模式创建API新增支持GBase 8a数据源。

• 测试和调试API时，系统将保留最近测试数据可用于结果比对。

• 通过直连数据源模式创建API（查询类型）

• 通过SQL模式创建API（服务单元）

• 通过向导模式创建API（服务单元）

• 测试与发布API

OpenAPI

• 行级权限新增如下OpenAPI：

  GetRowPermissionByTableGuids：检测SQL的相关的行级权限点。

• 数据服务新增如下OpenAPI：

  • ListDataServiceApps：查询租户下所有的应用列表。

  • GetDataServiceApp：查询应用详情。

  • CreateDataServiceApp：创建数据服务应用。

  • UpdateDataServiceApp：更新数据服务应用。

  • DeleteDataServiceApp：删除数据服务应用。

  • ResetDataServiceAppSecret：重置数据服务应用密钥。

  • CreateDataServiceAppGroup：创建应用分组。

  • UpdateDataServiceAppGroup：更新应用分组。

  • DeleteDataServiceAppGroup：删除应用分组。

  • GetDataServiceAppMembers：查询应用成员列表。

  • AddDataServiceAppMember：新增应用成员。

  • UpdateDataServiceAppMember：更新应用成员。

  • RemoveDataServiceAppMember：删除应用成员。

OpenAPI列表

功能名称

功能描述

相关文档

超级X（智能应用）

• 新增支持X-应用创作智能应用，可基于自然语言描述，结合大模型生成需求文档并进行数据检索，从而智能生成应用，可对生成的应用进行发布并邀请其他用户共同使用。

• X-数据安全优化，支持选择是否使用样例数据，使用样例数据可有效提升SQL生成的准确性。

• 新增支持创建自定义模型，支持添加调用协议兼容OpenAPI大模型。

• X-应用创作

• X-数据安全

• 智能应用支持的内置模型

跨租户发布

• 新增支持发布Flink on Yarn、Flink on K8s实时计算源表。

• 暂不支持导出和导入实时集成任务、Flink Template SQL任务和实时任务模板。

• 实时对象暂不支持自动添加依赖到发布包，在首次发布时请手动将Flink DataStream和Flink SQL任务的项目添加至发布包，手动将元表和镜像表的数据源添加至发布包。

• 指定对象导出发布包

• 管理全局待发布对象

• 管理研发待发布对象

数据源管理

新增支持GBase 8c数据源。

创建GBase 8c数据源

离线集成

• 新增支持非结构化数据归集功能，旨在将分散在不同地方的非结构化文件统一存储到指定位置，支持OSS、S3、FTP、HDFS数据源。

• 新增支持GBase 8c离线集成。

• 整库迁移来源端新增支持GBase 8c。

• 支持隐藏集成任务运行日志里的密码全局变量值，提升安全性。

• Salesforce输入组件支持bulk读取方式。

• FTP输入组件支持读取转义后的JSON。

• 配置FTP输入组件

• 创建数据归集任务

• 配置GBase 8c输入组件

• 配置GBase 8c输出组件

• 配置Salesforce输入组件

实时集成

• 目标端新增支持Hologres数据源。

• 针对Dataphin默认集群无法连通的数据源可配置实时集成任务同步数据，针对此类数据源，需满足条件为：需通过采集任务获取元数据才能创建实时集成任务；目标数据源为外部数据源，不支持自动建表方式，可在数据库中手动创建目标表；Flink引擎需具有来源数据源和目标数据源的访问权限。

配置实时集成任务

离线研发

• 新增支持检查节点计算任务，支持根据调度时间偏移检查、指定位点检查、检查停止策略，检查实时集成任务产出表状态。

• 支持为计算任务设置标签，用于运维任务筛选。

• Databricks计算引擎新增支持select * except(<col>)、 <col> from <table>语法。

• AnalyticDB for PostgreSQL计算引擎新增支持create table <t> partition of <t> for values in ()语法。

• Spark加速引擎新增支持JDBC datasource语法。

• StarRocks计算引擎新增支持create function <f> returns type语法。

• 创建检查节点任务

• 研发平台设置

实时研发

当实时引擎为Apache Flink，支持Paimon元表的读取、写入及维表读；支持GaussDB（DWS）数据源表的写入及维表读。

Dataphin支持的实时数据源

任务运维

• 周期任务优化，支持修改调度类型；支持批量补数据；支持下载指定层级的上下游节点的列表；支持上传Excel文件进行搜索。

• 补数据实例新增平铺视角查看实例信息；新增支持下载实例列表。

• 周期任务

• 补数据实例

数据标准

落标评估支持字段类型兼容，如高精度兼容低精度、相似类型兼容、text兼容string、varchar等。

映射关系概述

元数据中心

采样配置支持扫描禁用期，禁用期内，自动触发的数据采样查询任务将直接置为失败，不会发起。

采样配置

资源治理

新增支持资源治理项管控配置，避免影响健康分值。

资源治理配置

数据服务

• 当网络配置为阿里云API网关和内置网关时，支持自定义AccessKey ID、AccessKey Secret。

• 直连数据源API新增支持DolphinDB、GBase 8c数据源；服务单元API新增支持GBase 8c数据源。

• 创建API时可选择API响应中是否返回实际执行的SQL语句。

• API调用时，若不指定返回字段，则返回全部有权限的字段。

• 通过直连数据源模式创建API（查询类型）

• 通过直连数据源模式创建API（操作类型）

• 通过SQL模式创建API（服务单元）

• 通过向导模式创建API（服务单元）

• 新建及管理我的应用

• 附录：API调用示例

告警中心

离线计算模板新增告警元数据：

• ${message_metadata.folder}：任务所属文件夹，格式为：/文件夹名称/，如果任务在根目录下，则为/。

• ${message_metadata.description}：任务的描述信息。

自定义消息渠道支持的元数据

元数据模型

• 权限记录表fct_dataphin_security_auth_permission_record_df新增column_level_auth字段，用于记录申请字段级权限内容。

• 上架资产信息表dim_dataphin_mdc_list_object新增字段first_on_shelve_user_id，first_on_shelve_user_name，用于记录首次上架人的ID和名称。

• 元数据仓库共享模型（MaxCompute）

• 元数据仓库共享模型（Hadoop/StarRocks等计算引擎）

OpenAPI

• 新增GetInstanceDownStream：可优化调用缺陷，RunStatus参数不填写时可以正常调用。

• 新增GetCheckConnectivityJobs：可查询数据源连通性测试历史记录。

• 新增Create/Update/DeleteBiz/BizMetric：支持新建/更新/删除业务指标。

• 新增GetBizMetricByName：支持查询业务指标详情。

SDK1.0 API参考