2026年1月
产品 | 功能 | 描述 | 文档链接 |
DLF | 商业化(开启计费 + SLA) | DLF 于 2025 年 12 月下旬开启商业化运营;商业化后启动计费并提供 SLA。 | |
DLF | 公测说明(免费公测/开通方式) | DLF 免费公测的参与方式与开通入口说明。 | |
DLF | DLF 3.0:Omni Catalog(统一目录) | DLF 3.0 强调统一目录(Omni Catalog),面向多引擎接入与统一元数据管理。 | |
DLF | DLF 3.0:全模态数据湖仓管理(结构化/非结构化) | 从结构化拓展到文本、图片、音视频等非结构化数据的统一管理与治理。 | |
DLF | DLF 3.0:智能存储与性能优化(面向 AI 负载) | 强调面向 AI 负载的数据组织/存储与性能优化能力。 | |
Realtime Compute for Apache Flink | Flink SQL 访问 DLF(Paimon REST) | Flink SQL 以 Paimon REST Catalog 对接 DLF Catalog。 | |
Realtime Compute for Apache Flink | Flink DataStream 访问 DLF(Paimon REST) | Flink DataStream 作业以 Paimon REST Catalog 访问 DLF Catalog。 | |
Realtime Compute for Apache Flink | Flink SQL 访问 DLF(Iceberg REST) | Flink SQL 以 Iceberg REST Catalog 对接 DLF Catalog(Iceberg 表)。 | |
EMR Serverless Spark | EMR Serverless Spark 使用 DLF Catalog | 在 EMR Serverless Spark 中配置/使用 DLF Catalog 作为元数据目录。 | |
EMR Serverless Spark | OpenSearch 使用 DLF Catalog | 在 OpenSearch 侧使用 DLF Catalog(用于数据湖构建/同步/索引)。 | |
DataWorks | OpenData:统一管理元数据/实例/成员等对象 | OpenData 作为统一入口管理工作区内的元数据、实例、成员等对象。 | |
DataWorks | OpenData:功能概览 | OpenData 能力范围与使用说明。 | |
DataWorks | OpenData:表结构/对象字段说明 | OpenData 表结构与字段说明(便于对接/二开)。 | |
DataWorks | OpenLake 快速体验(DLF 底座) | OpenLake 方案快速体验,强调 DLF 统一元数据与多引擎一体化。 | |
DataWorks | EMR Serverless Spark 环境准备:选择 DLF 元数据服务 | 在 DataWorks 创建/配置 Serverless Spark 环境时可选择 DLF 作为元数据服务(DLF Catalog)。 | |
DataWorks | 离线同步任务:字段向量化处理(Embedding) | 在同步链路中对字段做向量化处理,产出向量列用于下游向量检索/知识库。 | |
DataWorks | 节点:PAI Flow 节点(调度/编排) | 在 DataWorks 中编排/调度 PAI Flow 工作流。 | |
DataWorks | 数据源:Milvus(向量库读写/同步) | DataWorks 支持 Milvus 数据源,用于向量数据读写/同步对接。 | |
EMR Serverless Spark | 数据目录:同时添加 HMS、DLF-Legacy、DLF 3.0 Catalog | 平台层数据目录增强,支持同时添加多种 Catalog,便于统一元数据与跨系统访问。 | |
EMR Serverless Spark | 湖表读写:DLF 表读写优化 | 引擎层对 DLF 表读写进行优化,增强湖表访问体验。 | |
EMR Serverless Spark | 存储访问:pvfs 免密访问 | 支持免密访问 pvfs(便于在湖存储侧集成访问)。 | |
EMR Serverless Spark | 湖格式:新增/增强 Lance 文件格式支持 | 增加对 Lance 文件格式的支持(用于 AI/向量等数据场景)。 | |
EMR Serverless Spark | Paimon:优化 + 血缘(lineage)增强 | Paimon 相关优化并增强血缘能力;可通过 DataWorks 查看 RDD 血缘等信息。 | |
EMR Serverless Spark | Kyuubi Gateway:授权 token 关联 DLF 3.0 Catalog | 网关层支持授权 token 与 DLF 2.5 Catalog 关联,统一用户鉴权。 | |
EMR Serverless Spark | DLF 2.5:完全支持 PaimonCatalog / IcebergCatalog | DLF 2.5 Catalog 兼容 PaimonCatalog 与 IcebergCatalog。 | |
EMR Serverless Spark | DLF Lance 表:新增支持 | 在 DLF 2.5 Catalog 场景下新增 DLF Lance 表能力。 | |
EMR Serverless Spark | 工作区:支持同时添加多个 DLF Catalog(联合查询) | 工作区层面支持添加多个 DLF(原 DLF 2.5)Catalog 以便联合查询。 | |
EMR Serverless Spark | Livy Gateway:默认读取 DLF Catalog | Livy Gateway 默认读取 DLF Catalog 提供元数据,便于通过 Livy 提交作业直接访问湖表。 | |
EMR Serverless Spark | 管理数据目录(HMS / DLF 1.0 / DLF 2.5) | 在控制台管理数据目录:新增/查看/删除 Catalog 等操作入口。 | |
EMR Serverless StarRocks | V1.19:创建实例时支持关联 DLF 数据湖服务 | 创建实例时可关联 DLF 数据湖服务,实现湖仓一体元数据/权限联动。 | |
Realtime Compute for Apache Flink | 管理 Paimon Catalog(可对接 DLF) | 创建/查看/删除 Paimon Catalog;可直接访问 DLF 中的 Paimon 表。 | |
Hologres | 基于 DLF 2.0 访问 Paimon Catalog | 通过 DLF REST metastore 访问/管理 Paimon Catalog(External Database 等)。 | |
Hologres | DLF_FDW:读写 OSS(数据湖加速) | 通过 dlf_fdw 外表读写 OSS 数据湖。 | |
Hologres | Serverless Lakehouse:基于 Paimon 的方案 | Hologres + Paimon 构建 Serverless Lakehouse 的方案说明。 | |
OpenSearch | 向量检索版:数据湖构建(DLF) | 从 DLF/Paimon 等数据湖表构建向量索引与检索的指引。 | |
OpenSearch | 召回引擎版:数据湖构建(DLF) | 从 DLF/Paimon 等数据湖表构建索引与召回的指引。 | |
DataWorks | Data Studio(新版):Serverless StarRocks 节点 | 在 DataWorks 中提供 Serverless StarRocks 节点(含 SQL 节点),用于开发与调度 StarRocks 作业/SQL。 | |
EMR Serverless StarRocks | 创建实例时支持关联 DLF 数据湖服务 | 创建实例时可关联 DLF 数据湖服务,实现湖仓一体的元数据/权限联动。 | |
EMR Serverless StarRocks | StarRocks Manager 支持用户关联 RAM Role | StarRocks 用户可关联 RAM Role,用于适配 DLF 的 RAM Role 权限控制与湖仓权限联动。 | |
EMR Serverless StarRocks | 内核 3.3.13-1.2.0(2025-10-29):DLF Iceberg Catalog 支持 | Lakehouse 新增:支持 DLF Iceberg Catalog,使 StarRocks 可直接对接 DLF 管理的 Iceberg 元数据目录。 | |
EMR Serverless StarRocks | 内核 3.3.13-1.2.0(2025-10-29):Paimon Native Writer | Lakehouse 新增:支持 Paimon Native Writer,面向湖仓加工写入性能增强(可与 DLF/Paimon 目录结合使用)。 | |
EMR Serverless StarRocks | 内核 3.3.20-1.3.0(2025-12-10):Paimon DV V2 / Native Reader | Lakehouse 新增:支持 Paimon Deletion Vector V2;支持 Native Reader 读写 Paimon Format Table(增强湖表读写能力)。 | |
MaxCompute | DLF + OSS 外部 Schema:外部表元数据托管到 DLF | 通过 DLF 管理 OSS 上 Schema/表等元数据,MaxCompute 通过 External Schema 查询 OSS 外部表(依赖 DLF 2.6+)。 |