数据湖构建（DLF）

前置条件

• 了解数据湖构建。

• 已配置数据湖构建数据目录ID、数据库和数据表，将在配置数据同步中使用。

添加数据湖（DLF）数据源

1. 在实例详情>表管理页，点击添加表：

2. 填写表的基础信息，点击下一步：在 表基础信息 步骤中，填写 表名称（例如 dlf_table），设置 数据分片数（默认为 1）和 数据更新资源数（默认为 2，用于调整消费实时数据的并发数以提高 TPS），然后单击 下一步。配置说明：

• 表名称：可自定义。

• 数据分片数：表分片数不超过256的正整数即可（建议不超过实例数据节点数的3倍）。

• 数据更新资源数：数据更新所用资源数，每个表默认免费提供2个4核8G的更新资源，超出免费额度的资源将产生费用，详情可参考召回引擎版计费概述。

3. 数据同步，配置数据源，校验通过后，点击下一步：

   在全量数据来源中选择数据湖构建(DLF)，依次填写数据目录ID、数据库和数据表。

• 全量数据来源：选择数据湖构建（DLF）。

• 数据目录ID：访问的目标数据湖构建的数据目录ID。

• 数据库：访问的目标数据目录下的数据库。

• 数据表：访问的目标数据库下的数据表。

  说明

  • 存量实例选择数据湖构建（DLF）类型需升级实例离线版本后使用。

  • 当前仅支持Paimon类型数据目录。

  • Paimon主键表支持增删改查，Paimon Append格式表仅支持写入，不支持更改与删除。

4. 索引结构配置，可选表单模式或开发者模式，配置完成后，点击下一步：

   在字段设置区域配置字段信息，例如 id（INT8，主键）、name（STRING）、email（STRING），并设置数据压缩和分析方式；在索引设置区域添加索引，例如索引名称 phone（类型 STRING，包含字段 name）。

5. 确认创建后，系统将自动创建配置好的表，可在变更历史中查看创建表进度，当表状态在使用中时，即可在查询测试页面进行查询测试。

注意事项

DLF的Paimon表有新数据写入时，OpenSearch会基于新数据自动触发实时索引构建，如果通过API手动写入数据，可能引起数据一致性问题，请谨慎操作。