Paimon Table

主键表

以主键作为唯一标识的表类型，专门服务于流式数据处理场景。它使得用户能够对表中的记录进行实时更新、插入与删除操作，并自动生成精确的变更日志，方便下游系统进行流式消费。此外，主键表还支持基于主键条件的高效数据查询。

• Flink SQL示例

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING,
    PRIMARY KEY NOT ENFORCED(order_id)
  );

• Spark SQL示例

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING
  ) TBLPROPERTIES (
    'primary-key' = 'order_id'
  );

DLF产品默认采用Postpone Bucket模式，这是一种自适应的桶分配策略。该模式能够根据分区的数据量动态调整桶的数量，从而避免因桶配置过多导致读取性能下降，或因桶配置过少影响写入性能。通过这种智能化的机制，您无需担心桶的配置问题。当然，如果您有特殊需求，也可以主动设置桶数（如 'bucket' = '5'）以覆盖默认配置。

其它业务相关的配置，您可以定义：

• 合并引擎（merge-engine）来进行较为复杂的计算。

• 删除向量（deletion-vectors.enabled）来大幅提升查询性能。

• 变更日志（changelog-producer）为 'lookup' 来生成变更日志以提供给下游流读。

• 序列字段（sequence.field）来面对有乱序的场景，以获得正确更新顺序。

如果上游是CDC数据，推荐使用Flink CDC或者数据集成产品来完成数据更新入湖，获得整库同步、自动建表、表结构同步等能力。

如果希望主键表在OLAP引擎中实现高性能查询，我们高度推荐开启“删除向量”模式，虽然会消耗多一些Compaction的资源，带来的是更稳定和更高性能的OLAP查询。

Append表

如果一个表未定义主键，则它被称为Append表。与主键表不同，Append表不支持直接的流式更新，但它的批处理性能要出众得多。

1. 支持流式写入和流式读取，DLF后台会自动进行小文件合并，从而以较低的计算成本提升数据的时效性。

2. 支持细粒度的数据操作，如 DELETE、UPDATE 和 MERGE INTO，并提供版本管理和时间旅行功能，满足多样化的业务需求。

3. 支持通过排序加速查询，也支持定义Bitmap来进行加速查询，OLAP引擎有很好的直读性能。

推荐在绝大多数批处理场景中，或无主键的流处理场景下使用Append表。相比主键表，Append表更简单易用，同时能够满足高效数据写入和查询的需求。

• Flink SQL示例

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING
  );

• Spark SQL示例

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING
  );