Parquet

使用限制

• Parquet格式允许读写Parquet数据。

• 仅对象存储OSS连接器（实时计算引擎VVR 6.0.7及以上版本）支持读取Parquet格式的数据。

使用示例

利用OSS和Parquet格式创建表的示例如下。

CREATE TABLE user_behavior (
  user_id BIGINT,
  item_id BIGINT,
  category_id BIGINT,
  behavior STRING,
  ts TIMESTAMP(3),
  dt STRING
) PARTITIONED BY (dt) WITH (
 'connector' = 'filesystem',
 'path' = 'oss://<bucket>/path',
 'format' = 'parquet'
)

配置选项

Parquet格式也支持ParquetOutputFormat的配置。 例如，可以配置parquet.compression=GZIP来开启gzip压缩。

类型映射

目前，Parquet格式类型映射与Apache Hive兼容，但与Apache Spark有所不同：

• Timestamp：不论精度，映射timestamp类型至int96。

• Decimal：根据精度，映射decimal类型至固定长度字节的数组。

Flink与Parquet的数据类型的映射关系如下。