E-MapReduce支持Presto读取Delta table,提供DeltaInputFormat和SymlinkTextInputFormat两种读取方式,其中DeltaInputFormat为E-MapReduce独有的方式。本文介绍如何使用Presto读Delta table。
更新时间:2020-06-22 10:03
E-MapReduce支持Presto读取Delta table,提供DeltaInputFormat和SymlinkTextInputFormat两种读取方式,其中DeltaInputFormat为E-MapReduce独有的方式。本文介绍如何使用Presto读Delta table。
CREATE EXTERNAL TABLE delta_tbl(id bigint, `date` string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT 'io.delta.hive.DeltaInputFormat'
OUTPUTFORMAT 'io.delta.hive.DeltaOutputFormat'
LOCATION '/tmp/delta_table';
partitioned by
命令在Hive中创建对应的外表。
msck repair
命令同步分区信息到Hive外表。
SELECT * FROM delta_tbl LIMIT 10;
GENERATE symlink_format_manifest FOR TABLE delta.`/delta_test/order`
GENERATE
,确保Presto读取的是Delta表中最新数据。
CREATE EXTERNAL TABLE delta_tbl(id bigint, `date` string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.SymlinkTextInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION '/tmp/delta_table/_symlink_format_manifest/';
SELECT * FROM delta_tbl LIMIT 10;
在文档使用中是否遇到以下问题
更多建议
匿名提交