访问Delta表数据

使用限制

本文适用于EMR-3.37.0及后续版本，EMR-5.3.0及后续版本以及EMR-4.10.0版本。

通过Spark创建表访问查询Delta表

1. 进入Spark命令行。
   1. 使用SSH方式登录到集群主节点，详情请参见登录集群。
   2. 执行以下命令，进入Spark命令行。

      spark-sql

2. 在Spark中创建并查询表数据。
   1. 执行以下命令，在Spark中创建Delta表。

      create table delta_table (id int) using delta location "/tmp/delta_table";

   2. 执行以下命令，向表中插入数据。

      insert into delta_table values 0,1,2,3,4;

   3. 执行以下命令，查看表数据。

      select * from delta_table;

      返回包含如下的信息。

      2
      3
      4
      0
      1
      Time taken: 1.847 seconds, Fetched 5 row(s)

3. 访问Delta表数据。

   • 通过Hive访问Delta表数据

     重要

     EMR 3.x系列的EMR-3.37.0及后续版本，您可以在EMR控制台添加自定义参数，也可以在运行命令时设置参数。控制台添加参数时，在Hive服务的配置页面，如果使用的是Hive on MR，则添加参数名为hive.input.format，参数值为io.delta.hive.HiveInputFormat的配置项，如果使用的是Hive on Tez，则添加参数名为hive.tez.input.format，参数值为io.delta.hive.HiveInputFormat的配置项。添加操作请参见添加组件参数。

     1. 执行以下命令，进入Hive命令行。

        hive

     2. 执行以下命令，在Hive中查看Delta表的数据。

        select * from delta_table;

        返回如下信息。

        2
        3
        4
        0
        1
        Time taken: 2.937 seconds, Fetched: 5 row(s)

        说明

        查看数据与在Spark中插入的数据一致，说明Hive已经成功访问了Delta表的数据。

   • 通过Presto访问Delta表数据

     1. 执行以下命令，进入Presto命令行。

        presto --server emr-header-1:9090 --catalog hive --schema default

     2. 执行以下命令，在Presto中查看Delta表的数据。

        select * from delta_table;

        返回如下信息。

         id
        ----
          2
          3
          4
          0
          1
        (5 rows)

        说明

        查看数据与在Spark中插入的数据一致，说明Presto已经成功访问了Delta表的数据。

   • 通过Impala访问Delta表数据

     1. 执行以下命令，进入Impala命令行。

        impala-shell

     2. 执行以下命令，在Impala中查看Delta表的数据。

        select * from delta_table;

        返回如下信息。

        +----+
        | id |
        +----+
        | 2  |
        | 3  |
        | 4  |
        | 0  |
        | 1  |
        +----+                             

        说明

        查看数据与在Spark中插入的数据一致，说明Impala已经成功访问了Delta表的数据。

创建Hive外表

CREATE EXTERNAL TABLE delta_tbl (name string, age int, city string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
WITH SERDEPROPERTIES("path" = "/path/to/delta")
STORED AS INPUTFORMAT 'io.delta.hive.DeltaInputFormat'
OUTPUTFORMAT 'io.delta.hive.DeltaOutputFormat'
LOCATION '/path/to/delta'
TBLPROPERTIES("spark.sql.sources.provider" = "delta");

CREATE EXTERNAL TABLE delta_tbl123 (name string, age int, city string)
STORED BY 'io.delta.hive.DeltaStorageHandler'
WITH SERDEPROPERTIES("path" = "/path/to/delta")
LOCATION '/path/to/delta'
TBLPROPERTIES("spark.sql.sources.provider" = "delta");