全部产品
云市场

ORC

更新时间:2019-06-17 10:48:32

本文以orders.tbl为例,详细为您介绍如何将普通文本文件转成ORC格式的文件。

orc1

操作步骤

  1. 创建OSS Schema。

    1. CREATE SCHEMA dla_oss_db with DBPROPERTIES(
    2. catalog='oss',
    3. location 'oss://dlaossfile1/TPC-H/'
    4. )
  2. 在DLA中创建orders_txt表,LOCATION为OSS中orders.tbl的路径。

    1. CREATE EXTERNAL TABLE orders_txt (
    2. O_ORDERKEY INT,
    3. O_CUSTKEY INT,
    4. O_ORDERSTATUS STRING,
    5. O_TOTALPRICE DOUBLE,
    6. O_ORDERDATE DATE,
    7. O_ORDERPRIORITY STRING,
    8. O_CLERK STRING,
    9. O_SHIPPRIORITY INT,
    10. O_COMMENT STRING
    11. )
    12. ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'
    13. STORED AS TEXTFILE LOCATION 'oss://dlaossfile1/TPC-H/orders/orders.tbl'
  3. 在DLA中创建目标表orders_orc,LOCATION设置为OSS中的您需要的位置。

    orc2

    注意:LOCATION必须是OSS中已经存在的目录,并以/结尾。

    1. CREATE EXTERNAL TABLE orders_orc (
    2. O_ORDERKEY INT,
    3. O_CUSTKEY INT,
    4. O_ORDERSTATUS STRING,
    5. O_TOTALPRICE DOUBLE,
    6. O_ORDERDATE DATE,
    7. O_ORDERPRIORITY STRING,
    8. O_CLERK STRING,
    9. O_SHIPPRIORITY INT,
    10. O_COMMENT STRING
    11. )
    12. STORED AS ORC LOCATION 'oss://dlaossfile1/TPC-H/orders_orc/'

    STORED AS ORC:指定文件的存储格式为ORC。

  4. 执行INSERT...SELECT语句,将orders_txt表中的数据插入orders_orc表中。

    1. INSERT INTO orders_orc SELECT * FROM orders_txt;
  5. 查看orders_orc数据。

    INSERT...SELECT语句执行成功后,在OSS中查看生成的ORC数据文件。

    orc3

更多信息

创建ORC格式的表