批式读写

Scala

// 非分区表
data.write.format("delta").save("/tmp/delta_table")
// 分区表
data.write.format("delta").partitionedBy("date").save("/tmp/delta_table")

SQL

-- 非分区表
CREATE TABLE delta_table (id INT) USING delta LOCATION "/tmp/delta_table";
INSERT INTO delta_table VALUES 0,1,2,3,4;
-- 分区表
CREATE TABLE delta_table (


id INT, date STRING) USING delta PARTITIONED BY (date) LOCATION "/tmp/delta_table";
INSERT INTO delta_table PARTITION (date='2019-11-11') VALUES 0,1,2,3,4;
-- 或者使用动态分区写入
INSERT INTO delta_table PARTITION (date) VALUES (0,'2019-11-01'),(1,'2019-11-02'),(2,'2019-11-05'),(3,'2019-11-08'),(4,'2019-11-11');

Scala

// 非分区表
data.write.format("delta").mode("append").save("/tmp/delta_table")
// 分区表
data.write.format("delta").mode("append").save("/tmp/delta_table")

SQL

-- 非分区表
INSERT INTO delta_table VALUES 0,1,2,3,4;
-- 分区表
INSERT INTO delta_table PARTITION (date='2019-11-11') VALUES 0,1,2,3,4;
-- 或者使用动态分区写入
INSERT INTO delta_table PARTITION (date) VALUES (0,'2019-11-01'),(1,'2019-11-02'),(2,'2019-11-05'),(3,'2019-11-08'),(4,'2019-11-11');

Scala

// 非分区表
data.write.format("delta").mode("overwrite").save("/tmp/delta_table")
// 分区表
data.write.format("delta").mode("overwrite").option("replaceWhere", "date >= '2019-11-01' AND date <= '2019-11-11'").save("/tmp/delta_table")

SQL

INSERT OVERWRITE TABLE delta_table VALUES 0,1,2,3,4;
-- 分区表
INSERT OVERWRITE delta_table PARTITION (date='2019-11-11') VALUES 0,1,2,3,4;
-- 或者使用动态分区写入
INSERT OVERWRITE delta_table PARTITION (date) VALUES (0,'2019-11-01'),(1,'2019-11-02'),(2,'2019-11-05'),(3,'2019-11-08'),(4,'2019-11-11');

Scala

spark.read.format("delta").load("/tmp/delta_table")

SQL

SELECT * FROM delta_table;

Scala

df1 = spark.read.format("delta").option("timestampAsOf", timestamp_string).load("/tmp/delta_table")
df2 = spark.read.format("delta").option("versionAsOf", version).load("/tmp/delta_table")

SQL

不支持。