文档

Spark SQL、Dataset和DataFrame基础操作

更新时间:

本文为您介绍Spark SQL、Dataset和DataFrame相关的概念,以及Spark SQL的基础操作。

Spark SQL、Dataset和DataFrame介绍

Spark SQL是一个用于结构化数据处理的Spark模块,与基本的Spark RDD的API不同,Spark SQL的接口还提供了更多关于数据和计算的结构化信息。Spark SQL可以用于执行SQL查询并从Hive表中读取数据。

Dataset是数据的分布式集合。Dataset是Spark 1.6中添加的一个新接口,它集成了RDD和Spark SQL的优点,可以从JVM对象构造数据集,然后使用函数转换(Map、FlatMap或Filter等)进行操作。Dataset API有Scala和Java两种版本。Python和R不支持Dataset API,但是由于Python和R的动态特性,Dataset API的许多优点已经可用。

DataFrame是组织成命名列的Dataset。他在概念上相当于关系数据库中的一个表,或R和Python中的一个DataFrame,但是进行了更丰富的优化。DataFrame可以从一系列广泛的源构建,例如:结构化数据文件、Hive中的表、外部数据库或现有RDD。DataFrame API有Scala、Java、Python和R版本。在Scala和Java中,DataFrame由行数据集表示。在Scala API中,DataFrame只是Dataset[Row]的类型别名,而在Java API中,您需要使用Dataset<Row>来表示数据帧。

Spark SQL基础操作

Spark SQL支持直接通过SQL语句操作数据,而Spark会将SQL进行解析、优化并执行。

以下示例展示了如何使用Spark SQL进行读取文件。示例如下:

  • 示例1:Spark支持多种数据格式,本示例读取了JSON格式文件的数据,并输出为Parquet格式。

    val peopleDF = spark.read.json("examples/src/main/resources/people.json")
    peopleDF.write.parquet("people.parquet")
  • 示例2:通过SQL从parquetFile表中读出年龄在13岁到19岁之间的年轻人的名字,并转化为DataFrame,随后通过Map操作将名字转化为一个可读的形式并输出。

    val namesDF = spark.sql("SELECT name FROM parquetFile WHERE age BETWEEN 13 AND 19")
    namesDF.map(attributes => "Name: " + attributes(0)).show()