一.Resilient Distributed Dataset（RDD，弹性分布式数据集）

RDD是过去的Spark中最主要的面向用户的API。RDD是数据元素的不可变的分布式集合，在集群中的节点上进行分区，它提供了低级的API，其中包括转换操作和行动操作，这些都是可以并行的。

什么时候使用RDD？

1.你希望在数据集上进行低等级的转换和行动操作
2.你的数据是非结构化的，例如媒体流或文件流
3.你希望使用函数式编程而不是领域特定表达式来操作数据
4.你可以放弃使用结构化和半结构化的DataFrame和DataSet所带来的一些优化和性能优化。

Apache Spark 2.0中RDD发生了什么？

你可能会问：RDD是否已经退化成了二等公民？他们是否已经被弃用了？
回答是：NO!!!
此外，正如你将在下面注意到的，你可以在RDD和DataFrame和DataSet间进行随意转换，通过简单的API方法调用，且DataFrame和DataSet构建在RDD之上。

二.DataFrame

和RDD一样，DataFrame也是一个不可变的分布式数据集合。但不同于RDD，数据被组织成命名的列，就像一个关系型数据库中的数据表。DataFrame旨在使大数据集的处理更加容易，它允许开发人员强加一个结构到分布式数据集合上，从而支持更高级别的抽象；它提供了一个领域特定语言API去操作你的分布式数据；且使得Spark面向更广泛的手中，而不仅仅是专业的数据工程师。
在Spark2.0中，DataFrame的API与Dataset的API进行了合并，统一了数据处理功能。因为这次合并，开发人员现在只需要记住更少的概念，并使用一个高级且类型安全的名为Dataset的API。

image.png

三.Datasets

从Spark 2.0开始，Dataset具有两个截然不同的API特性：一个强类型API和一个无类型API，如下表所示。
1.从概念上讲，可以将DataFrame看作是泛型对象Dataset[Row]的一个别名，其中的Row是原生无类型的JVM对象。
2.相比之下，Dataset是强类型JVM对象的集合，由Scala中定义的case类或Java中的类决定。

有类型及无类型API

image.png

四.Dataset API的优势

1.静态类型和运行时类型安全

如果将静态类型和运行时安全看作一个范围，SQL对数据集的限制最小。例如，在Spark SQL字符串查询中，直到运行时才能直到语法错误（这会很浪费时间），然而在DataFrame和Dataset中，你可以在编译时即发现错误（这节省了开发者的时间和资源）。也就是说，如果在DataFrame中调用了不属于API的函数，编译器会捕获它。然而，它直到运行时才会检测到一个不存在的列名。
限制最大的是Dataset。由于Dataset API都表示为lambda函数和JVM类型化对象，因此在编译时将检测到任何类型参数的不匹配。此外，在使用Dataset时，你的分析错误也会在编译时被检测到，从而节省开发人员的时间和成本。

image.png

2.对结构和半结构化数据的高级抽象和定制视图

DataFrame作为Dataset[Row]的集合，将结构化定制视图呈现在你的半结构化数据上。假如有一个巨大的IoT设备事件数据集，用JSON表示。由于JSON是一个半结构化的格式，它很适合将数据集用作强类型Dataset[DeviceLoTData]的集合。

{"device_id": 198164, "device_name": "sensor-pad-198164owomcJZ", "ip": "80.55.20.25", "cca2": "PL", "cca3": "POL", "cn": "Poland", "latitude": 53.080000, "longitude": 18.620000, "scale": "Celsius", "temp": 21, "humidity": 65, "battery_level": 8, "c02_level": 1408, "lcd": "red", "timestamp" :1458081226051}

你可以使用scala case类将每个JSON条目表示为DeviceIoTData，这是一个定制对象。

case class DeviceIoTData(battery_level: Long, c02_level: Long,  cca2: String, cca3: String, cn: String, device_id: Long, device_name: String, humidity: Long, ip: String, latitude: Double, lcd: String, longitude: Double, scale:String, temp: Long, timestamp: Long)

然后，我们可以从一个JSON文件中读取数据：

//read the json file and create the dataset from the
//case class DeviceIoTData
//ds is now a collection of JVM Scala objects DeviceIoTData
val ds = spark.read.json("/databricks-public-datasets/data/iot/iot_devices.json").as[DeviceIoTData]

这段代码的底层发生了三件事情：
1.Spark读取JSON文件，推断列，并创建一个DataFrame集合。
2.Spark将你的数据转换为DataFrame = Dataset[Row]，一个泛型Row对象的集合，因为它不知道确切的类型。
3.现在，Spark将Dataset[Row]转换为Dataset[DeviceIoTData]这个确定类型的Scala JVM对象，因为它检测到了DeviceIoTData类。
我们大多数使用结构化数据的人都习惯于以柱状方式查看和处理数据，或者访问对象中的特定属性。使用Dataset作为Dataset[ElementType]类型化对象的集合，你可以无缝的获得强类型化JVM对象的编译时安全和自定义视图。从上面代码中得到的强类型Dataset[T]可以很容易的通过高级方法显示或处理。

image.png

3.结构化API的易用性

尽管结构可能会限制Spark程序对数据的控制，但它引入了丰富的语义和一组简单的领域特定操作。然而，大多数计算都可以通过Dataset的高级API完成。例如，通过一个Dataset来实现agg,select,sum,avg,map,filter或者groupBy操作比直接使用RDD要容易的多。
使用领域特定API表示计算要比使用关系代数类型表达式（RDD中）简单得多。例如，下面的代码将通过filter()和map()创建另一个不可变的Dataset。

//use filter(), map(), groupBy() country, and compute avg()
//for temperatures and humidity. this operation results in
//another immutable Dataset.the query is simpler to read,
//and expressive
val dsAvgTmp = ds.filter(d => {d.temp > 25}).map(d => (d.temp, d.humidity, d.cca3)).groupBy($"_3").avg()

//display the resulting dataset
display(dsAvgTmp)

image.png

4.性能和优化

除了上述提到的所有优势以外，你不能忽视DataFrame和Dataset带来的空间和性能上的收益，原因有二：
1.因为DataFrame和Dataset的API建立在Spark SQL引擎之上，它利用的Catalyst生成优化的逻辑物理执行计划。通过R，Java，Scala或Python调用DataFrame/Dataset的API，所有的关系类型查询都经历了相同的代码优化器，提供了空间和速度的优化。Dataset[T]是为数据工程任务而优化的，非类型化的Dataset[Row]（DataFrame的别名）对于交互式分析具有更快，更适合的特性。

image.png

2.由于Spark作为编译器去理解你的Dataset类型 JVM对象，它使用编码器将特定类型的JVM对象映射到Tungsten的内部内存。因此，Tungsten的编码器可以高效的序列化/反序列化JVM对象，生成紧凑的字节码，这可以以更高效的速度执行。

五.什么时候该用DataFrame或者Dataset？

1.如果你想要丰富的语义、高级抽象和领域特定API，那么使用DataFrame或Dataset。
2.如果你的应用需要高级表达式，filter，map，aggregation，average，sum，SQL查询，柱状访问以及在半结构化数据上使用lambda函数，使用DataFrame或Dataset。
3.如果你想要在编译时获得更高的类型安全性，类型化的JVM对象，利用Catalyst进行优化，并从Tungsten的高效代码生成器中获益，使用Dataset。
4.如果你希望跨Spark库同一和简化API，使用DataFrame或Dataset。
5.如果你是一个R的用户，使用DataFrame。
6.如果你是一个Python用户，使用DataFrame，如果你希望更多的控制，退回使用RDD。

你可以无缝的将DataFrame和Dataset转换为RDD，通过调用.rdd.

//select specific fields from the Dataset, apply a predicate
//using the where() method, convert to an RDD, and show first 10
//RDD rows
val deviceEventsDS = ds.select($"device_name", $"cca3", $"c02_level").where($"c02_level" > 1300)
//convert to RDDs and take the first 10 rows
val eventsRDD = deviceEventsDs.rdd.take(10)