您的当前位置:首页正文

Spark core——RDD的五大特性详解

来源:九壹网

1.RDD定义

2.RDD的五大特性

1.RDD有分区

2.RDD计算方法会作用到每一个分区之上

3.RDD之间是有相互依赖的关系

4.KV型RDD可以有分区器(可选)

5.RDD分区数据的读取会尽量靠近数据的所有地,(在同一台机器读取效率更高)。

3.特性一

RDD的分区时RDD数据存储的最小单位

一份RDD的数据,本质上是分隔成了多个分区

4.特性二

5.特性三

6.特性四(可选)

首先kv型的RDD在分区的时候都有一个默认的分区器:Hash分区规则

也可以手动设计一个分区器(rdd.partitionBy的方法来设置)

7.特性五

因篇幅问题不能全部显示,请点此查看更多更全内容

Top