1.RDD有分区
2.RDD计算方法会作用到每一个分区之上
3.RDD之间是有相互依赖的关系
4.KV型RDD可以有分区器(可选)
5.RDD分区数据的读取会尽量靠近数据的所有地,(在同一台机器读取效率更高)。
RDD的分区时RDD数据存储的最小单位
一份RDD的数据,本质上是分隔成了多个分区
首先kv型的RDD在分区的时候都有一个默认的分区器:Hash分区规则
也可以手动设计一个分区器(rdd.partitionBy的方法来设置)
因篇幅问题不能全部显示,请点此查看更多更全内容