当前位置：网站首页>Spark高级特性，220720，

Spark高级特性，220720，

2022-07-22 05:28:00 【啊六六六】

 

 

 

RangerPartition

 

 

 

 

Scala中：构建随机值作为Key，利用hash分区实现重新分配

Pyspark:做了优化，数据量小，没有必要重新分，数据量的情况下，才会重新分

 

 

 

 

 

 

 

 

 

 

map、foreach：一层循环

xxxxPartition：两层循环

句子 -> 词语

 

 

 

concat_ws（"分隔符"，列表）

 数据校验

拿分析结果和原始数据中分析结果对比

 

 

 

 

第一个TRUE磁盘

第二个内存

第三个堆外内存

第四个序列化 

 

alt+enter，导包，

成对调用，

persist除非最后一步，

如果缓存丢失，依旧可以通过血缘机制来恢复缓存

 

 

persist缓存，内存或磁盘，

 

RDD的所有依赖关系，Driver中都有

对象=数据+血缘依赖，

dict[Key]，无对应会报错，所以get，

 

避免每1个task下载，

MR、Hive:Map Join

Spark : Broadcast Join

 Driver中的sum应该等于所有Task中副本的和

 

 

review，

 

 

 

 

明天

preview， ？？？？？？？？？？？？day07，

 day06课程回顾视频看一遍？？？？？

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

原网站

版权声明
本文为[啊六六六]所创，转载请带上原文链接，感谢
https://blog.csdn.net/m0_48941160/article/details/125885182

边栏推荐

猜你喜欢

随机推荐