青青子衿谈育儿

关注

spark内核及调优

青青子衿谈育儿

关注

阅读 14

2024-07-24

环境准备及提交流程

程序起点



执行内存管理:

执行内存主要用来存储任务在执行shuffle时占用的内存,shuffle按照一定规则对rdd数据重新分区的过程,我们来看shuffle的write和read两阶段对执行内存的使用:



相关推荐

泠之屋

Spark调优在—代码调优

泠之屋 76 0 0

weipeng2k

Spark 性能调优

weipeng2k 154 0 0

大自然在召唤

Spark性能调优

大自然在召唤 96 0 0

gy2006_sw

Linux 内核参数调优

gy2006_sw 75 0 0

是她丫

【Spark】Day06-Spark高级课程:性能调优、算子调优、Shuffle调优、JVM调优、数据倾斜、TroubleShooting

是她丫 70 0 0

三次方

Spark性能调优基础

三次方 71 0 0

柠檬的那个酸_2333

四、Spark性能调优

柠檬的那个酸_2333 167 0 0

Aliven888

Spark on Yarn:性能调优

Aliven888 99 0 0

云竹文斋

Spark的shuffle调优

云竹文斋 141 0 0

醉东枫

工作常用之Spark调优[二】资源调优

醉东枫 163 0 0

精彩评论(0)

0 0 举报