环境准备及提交流程
程序起点
执行内存管理:
执行内存主要用来存储任务在执行shuffle时占用的内存,shuffle按照一定规则对rdd数据重新分区的过程,我们来看shuffle的write和read两阶段对执行内存的使用:
spark内核及调优
阅读 14
2024-07-24
环境准备及提交流程
程序起点
执行内存管理:
执行内存主要用来存储任务在执行shuffle时占用的内存,shuffle按照一定规则对rdd数据重新分区的过程,我们来看shuffle的write和read两阶段对执行内存的使用:
相关推荐
精彩评论(0)