spark.default.parallelism=6000
spark.sql.shuffle.partitions=6000
时OOM,
改为
spark.default.parallelism=2000
spark.sql.shuffle.partitions=2000
问题解决
Spark OOM 可能的内存溢出参数
阅读 88
2022-07-27
spark.default.parallelism=6000
spark.sql.shuffle.partitions=6000
时OOM,
改为
spark.default.parallelism=2000
spark.sql.shuffle.partitions=2000
问题解决
相关推荐
精彩评论(0)