Spark，groupby之后加上repartition可以显著加快速度

海滨公园

 关注

阅读 57

2022-08-28


dataDF
  .rdd
  .groupBy(row => row.getAs[Long]("the_key"))
  .repartition(2000) // 这个
  .flatMap(pair => {


相关推荐

Spark，mapPartitions之前的repartition增大可以显著加快速度

大南瓜鸭 46 0 0

iostream 加快速度

自信的姐姐 54 0 0

我的Python程序太慢了。如何加快速度？

开源分享 60 0 0

精彩评论（0）

0 0 举报