mapPartitions里是耗时的（batch型的）模型推理
dataframe.repartition(500).rdd.mapPartitions 改为
dataframe.repartition(5000).rdd.mapPartitions
Spark，mapPartitions之前的repartition增大可以显著加快速度
阅读 49
2022-07-27
相关推荐
精彩评论（0）
0 0 举报
Spark，mapPartitions之前的repartition增大可以显著加快速度
阅读 49
2022-07-27
mapPartitions里是耗时的（batch型的）模型推理
dataframe.repartition(500).rdd.mapPartitions 改为
dataframe.repartition(5000).rdd.mapPartitions
相关推荐
精彩评论（0）