比如order by long_columnorder by double_column 执行时间超长,或者内存溢出
原因:
排序的列里有NaN值(极大值),可能是 有除法里分母为0导致的。
另外,count()也可能因为列里有NaN值而OOM
Spark orderBy OOM / 执行时间超长
阅读 10
2024-01-02
比如order by long_columnorder by double_column 执行时间超长,或者内存溢出
原因:
排序的列里有NaN值(极大值),可能是 有除法里分母为0导致的。
另外,count()也可能因为列里有NaN值而OOM
相关推荐
精彩评论(0)