比如order by long_column
order by double_column
执行时间超长,或者内存溢出
原因:
排序的列里有NaN值(极大值),可能是 有除法里分母为0导致的。
另外,count()
也可能因为列里有NaN值而OOM
Spark orderBy OOM / 执行时间超长
阅读 9
2024-01-02
比如order by long_column
order by double_column
执行时间超长,或者内存溢出
原因:
排序的列里有NaN值(极大值),可能是 有除法里分母为0导致的。
另外,count()
也可能因为列里有NaN值而OOM
相关推荐
精彩评论(0)