hive on spark小文件问题【hive.merge.sparkfiles参数不生效】

我也是查看了我们目前集群的版本是spark是3.2.3版本
hive是3.1.3版本，都是比较新的版本，正常是支持这个参数的

在测试环境中，如果在sql中不使用group by函数其实可以可以生效的

找原因，找问题

最后定位到生产上缺少这个包 ：hive-exec-3.1.3.jar

hadoop fs -put /usr/lib/hive/lib/hive-exec-3.1.3.jar /生产路径/spark-jars/

好了这个问题就算解决了