0
点赞
收藏
分享

微信扫一扫

Hive 3.1.2 Parquet 格式表的 rawDataSize 统计信息不正确

最不爱吃鱼 2022-04-22 阅读 104
hive

Hive 统计信息的设置和使用,请参考 HIVE Statistics(Hive 统计信息) 的说明和查询优化详解

使用 tpcds-3 数据集进行测试

ORC 格式表的测试

创建 orc 格式的表,设置自动统计统计信息 hive.stats.autogather=true 后,插入数据到 orc 格式的表。
然后使用 desc formatted $TABLE_NAME 显示的部分内容如下

	numFiles            	6                   
	numRows             	2160165             
	rawDataSize         	3947986476          
	totalSize           	115653306           

说明 6 个文件,2160165 行,原始数据量是 3947986476 字节,压缩后占用文件 115653306 字节。

用以下命令可以显示表的文件实际的总大小,可以看到,和 totalSize 对应的值一致。

hadoop fs -du -s ${TABLE_PATH}

Parquet 格式表的测试

创建 parquet 格式的表,设置自动统计统计信息 hive.stats.autogather=true 后,插入同样一份数据到 parquet 格式的表。
然后使用 desc formatted $TABLE_NAME 显示的部分内容如下

	numFiles            	6                   
	numRows             	2160165             
	rawDataSize         	73445610            
	totalSize           	190743601          

可以看到 rawDataSize,少了很多,甚至比 totalSize 都少。

问题解决

这是 Hive 的一个 bug,在 Hive 4.0 修复,参考HIVE-20079

举报

相关推荐

0 条评论